커스텀 오토라벨링(Custom Auto-Labeling)
커스텀 오토라벨링(Custom Auto-Labeling)은 사전에 라벨링을 완료한 데이터셋(Labeled Dataset)을 기반으로 만들어진 오토라벨링용 AI 엔진을 의미합니다. Suite 사용자는 라벨링이 완료된 데이터셋을 확보할 때마다, AI를 코딩 없이 쉽게 생성할 수 있으며, 생성된 AI를 활용하여 라벨링 되지 않은 이미지에 오토라벨링 기능을 적용할 수 있습니다.
커스텀 오토라벨링은 궁극적으로 AI를 활용하여 전체 라벨링에 소요되는 시간과 비용을 줄이는 것을 목표로 합니다. 나아가 이 기능을 통해 절감되는 단순 반복 업무량 및 비용은 데이터의 품질을 더욱 높이거나, AI가 적용되지 않아 사람의 투입이 필수적인 엣지 케이스 데이터를 확보하고 라벨링 하는 데 활용할 수 있습니다.

커스텀 오토라벨링 사용하기

1. Export Manually Labeled Dataset

커스텀 오토라벨을 만들기 위해서는 라벨링이 완료된 데이터셋이 필요합니다. 기존에 라벨링된 라벨을 Export 하세요. ❗커스텀 오토라벨링 AI를 만들기 위해서는 최소 100장의 라벨이 필요합니다.

2. Create a Custom Auto-Label

커스텀 오토라벨링 AI를 생성하는 방법은 2가지 입니다.

 1. Label Exports 탭에서 생성하기

(1) 프로젝트 사이드바에서 Label Exports 탭을 클릭하세요.   (2) 커스텀 오토라벨링 AI를 생성할 내보내기 기록 카드에서 Create a Custom Auto-Label AI 버튼을 클릭하세요.   (3) Auto-Label 크레딧 사용 예정량과 잔여량을 확인한 후, OK 버튼을 클릭하세요.
 2. Custom Auto-Label AI 탭에서 생성하기   (1) 프로젝트 사이드바에서 Custom Auto-Label 탭을 클릭하세요.   (2) 우측 상단의 + Create Custom Auto-Label AI 버튼을 클릭하고, 커스텀 오토라벨링 AI를 생성할 내보내기 기록을 선택하세요.   (3) Confirm 버튼을 클릭하고 Auto-Label 크레딧 사용 예정량과 잔여량을 확인한 후, 다시 한 번 Confirm 버튼을 클릭하세요.
  • 이 작업은 약 몇 십분에서부터 몇 시간까지 소요될 수 있습니다. 생성된 커스텀 오토라벨링 AI는 프로젝트 사이드바의 Custom Auto-Label 탭에서 확인할 수 있습니다.
  • 각 카드 하단의 토글을 열면 커스텀 오토라벨링 AI 내 각 오브젝트 클래스의 성능을 확인할 수 있습니다. 정밀도(Precision), 재현율(Recall) 수치를 제공합니다.
Apply 버튼 정밀도·재현율 지표는 2021-09-15 이후에 생성한 커스텀 오토라벨링 AI 카드에만 지원됩니다

3. Inference

각 오브젝트 클래스와 커스텀 오토라벨링 AI를 연결하면, 오토라벨링과 같은 방법으로 커스텀 오토라벨링 AI를 사용할 수 있습니다.

3-1. 오토라벨링 설정하기

생성한 커스텀 오토라벨링 AI를 적용하기 위해 설정하는 방법은 다음과 같습니다.
 1) Auto-Label Settings   (1) Auto-Label Settings 탭에서 각 오브젝트 클래스와 커스텀 오토라벨링 AI를 연결한 뒤, Project Configuration(Configure Auto-Label)을 완료합니다.
 2) Apply 버튼   (1) Custom Auto-Label 탭의 각 카드 우측 Apply 버튼을 클릭하세요. 오토라벨링을 설정할 수 있는 Apply Custom Auto-Label AI 팝업 창이 실행됩니다.   (2) 커스텀 오토라벨링 AI를 적용할 오브젝트 클래스를 선택한 뒤, Apply 버튼을 클릭하세요.
(3) CAL을 프로젝트에 성공적으로 적용했을 때 팝업 창이 뜨고, 사용자는 Labels 또는 Auto-Label 탭을 선택할 수 있습니다.

3-2. 오토라벨링 실행하기

  • 프로젝트에 라벨링이 되지 않은 이미지가 많은 경우, 전체 과정을 여러 번 반복해 커스텀 오토라벨 AI의 정확도를 향상시킬 수 있도록 오토 라벨링을 수백, 수천 개의 데이터셋의 일부에만 적용하는 것을 추천합니다.
↗ 관련 매뉴얼: 오토라벨 사용 방법: 라벨 관리 > 오토라벨링 > 오토라벨링 실행하기

4. Modify

커스텀 오토라벨링이 완료된 라벨 중 수정이 필요한 라벨을 작업한 뒤, 제출하세요.

5. Export Modified Dataset

수정된 라벨을 포함한 데이터셋을 다시 Export 하세요.

6. Repeat (Create Again a Custom Auto-Label)

다시 한 번, Export History에서 Create a Custom Auto-Label AI 버튼을 클릭해 더 정교화된 '커스텀 오토라벨'를 생성하세요.
  • 이 때, 다시 Export된 데이터셋은 라벨링이 완료된 데이터를 더 많이 포함하고 있어야 하며, 이전 단계에서 만들었던 모델보다 성능이 우수한 커스텀 오토라벨 AI 모델을 학습시킬 수 있어야 합니다.
위 2-6번의 단계를 반복적으로 수행하면 커스텀 오토라벨의 성능이 높아집니다. 또한 커스텀 오토라벨의 성능이 높아질수록 수정이 필요한 라벨이 줄어듭니다.

참고 사항

어노테이션 유형별 커스텀 오토라벨링 지원 여부

어노테이션 유형
커스텀 오토라벨링 지원 여부
이미지 카테고리 (Image Category)
O
바운딩 박스 (Bounding Box)
O
폴리곤 세그멘테이션 (Polygon Segmentation)
O
키포인트 (Keypoint)
O
폴리라인 (Polyline)
X
  • 이미지 카테고리 커스텀 오토라벨링 사용 시 유의 사항
    • 응답 유형 중 multiple selection, multiple choice만 사용 가능합니다. free response는 사용할 수 없습니다.
    • 만약 다른 프로젝트에서 생성한 커스텀 오토라벨링 AI 모델을 사용하기 위해서는 다음 조건이 충족되어야 합니다.
      • 동일한 응답 유형(multiple selection, multiple choice)
      • 동일한 옵션명(순서 및 속성명은 무관)
❗ Suite의 자체 모델(Pre-trained AI)을 사용하는 '오토라벨링'의 어노테이션 유형별 지원 정보는 다음 매뉴얼을 참고해주세요.

요금제 별 지원 여부

현재 커스텀 오토라벨링 기능은 Enterprise 요금제 고객만 사용 가능합니다. Auto-Label 크레딧은 Suite 요금제에 따라 제한되며, 자세한 내용은 Settings > Billing & Usage 탭에서 확인할 수 있습니다.

Auto-Label 크레딧

커스텀 오토라벨링 AI를 생성하고, 새로운 데이터에 커스텀 오토라벨을 적용시킬 때 Auto-Label 크레딧이 차감됩니다. 자세한 내용은 관련 매뉴얼을 참조해 주세요.

기타

  • Apply 버튼, 정밀도·재현율 지표는 2021-09-15 이후에 생성한 커스텀 오토라벨링 AI에만 지원됩니다.

자주 묻는 질문(FAQ)

어떻게 커스텀 오토라벨링의 성능을 높일 수 있나요?

  • 라벨링이 완료된 데이터셋의 양이 많고, 라벨링의 정확도가 높을수록 커스톰 오토라벨링 AI의 성능이 향상됩니다. 이 때 라벨링된 데이터셋의 양이 많다는 것은 1) 데이터의 개수, 2) 데이터에 어노테이션된 오브젝트 개수가 많아야 함을 의미합니다.
  • 일정량의 데이터셋이 구축될 때마다, 단계적으로 새로운 커스텀 오토라벨링 AI를 생성하고, 지속적으로 성능을 향상시켜야 합니다.

커스텀 오토라벨링 학습에 필요한 최소 데이터 수량은 몇 장인가요?

커스텀 오토라벨링 학습에 필요한 최소 이미지 데이터 수량은 1,000개~2,000개입니다. 만약 이미지 1장에 어노테이션된 오브젝트 개수가 적다면, 더 많은 이미지 개수가 필요합니다.

Auto-Label 크레딧을 모두 사용하면 커스텀 오토라벨 생성이 중단 되나요?

네, 크레딧을 모두 소진한 경우에는 커스톰 오토라벨링 AI 생성이 중단됩니다. 이 경우 크레딧 소진 알림과 함께 진행 여부를 선택할 수 있는 팝업이 나타나며, 계속 진행할 경우 초과 사용량에 대한 요금이 후청구됩니다.

정밀도(Precision), 재현율(Recall)은 무엇인가요? 어떻게 활용해야 하나요?

정밀도와 재현율은 인공지능 모델의 성능을 평가하기 위해 사용되는 대표적인 지표입니다.
  • 정밀도: 모델이 '참'이라고 분류한 것 중, 실제값이 '참'인 비율 ex. Suite의 커스텀 오토라벨링 AI가 '강아지'라고 라벨링한 오브젝트 중, 실제로 강아지인 경우의 비율
  • 재현율: 실제값이 '참'인 것 중, 모델이 '참'으로 분류한 경우의 비율 ex. '강아지' 객체 중 Suite의 커스텀 오토라벨링 AI가 '강아지'라고 알맞게 라벨링한 비율
두 지표는 '실제 오브젝트 X를 X라고 알맞게 라벨링한 경우의 비율'을 나타낸다는 점에서 같지만, 정밀도는 모델 관점에서, 재현율은 객체의 관점에서 계산한다는 점이 다릅니다. 특히 프로젝트나 객체의 특징에 따라 중점을 두는 지표가 달라질 수 있습니다.
예를 들어, 한 데이터에 등장하는 오브젝트의 개수가 평균적으로 아주 많거나, 한 데이터 내 겹쳐있는 오브젝트가 많은 경우에는 정밀도가 높은 커스텀 오토라벨링 AI를 채택하는 것이 유리합니다. 이런 경우 정밀도가 낮은 커스텀 오토라벨링 AI로 인해 오검출이 많이 발생하게 되면, 검수 시 사람이 눈으로 확인하고 수정하는 것이 매우 어려워지기 때문입니다. 따라서 검출률이 낮더라도(재현율이 낮더라도) 정밀도가 높은 오토라벨링 AI로 오검출을 줄이는 것이 라벨링 효율에 유리합니다.
이미지 1장 당 100~200개의 오브젝트가 등장하고, 서로 겹침이 잦은 경우에는 정밀도가 높은 커스텀 오토라벨링 AI를 채택하는 것이 유리합니다. 오토라벨링 AI의 정밀도가 낮아 오검출이 많이 발생하게 되면, 오토라벨링 결과를 수정하는 것보다 전체 삭제 후 어노테이션을 새로 그리는게 빠를 수 있습니다.
반대로 어노테이션을 처음부터 새로 그리는 것보다, 오토라벨링 AI가 라벨링한 결과물을 수정하거나 삭제하는 것이 간편한 경우에는 재현율이 높은 커스텀 오토라벨링 AI를 채택하는 것이 유리합니다.
일반적으로 정밀도와 재현율은 상충관계에 있어, 정밀도가 높으면 재현율이 낮고 재현율이 높으면 정밀도가 낮아지게 됩니다. 프로젝트·객체에 따라 적절한 지표에 집중하는 것이 필요합니다.
다른 질문이 있으신가요? [email protected] 으로 문의주세요.