매뉴얼 리뷰(Manual Review)
매뉴얼 리뷰는 작업상 검수(Validation) 단계에서 사람이 직접 라벨링 작업 결과 전체 또는 일부를 확인 및 검수하는 방식으로, 가장 기본적인 품질 평가 방법 중 하나입니다.
Suite의 검수 단계에서는 라벨을 할당받은 사용자(Assignee)의 작업 결과를 리뷰어(Reviewer)가 평가하여 승인(Approve)하거나 반려(Reject)할 수 있습니다.
또한, Suite에서는 역할에 따른 권한 제한, 이슈 트래킹, 라벨링 상태 관리, 리뷰 워크플로우 등을 기능을 제공하여, 데이터를 검수하고 수정하는 단계에서 고객사가 최적의 워크플로우를 구축하고 편리하게 소통할 수 있도록 돕고 있습니다.

Suite 매뉴얼 리뷰 프로세스

1. 라벨을 할당받은 사용자 — 라벨 제출·스킵

사용자는 라벨링 모드에서 할당받은 라벨 작업 후, 작업 결과물을 제출하거나 라벨링에 적합하지 않은 라벨을 스킵합니다.
  • 라벨링 작업 시, 라벨 상태는 In Progress입니다. 라벨을 제출·스킵하면 라벨 상태는 Submitted·Skipped로 변경됩니다.
  • 라벨 제출·스킵과 동시에 *리뷰 라운드가 시작되고, 리뷰 상태는 Pending으로 변경됩니다. *리뷰 라운드란? 라벨러가 라벨을 제출한 뒤, 리뷰어가 해당 라벨을 검수하여 승인·반려 여부를 결정하는 일련의 과정을 ‘리뷰 라운드’라고 합니다.

2. 리뷰어 — 라벨 검수

❗ 오너·어드민·매니저 레벨의 사용자만 리뷰어가 될 수 있습니다. 라벨러 레벨의 사용자는 리뷰어가 될 수 없습니다.
2-1. 프로젝트 사이드바 상단의 Review 버튼을 클릭하거나, 라벨 테이블에서 특정 라벨을 클릭하여 리뷰 모드를 실행하세요.
ℹ️ Review 버튼을 클릭하면 검수 대기 중(Pending)인 라벨을 차례대로 리뷰할 수 있는 풀스크린(Full-Screen) 리뷰 모드가 실행됩니다.
ℹ️ 특정 라벨을 클릭하면 해당 라벨만 검수할 수 있는 모달(Modal) 리뷰 모드가 실행됩니다.
2-2. 라벨을 리뷰한 후, 우측 상단의 Approve, Reject 버튼으로 라벨의 승인·반려 여부를 선택할 수 있습니다.
 1) 승인
  • 리뷰어가 라벨을 승인하는 것은 해당 라벨이 모델 학습에 사용되기 적합하다는 뜻입니다.
  • 라벨을 승인하면 리뷰 상태가 Approved로 변경되며, 해당 라벨의 리뷰가 종료됩니다.
 2) 반려
  • 라벨을 반려하는 것은 해당 라벨이 모델 학습에 사용되기 적합하지 않다는 뜻입니다.
  • 리뷰어는 라벨을 반려할 때 반드시 사유를 입력해야 합니다. 이 내용은 이슈 스레드에 기록됩니다.
  • 라벨을 반려하면 리뷰 상태는 Rejected로 변경되며, 해당 라벨은 기존 라벨러에게 재할당됩니다. 라벨 상태 역시 In Progress로 변경됩니다.

3. (반려 시) 기존 라벨러 — 검수 결과 확인 및 수정

3-1. 반려된 라벨은 기존 라벨러에게 다시 할당됩니다.
  • 라벨러는 이슈 스레드에서 반려 사유를 확인하여 빠르게 라벨을 수정할 수 있습니다.
  • 이 때, 라벨러가 라벨링 모드를 실행하면 반려된 라벨이 우선적으로 노출됩니다.
3-2. 라벨러는 라벨을 수정 후 다시 제출해야 합니다.
  • 라벨러가 라벨을 수정한 뒤 제출하면, 다음 리뷰 라운드가 시작됩니다.
1~3의 프로세스를 반복적으로 수행하여 라벨을 검수하세요.

매뉴얼 리뷰 통계 확인

프로젝트 OverviewLabeling Status 카드에서 매뉴얼 리뷰 진행 상황에 대한 통계를 실시간으로 확인할 수 있습니다.
  • Labeling Status는 기본적으로 라벨 제출 여부에 따라 3개 상태(In progress, submitted, skipped)로 나뉩니다.
  • 각 제출 상태는 리뷰어의 리뷰 여부 및 결과에 따라 다시 2개 상태(In Progress: Rejected, Not Submitted / Submitted·Skpped: Approved, Pending Review)로 구분됩니다.
  • 각 상태 영역 안의 숫자는 상태별 라벨 개수를 의미하며, 영역을 클릭하면 해당 라벨 목록을 볼 수 있는 Labels 탭으로 이동합니다.

라벨 검수 상태와 리뷰어에 따른 필터링

라벨 리뷰 상태는 Pending, Approved, Rejected 총 세 가지입니다.
  • Labels 탭에서 필터 기능을 사용하면 '라벨 리뷰 상태(Approved, Rejected, Pending)' 및 '리뷰어'를 기준으로 필터링할 수 있습니다.
  • Reviews 컬럼을 클릭하면 '반려된 라벨 중 리뷰 라운드가 높은 라벨'을 우선적으로 정렬할 수 있습니다.
  • 리뷰 컬럼에 마우스를 갖다대면 '리뷰어 정보'를 말풍선으로 확인할 수 있습니다.

라벨러별 검수 결과 통계

User Reports에서 각 라벨러 별로 승인 및 반려된 라벨 개수를 확인할 수 있습니다.

자주 묻는 질문(FAQ)

프로젝트 사이드바의 Review 버튼을 클릭해 실행되는 리뷰 모드와, 라벨 테이블에서 특정 라벨을 클릭해 리뷰 모드를 실행하는 것은 무엇이 다른가요?

  • Review 버튼을 클릭하면 풀스크린(Full-Screen) 리뷰 모드가 실행되며, 검수 대기 중(Pending)인 라벨을 차례대로 할당받아 리뷰할 수 있습니다.
  • 특정 라벨을 클릭하면 모달(Modal) 리뷰 모드가 실행되며, 해당 라벨만 리뷰할 수 있습니다.
'풀스크린 리뷰모드'에서는 검수 대기 중인 라벨을 차례대로 할당받아 리뷰할 수 있습니다.

리뷰가 진행된 라벨의 상태를 In Progress로 임의 변경하면 어떻게 되나요?

  • 리뷰가 진행된 라벨의 상태를 In Progress로 임의 변경할 경우, 리뷰 내역이 일시적으로 사라집니다. 해당 라벨을 다시 라벨링하고 제출하면 기존 리뷰 내역이 복원됩니다.

리뷰가 진행된 라벨의 'Assignee'를 변경하면 어떻게 되나요?

  • 리뷰가 진행된 라벨의 'Assignee'를 변경하면, 기존 리뷰 내역이 모두 삭제됩니다.

2명 이상의 리뷰어가 하나의 라벨을 리뷰했을 때, 'Reviewer' 필터는 누구를 기준으로 적용되나요?

  • Reviewer 필터는 '가장 최근 리뷰어' 기준으로 적용됩니다. 즉, 첫번째 리뷰 라운드에서는 A가, 두번째 리뷰라운드에서는 B가 리뷰한 라벨을 필터링하기 위해서는 Reviewer 필터를 'B'로 적용해야 합니다.
다른 질문이 있으신가요? [email protected] 으로 문의주세요.