매뉴얼 리뷰(Manual Review)

Search…

매뉴얼 리뷰는 작업상 검수(Validation) 단계에서 사람이 직접 라벨링 작업 결과 전체 또는 일부를 확인 및 검수하는 방식으로, 가장 기본적인 품질 평가 방법 중 하나입니다.
Suite의 검수 단계에서는 라벨을 할당받은 사용자(Assignee)의 작업 결과를 리뷰어(Reviewer)가 평가하여 승인(Approve)하거나 반려(Reject)할 수 있습니다.
또한, Suite에서는 역할에 따른 권한 제한, 이슈 트래킹, 라벨링 상태 관리, 리뷰 워크플로우 등을 기능을 제공하여, 데이터를 검수하고 수정하는 단계에서 고객사가 최적의 워크플로우를 구축하고 편리하게 소통할 수 있도록 돕고 있습니다.
Suite 매뉴얼 리뷰 프로세스
​
1. 라벨을 할당받은 사용자 — 라벨 제출·스킵 
사용자는 라벨링 모드에서 할당받은 라벨 작업 후, 작업 결과물을 제출하거나 라벨링에 적합하지 않은 라벨을 스킵합니다. 
라벨링 작업 시, 라벨 상태는 In Progress입니다. 라벨을 제출·스킵하면 라벨 상태는 Submitted·Skipped로 변경됩니다. 
라벨 제출·스킵과 동시에 *리뷰 라운드가 시작되고, 리뷰 상태는 Pending으로 변경됩니다. 

*리뷰 라운드란? 라벨러가 라벨을 제출한 뒤, 리뷰어가 해당 라벨을 검수하여 승인·반려 여부를 결정하는 일련의 과정을 ‘리뷰 라운드’라고 합니다. 
​
2. 리뷰어 — 라벨 검수
❗ 오너·어드민·매니저 레벨의 사용자만 리뷰어가 될 수 있습니다. 라벨러 레벨의 사용자는 리뷰어가 될 수 없습니다.
​
2-1. 프로젝트 사이드바 상단의 Review 버튼을 클릭하거나, 라벨 테이블에서 특정 라벨을 클릭하여 리뷰 모드를 실행하세요.
ℹ️ Review 버튼을 클릭하면 검수 대기 중(Pending)인 라벨을 차례대로 리뷰할 수 있는 풀스크린(Full-Screen) 리뷰 모드가 실행됩니다. 
ℹ️ 특정 라벨을 클릭하면 해당 라벨만 검수할 수 있는 모달(Modal) 리뷰 모드가 실행됩니다. 
​
2-2. 라벨을 리뷰한 후, 우측 상단의 Approve, Reject 버튼으로 라벨의 승인·반려 여부를 선택할 수 있습니다.
　1) 승인
리뷰어가 라벨을 승인하는 것은 해당 라벨이 모델 학습에 사용되기 적합하다는 뜻입니다.
라벨을 승인하면 리뷰 상태가 Approved로 변경되며, 해당 라벨의 리뷰가 종료됩니다.
　2) 반려
라벨을 반려하는 것은 해당 라벨이 모델 학습에 사용되기 적합하지 않다는 뜻입니다.
리뷰어는 라벨을 반려할 때 반드시 사유를 입력해야 합니다. 이 내용은 이슈 스레드에 기록됩니다.
라벨을 반려하면 리뷰 상태는 Rejected로 변경되며, 해당 라벨은 기존 라벨러에게 재할당됩니다. 라벨 상태 역시 In Progress로 변경됩니다.
​
3. (반려 시) 기존 라벨러 — 검수 결과 확인 및 수정
3-1. 반려된 라벨은 기존 라벨러에게 다시 할당됩니다.
라벨러는 이슈 스레드에서 반려 사유를 확인하여 빠르게 라벨을 수정할 수 있습니다.
이 때, 라벨러가 라벨링 모드를 실행하면 반려된 라벨이 우선적으로 노출됩니다. 
​
3-2. 라벨러는 라벨을 수정 후 다시 제출해야 합니다.
라벨러가 라벨을 수정한 뒤 제출하면, 다음 리뷰 라운드가 시작됩니다.
1~3의 프로세스를 반복적으로 수행하여 라벨을 검수하세요.
매뉴얼 리뷰 통계 확인
프로젝트 Overview의 Labeling Status 카드에서 매뉴얼 리뷰 진행 상황에 대한 통계를 실시간으로 확인할 수 있습니다.
Labeling Status는 기본적으로 라벨 제출 여부에 따라 3개 상태(In progress, submitted, skipped)로 나뉩니다.
각 제출 상태는 리뷰어의 리뷰 여부 및 결과에 따라 다시 2개 상태(In Progress: Rejected, Not Submitted / Submitted·Skpped: Approved, Pending Review)로 구분됩니다.
각 상태 영역 안의 숫자는 상태별 라벨 개수를 의미하며, 영역을 클릭하면 해당 라벨 목록을 볼 수 있는 Labels 탭으로 이동합니다.
라벨 검수 상태와 리뷰어에 따른 필터링
라벨 리뷰 상태는 Pending, Approved, Rejected 총 세 가지입니다.
Labels 탭에서 필터 기능을 사용하면 '라벨 리뷰 상태(Approved, Rejected, Pending)' 및 '리뷰어'를 기준으로 필터링할 수 있습니다.
Reviews 컬럼을 클릭하면 '반려된 라벨 중 리뷰 라운드가 높은 라벨'을 우선적으로 정렬할 수 있습니다.
리뷰 컬럼에 마우스를 갖다대면 '리뷰어 정보'를 말풍선으로 확인할 수 있습니다.
라벨러별 검수 결과 통계
User Reports에서 각 라벨러 별로 승인 및 반려된 라벨 개수를 확인할 수 있습니다.
자주 묻는 질문(FAQ)
프로젝트 사이드바의 Review 버튼을 클릭해 실행되는 리뷰 모드와, 라벨 테이블에서 특정 라벨을 클릭해 리뷰 모드를 실행하는 것은 무엇이 다른가요?
Review 버튼을 클릭하면 풀스크린(Full-Screen) 리뷰 모드가 실행되며, 검수 대기 중(Pending)인 라벨을 차례대로 할당받아 리뷰할 수 있습니다.
특정 라벨을 클릭하면 모달(Modal) 리뷰 모드가 실행되며, 해당 라벨만 리뷰할 수 있습니다.
'풀스크린 리뷰모드'에서는 검수 대기 중인 라벨을 차례대로 할당받아 리뷰할 수 있습니다. 
리뷰가 진행된 라벨의 상태를 In Progress로 임의 변경하면 어떻게 되나요?
리뷰가 진행된 라벨의 상태를 In Progress로 임의 변경할 경우, 리뷰 내역이 일시적으로 사라집니다. 해당 라벨을 다시 라벨링하고 제출하면 기존 리뷰 내역이 복원됩니다.
​
리뷰가 진행된 라벨의 'Assignee'를 변경하면 어떻게 되나요?
리뷰가 진행된 라벨의 'Assignee'를 변경하면, 기존 리뷰 내역이 모두 삭제됩니다.
​
2명 이상의 리뷰어가 하나의 라벨을 리뷰했을 때, 'Reviewer' 필터는 누구를 기준으로 적용되나요?
Reviewer 필터는 '가장 최근 리뷰어' 기준으로 적용됩니다. 즉, 첫번째 리뷰 라운드에서는 A가, 두번째 리뷰라운드에서는 B가 리뷰한 라벨을 필터링하기 위해서는 Reviewer 필터를 'B'로 적용해야 합니다.
​
​
다른 질문이 있으신가요? [email protected] 으로 문의주세요.  