Superb AI Suite - Docs
HomeBlogLoginSign Up for Free >>
Search…
1.12.5 - Korean
환영합니다!
Getting Started
#1 라벨과 프로젝트 알아보기🏁
#2 데이터 업로드하기⏫
#3 프로젝트에 동료 초대하기🧑🏻‍🤝‍🧑🏽
#4 라벨링 작업 배정하기🤝
#5 라벨링 모드에서 라벨링하기🏷️
#6 오토라벨링 활용하기🚀
#7 Suite로 데이터 관리하기📈
#8 프로젝트 & 작업자 관리💼
사용자 매뉴얼
처음 만나는 Suite
계정
프로젝트
사용자 관리
데이터셋과 데이터
라벨 관리
어노테이션 관리
품질 검수
분석 및 통계
외부 서비스와 연동하기
버전 기록
Changelogs
개발자 도구
커맨드 라인 인터페이스 (CLI)
Python SDK
Custom Auto-Label Download
Powered By GitBook
Changelogs

슈퍼브에이아이는 다음 기능을 열심히 준비 중이에요.

​
  • Polygon segmentation
  • Bulk operation as SDK
  • 3D Point Cloud
  • Property CAL
  • Long video support
그 외 더 많은 기능들을 곧 만나볼 수 있습니다.
​

March 11, 2022(v1.12.5) - Near Real Time analytics, Faster Overview chart, Bring objects front/Send objects back

​

새로운 기능

선택한 오브젝트 맨 앞/뒤로 가져오기

  • 라벨링 모드에서 Shortcuts 패널의 단축키로만 지원
  • 선택한 오브젝트는 수정하기 쉽도록 일시적으로 맨 앞으로 가져옴
Could not load image
  • 맨 앞으로 가져오기(bring to front) 작업 샘플

​

성능 개선

실시간에 가까운 분석 결과 업데이트(Project Analytics)

  • 프로젝트 분석(Project Analytics) 탭의 결과 차트는 거의 실시간으로 업데이트됩니다.
    • 이전에는 예측하기 어려웠던 (그리고 몇 시간 내지 하루가 걸리던) 업데이트 시간을 수십 초 이내로 개선

더 빨라진 Labeling Status 차트

  • 프로젝트 페이지 개요(Overview) 화면에서 볼 수 있는 Labeling Status 차트의 업데이트 속도가 100ms 미만으로 개선되었습니다.
Could not load image

CAL(Custom Auto-Labeling) 적용 개선

Could not load image
  • 기존에 적용된 Auto-Label AI를 보여주고, 사용자가 변경 사항을 더 쉽게 이해할 수 있도록 CAL 적용 화면을 개선하였습니다.
  • 분류 활성화가 가능합니다.
  • 사용자가 Auto-Label에 사용될 CAL을 알 수 있도록 Custom Auto-Label 목록 페이지에 기존에 적용된 CAL 정보를 표시하도록 개선하였습니다.
Could not load image
  • 사용자가 CAL을 프로젝트에 성공적으로 적용했을 때 나타나는 팝업 창에 옵션을 표시(Labels 또는 Auto-Label 탭)합니다.
Could not load image

Data 페이지 개선

  • Data 페이지에서는 필터를 활용해 원하는 데이터만 필터링해 볼 수 있는데, 데이터 유형(data type) 필터가 추가되었습니다.
Could not load image
  • 데이터를 프로젝트에 연결하고자 할 때, 이제 드롭다운 리스트에 프로젝트 데이터 유형이 표시됩니다.
Could not load image
​

February 25, 2022(v1.12.4)

성능 개선

  • Data 페이지 개선 Data 페이지에서 사용자가 더 다양한 필터를 적용할 수 있도록 개선하였습니다.
    Suite 화면에서 좌측 네비게이션 바의 Data 메뉴를 클릭하면 Data 페이지를 만날 수 있는데요. Data 페이지에서 처음 만나는 메뉴는 Dataset 리스트가 아닌 Data 메뉴(All Data)입니다. 이제 프로젝트, 업로더, 생성 날짜에 대한 필터를 드롭다운 메뉴로 추가 적용해 데이터를 필터링할 수 있습니다.
    Dataset 리스트는 드롭다운 메뉴를 클릭해 View를 Datasets로 변경하면 확인 가능합니다.
  • 라벨 내보내기(Label Exports) 개선
    프로젝트 목록에서 특정 프로젝트를 클릭하면 해당 프로젝트 페이지로 연결되는데요. 프로젝트 페이지의 라벨 내보내기(Label Exports) 기능이 개선되었습니다.
    라벨 내보내기가 완료되면 해당 히스토리에 대한 카드가 생성되며 적용된 필터(Applied Filters) 토글 버튼을 누르면 Apply Filters to Label List 액션이 가능하도록 개선되었습니다.
  • 사용자 리포트(User Reports) 개선
    • 분석이 필요한 프로젝트 페이지로 이동하면 프로젝트 사이드바에서 분석(Analytics) 탭을 찾으면 되는데요. 분석의 사용자 리포트(User Reports) 기능이 개선되었습니다. 사용자 리포트 화면에서 최상단 드롭다운 메뉴를 누르면, 이제 필터 이름뿐 아니라 필터에 대한 요약 정보도 볼 수 있게 되었습니다.
  • 사용자별 작업 라벨을 확인하기 위한 Annotation Summary 차트가 개선되었습니다. Labeler Summary 차트에 rejected percent, reviewed percent, avg review round 열이 추가되어 더 다양한 정보를 리포트에서 확인할 수 있게 되었습니다.
  • 차트에서 테이블 열 이름을 합리적으로 축약했고(Count와 Type 생략), 차트에는 라벨러 이름만 표시되며 이메일 정보는 리포트에서 볼 수 있도록 개선되었습니다.
​
  • 어노테이션 작업 개선
    • 라벨링 모드에서 캔버스 영역에 어노테이션을 그릴 때, 이미지 바깥에서 마우스를 드래그하더라도 마우스 커서가 닿은 이미지 가장자리에는 어노테이션이 적용됩니다.
  • 비디오 라벨링 모드에서 이미지 시퀀스 타임라인이 업데이트되었습니다.
    • 선택한 오브젝트 수정하기
    • 프레임 안에 있는 어노테이션된 오브젝트 필터링하기
    ​
​

삭제된 기능

  • Label Tag(라벨 태그) 제거 및 삭제 기능
    사용자는 Labels 탭에서 다양한 검색어 및 필터를 적용해 원하는 조건에 맞는 라벨을 찾을 수 있는데요. 필터 중 Label Tag(라벨 태그) 필터를 지우고자 할 때 바로 삭제할 수 없도록 변경했습니다.
    기존에 사용자가 라벨 태그를 삭제하면, 삭제된 태그의 라벨에 어떤 태그가 삽입되었던 것인지 확인할 수 없었습니다. 그래서 태그를 모든 라벨에서 지운 후 태그를 삭제할 수 있도록 변경하였습니다.
​

January 27, 2022(v1.12.3) - Request Review

새로운 기능

  • 각 라벨의 Reviewer 컬럼에 마우스를 갖다대면 검수자 정보를 확인할 수 있습니다.

성능 개선

  • 오토라벨링 적용 시, 현대 Auto-Label Configuration 정보를 알려줍니다.

January 14, 2022(v1.12.2) - Request Review, Action Tracker

새로운 기능

1. 리뷰 요청하기 (라벨러 할당)
  • 라벨에 라벨러를 할당(assign)할 수 있는 기능에 이어, 팀 멤버에게 라벨의 리뷰를 요청할 수 있는 기능이 추가되었습니다. 이 기능을 통해 각 라벨의 리뷰 담당자를 지정할 수 있습니다.
  • 할당 방법은 라벨러 할당과 동일합니다. 할당할 라벨을 체크박스에서 선택한 후, 라벨 목록 상단에서 Review Request 버튼을 누르세요.
  • Admin/Manager만 사용할 수 있습니다.

성능 개선

  • 대규모 작업 지원 개선
    Suite에서 대규모 데이터/라벨 작업 성능이 향상되었습니다. 지원되는 작업에는 데이터 삭제 · 데이터와 프로젝트 연결 · 데이터 그룹 이름 변경 · 라벨러/리뷰어 할당 및 취소가 포함됩니다.
  • 액션 트래커 기능 개선
    대규모 작업 지원이 개선되면서, Suite 상단의 액션 트래커( )에 작업 완료 여부 및 실행자 정보가 기록됩니다. 액션 히스토리는 최대 7일 간 저장됩니다.
  • Export 버튼 위치 이동
    Labels 페이지에서 Export 버튼이 드롭다운 메뉴 밖으로 이동하였습니다.
  • 오토라벨 관련
    • Auto-Label Settings 페이지의 UI가 개선되었습니다.
    • 커스텀 오토라벨은 생성된 Export 기록 정보를 함께 보여줍니다.
    • 커스텀 오토라벨 목록 UI가 개선되었습니다.
  • 라벨러 할당 관련
    • Assignment Order 기능이 삭제되었습니다.
    • 라벨 선택 시 적용한 필터 정보가 표시됩니다.
    • Distribution Method 설명이 개선되었습니다.

버그 수정

  • 라벨 할당 시, Assign 모달 창에서 각 사용자의 이름 대신 레벨이 보이던 버그를 수정하였습니다.

December 15, 2021(v1.12.1) - SDK, Label Mode Improvement

새로운 기능

1. SDK
SDK를 통해 가져올 수 있는 프로젝트 통계에 리뷰관련 값들을 추가했습니다.

성능 개선

  • 라벨링 모드 관련
    • 키포인트 라벨링 시, 이미지 바깥 영역을 클릭하면 가장 가까운 가장자리에 포인트가 생성됩니다.
    • Multiple Choice 드롭다운의 사용성을 개선했습니다.
    • 비디오 라벨링 모드의 타임라인에서 특정 프레임을 클릭하면 현재 프레임 위치도 함께 변경됩니다.
    • 프레임과 어노테이션이 많은 경우에도 원활히 작동하도록 비디오 타임라인의 성능을 개선했습니다.

버그 수정

  • 라벨링 모드 관련
    • 비디오 라벨링 모드에서 리뷰 모드로 전환 시, 프레임이 0으로 초기화되던 버그를 수정하였습니다.
    • 폴리곤 세그멘테이션 Union·Subtract 기능 사용 중, 화면을 확대하면 기능이 사용 해제되던 버그를 수정하였습니다.
    • 폴리곤 세그멘테이션 Union·Subtract 모드 사용 중, 화면을 확대하면 모드가 해제되던 버그를 수정하였습니다.
  • 오토라벨 설정 관련
    • 오토라벨 설정 시, 다른 오브젝트 클래스와 연결되어 있는 오토라벨 AI 항목은 선택이 불가능하도록 수정되었습니다.

December 2, 2021 (v1.12.0) - Command Menu

새로운 기능

1. 커맨드 메뉴(Command Menu)
Suite에 '커맨드 메뉴' 기능이 추가되었습니다. 커맨드 메뉴를 사용하면 몇 번의 입력 만으로 Suite에서 원하는 기능을 쉽게 찾고 빠르게 접근할 수 있으며, 매뉴얼 문서도 검색할 수 있습니다.
↗ 관련 매뉴얼:

성능 개선

  • 상단 진행현황 알림 창 UX 개선
    • Done 탭의 항목이 최대 3일 간 표시됩니다.
    • Show older entries 버튼을 클릭하면 최대 7일 간의 항목이 표시됩니다.
    • 항목 필터가 추가되었습니다. 'only current project', 'only your operation' 필터를 적용할 수 있습니다.
  • 유저 리포트(User Report) 개선
    • 유저 리포트 생성 버튼(Generate Full Report) 클릭 후, 리포트 생성이 완료될 때까지 버튼이 비활성화됩니다. 연속적인 리포트 요청으로 인한 시스템 과부하를 막기 위함입니다.
    • 유저 리포트 생성 실패 시, 실패 원인을 에러 메세지로 확인할 수 있습니다.
  • 사용자 초대 개선
    • 사용자 초대 실패 시, 실패 원인을 에러 메세지로 확인할 수 있습니다.
  • 커스텀 오토라벨 AI 개선
    • 커스텀 오토라벨 AI 중 학습을 진행할 수 없는 오브젝트 클래스는 Apply 창에서 N/A로 표시되며, 체크박스가 비활성화됩니다.
​

버그 수정

  • 라벨링 모드 관련
    • 'Continuous drawing mode'에서 키포인트 그리기가 작동하지 않는 버그를 해결하였습니다.
    • 비디오 라벨링 모드의 타임라인을 확인할 때, 화면 배율이 유지됩니다.
    • 라벨 정보 토글에서 발생했던 버그를 수정하였습니다.
    • 라벨링 모드에서 인식 불가능한 이미지가 들어갔을 때 발생하던 버그를 해결하였습니다.
  • 커스텀 오토라벨 AI 관련
    • 용어가 변경되었습니다(Properties → Options).
  • 프로젝트 분석 관련
    • 특정 오브젝트 클래스의 이름이 변경되었을 때, Object Counts Chart에서 정상적으로 반영되지 않던 버그를 수정하였습니다.

November 18, 2021 (v1.11.0) - Custom Auto-Label, Auto-Label Settings

새로운 기능

1. 커스텀 오토라벨링 AI 지원 범위 확장
커스텀 오토라벨링 AI가 지원하는 어노테이션 유형에 이미지 카테고리(Image Category)가 추가되었습니다. 이제 이미지 카테고리 라벨링 작업에도 커스텀 오토라벨링 AI를 적용할 수 있습니다.
2. 오토라벨링 AI 설정 방법 변경
  • 커스텀 오토라벨링 AI가 이미지 카테고리를 지원하게 되면서, 오토라벨링 AI 설정 방법이 변경되었습니다.
기존 방식
신규 방식
프로젝트 생성 프로세스 내에서 오토라벨링 설정 가능
프로젝트 생성 완료 이후, Auto-Label Settings 탭에서 오토라벨링 설정 가능
  • 프로젝트 Overview에 Auto-Label Configuration 카드가 추가되었습니다.
  • 자세한 오토라벨링 설정 방법은 다음 매뉴얼을 참고해주세요.
​

성능 개선

  • 라벨링 모드에서 바운딩 박스 작업 시, 화면 확대/축소 비율에 따라 보조선 굵기가 달라지는 오류를 수정하였습니다.

October 27, 2021 (v1.10.4) - Sample Projects

새로운 기능

1. 대규모 데이터셋을 포함한 샘플 프로젝트
Suite에서 4종(Retail, Autonomous driving, Agriculture, Industrial surface)의 대규모 샘플 프로젝트를 생성해볼 수 있습니다. 이 샘플 프로젝트에는 각 데이터셋을 학습한 커스텀 오토라벨링 AI가 포함되어 있습니다.
↗ 관련 매뉴얼: 샘플 프로젝트 생성하기​

성능 개선

1. 프로젝트 분석
프로젝트 분석의 Submitted Labels 차트가 2분마다 업데이트됩니다.

September 15, 2021 (v1.10.2) - Label Mode, Multi-Polygon Segmentation, Manual Review, Custom Auto-Label, etc.

새로운 기능

1. 라벨링 모드 기능 개선
  • 라벨링 모드 UI/UX가 개선되었고, 로딩 속도가 빨라졌습니다.
  • 라벨링 모드에서 이슈를 관리할 수 있습니다.
​
2. 멀티 폴리곤 세그멘테이션(Multi-Polygon Segmentation) 라벨링 지원
  • 멀티 폴리곤 세그멘테이션은 하나의 오브젝트에 폴리곤 여러 개를 추가하거나, 특정 폴리곤 내 일부 영역을 제거할 수 있는 기능입니다.
  • 라벨링 모드의 좌측 Objects 패널에서 특정 오브젝트를 선택하면, 상단에 +(Union), -(Subtract), 다시 그리기(Redraw) 버튼이 표시됩니다.
    • + 버튼으로 오브젝트에 폴리곤을 추가로 생성할 수 있습니다. 오브젝트의 일부가 잘려 분리된 영역까지 라벨링하는 데 사용됩니다.
    • - 버튼으로 폴리곤 내의 일부 영역을 삭제할 수 있습니다.
    • Redraw 버튼으로 폴리곤의 일부 포인트를 수정할 수 있습니다.
오브젝트의 일부가 잘려 분리된 경우, + 버튼으로 분리된 영역까지 라벨링할 수 있습니다.
​
3. 매뉴얼 리뷰 관련
  • 라벨 테이블의 'Reviews' 컬럼이 다음과 같이 수정됩니다.
    • 리뷰 라운드 반복 횟수가 숫자로 표시됩니다.
    • 각 라벨의 리뷰 컬럼에 마우스를 갖다대면, 리뷰어 정보가 말풍선으로 표시됩니다.
    • 'Reviews' 컬럼 헤더를 클릭하면, 리뷰 상태(Pending-Rejected-Approved 순) 및 리뷰 라운드가 높은 라벨을 우선적으로 정렬할 수 있습니다.
  • 풀스크린 리뷰 모드
    • 프로젝트 사이드바의 Review 버튼을 클릭하면 풀스크린(Full-Screen) 리뷰 모드가 실행되며, 검수 대기 중(Pending)인 라벨 중 리뷰 라운드가 높은 순서대로 할당받아 리뷰할 수 있습니다.
​

성능 개선

1. 회원가입 프로세스 간소화
회원가입 절차가 간소화되었습니다. 자세한 내용은 관련 매뉴얼을 참고해주세요.
​
↗
관련 매뉴얼:
​
2. 사용자 초대 UI/UX 개선
여러 유저 레벨의 사용자를 한 번에 초대할 수 있도록 사용자 초대 UI/UX가 개선되었습니다. 자세한 내용은 관련 매뉴얼을 참고해주세요.
​
↗
관련 매뉴얼:
​
3. 커스텀 오토라벨 기능 개선
  • + Create Custom Auto-Label AI 버튼 신설
    프로젝트 사이드바의 Custom Auto-Label 탭 페이지에서 커스텀 오토라벨링 AI를 바로 생성할 수 있도록 버튼이 추가되었습니다.
  • Apply 버튼 신설
    프로젝트 내에서 커스텀 오토라벨링 AI를 빠르게 적용할 수 있도록 Apply 버튼이 탑재되었습니다.
  • 커스텀 오토라벨링 AI의 정밀도(Precision), 재현율(Recall) 지표
    커스텀 오토라벨링 AI 내 각 오브젝트 클래스의 정밀도와 재현율을 확인할 수 있습니다.
❗Apply 버튼, 정밀도·재현율 지표는 2021-09-15 이후에 생성한 커스텀 오토라벨링 AI에만 지원됩니다.
​
4. 개요(Overview) 탭의 Labeling Status 카드 개선
Labeling Status 카드 내 파이 차트의 특정 상태 영역에 마우스 커서를 가져가면 해당 상태의 라벨 개수를 보여줍니다.
​
5. 테이블 컬럼 정렬 UX 개선
각종 테이블의 정렬 기준이 되는 컬럼을 바로 확인할 수 있습니다.
6. 이미지 옵션 명칭 변경
  • 이미지 데이터 유형의 명칭이 다음과 같이 변경됩니다.
    • Image(New) → Image
    • Image → Image(Deprecated)
  • Image(Deprecated) 유형은 향후 지원 중단될 예정이므로, Image 옵션 사용을 권장합니다.
  • 샘플 프로젝트의 데이터 유형도 변경 후 Image 옵션으로 제공됩니다.
​

버그 수정

  • 클라우드 업로드 창에서 발생했던 오류를 해결하였습니다.
  • 데이터셋 목록에서 잘못된 페이지를 보여주었던 오류를 해결하였습니다.

August 26, 2021 (v1.10.1) - Labeling Status, Auto-Label Difficulty

성능 개선

1. Labeling Status 카드 UI 변경
매뉴얼 리뷰 기능이 신설되면서, 프로젝트 개요(Overview)의 Labeling Status 카드가 아래와 같이 변경되었습니다.
  • Labeling Status는 기본적으로 라벨 제출 여부에 따라 3개 상태(In progress, submitted, skipped)로 나뉩니다.
  • 각 제출 상태는 리뷰어의 리뷰 여부 및 결과에 따라 다시 2개 상태로 구분됩니다.
    • 참고: 리뷰어는 라벨러가 제출하거나 건너뛴 라벨을 리뷰하여 승인/거절할 수 있습니다. 거절된 라벨은 다시 라벨러에게 할당됩니다.
  • 각 상태 박스 안의 숫자는 상태별 라벨 개수를 의미하며, 박스를 클릭하면 해당 라벨 목록을 볼 수 있는 Labels 탭으로 이동합니다.
​
↗
 관련 매뉴얼:
​
2. 오토라벨링 난이도 필터
라벨 필터 목록에 '오토라벨 난이도(Auto-Label Difficulty)' 항목이 추가되었습니다. 이제 세 가지 오토라벨링 난이도(easy, medium, hard)를 기준으로 라벨을 필터링할 수 있습니다.
​

버그 수정

  • 간헐적으로 키포인트 이름이 'Untitled Keypoint'로 표시되던 버그가 수정되었습니다.
  • Image(New) 프로젝트 Project Analytics의 Category Counts에서 발생했던 차트 색상 오류를 해결하였습니다.

August 13, 2021 (v1.10.0) - New Suite UI, Review & Label Modes, Manual Review

새로운 기능

1. Suite UX/UI 리뉴얼
1-1. 새로운 네비게이션 바
  • 네비게이션 바의 형태가 기존 상단 가로형에서 좌측 세로형으로 변경되었고, 프로젝트 내 기능을 모아볼 수 있는 프로젝트 사이드바가 신설되었습니다.
  • 사용자는 새로운 네비게이션 바와 프로젝트 사이드바에서 Suite의 모든 기능을 한 눈에 파악하고, 원하는 탭으로 빠르게 이동할 수 있습니다.
1-2. 데이터 업로드 UI/UX 개편
  • 데이터 업로드 UI/UX가 새로워졌습니다. 데이터 업로드 방법이 단계별로 표시되어 사용자가 쉽게 따라할 수 있습니다.
  • CLI(Command Line Interface) 업로드 옵션이 추가되었습니다. 현재 Suite에서는 총 4가지(File, Cloud, URL, CLI) 방법으로 데이터를 업로드할 수 있습니다.
​
↗
 관련 매뉴얼:
1-3. 리뷰 모드, 라벨링 모드
  • (구)디테일 뷰, (구)어노테이션 앱이 각각 리뷰 모드, 라벨링 모드로 리뉴얼되었습니다. Image(New) 프로젝트에서만 사용할 수 있습니다.
  • 라벨링 모드에서는 라벨링 작업을, 리뷰 모드에서는 라벨링 결과 확인, 품질 검수, 피드백 기록 등 검토 업무를 수행할 수 있습니다. 리뷰 모드와 라벨링 모드에서 제공하는 기능은 거의 동일하나, 리뷰 모드에서는 라벨 상세 정보를 확인할 수 있는 Label Information 패널과 매뉴얼 리뷰를 위한 Approve/Reject 버튼을 사용할 수 있습니다.
  • 사용자는 Tasks 패널에서 라벨링 작업 정보(오브젝트 클래스, 어노테이션 유형)를 한 번에 확인할 수 있습니다. 생성된 어노테이션은 Object 패널에 목록화됩니다. 그 외에도 이슈 스레드를 남길 수 있는 Issues 패널, 라벨링 단축키를 확인할 수 있는 Shortcuts 패널, 라벨링 작업 조건을 설정할 수 있는 Adjustment 패널이 있습니다.
  • 리뷰 모드에서 우측 하단의 편집 버튼을 클릭하면, 화면 전환 없이 라벨링 모드로 변경할 수 있습니다.
*리뷰/라벨링 모드는 현재 일부 사용자만 사용할 수 있습니다.
​
↗
 관련 매뉴얼:
​
2. 매뉴얼 리뷰(Manual Review)
  • 라벨러(Labeler)의 작업 결과를 리뷰어(Reviewer)가 평가하여 승인하거나 거부할 수 있는 매뉴얼 리뷰 기능이 신설되었습니다. 매뉴얼 리뷰는 Suite가 제공하는 품질 평가(Quality Assurance) 기능 중 가장 기본적인 방법입니다.
  • Image(New) 프로젝트에서만 사용할 수 있습니다.
  • 기능에 대한 자세한 설명은 다음 매뉴얼을 참고하세요.
​
↗
 관련 매뉴얼:
​

성능 개선

  1. 1.
    데이터-프로젝트 연결 속도 향상
    대량의 데이터를 프로젝트에 연결할 때 소요되는 시간이 단축되었습니다.
  2. 2.
    커스텀 오토라벨링 AI 성능 향상
    새로운 학습용 모듈을 도입하여, 커스텀 오토라벨링 AI의 객체 탐지 성능이 향상되었습니다.

July 29, 2021 (v1.9.9)

버그 수정

  • 매니저 레벨의 유저에게 발생했던 라벨 필터 및 데이터셋 필터 오류가 수정되었습니다.
  • 라벨 리스트에서 Assignee를 필터링할 때, 공백을 포함하는 이름이 필터링되지 않았던 오류가 수정되었습니다.

July 2, 2021 (v1.9.7)

성능 개선

  • Firefox 브라우저와의 호환성을 개선하였습니다.
  • Project Configuration 페이지에서 Class Property를 설정하는 UX를 개선하였습니다.
  • Data List의 필터 및 검색 기능을 개선했습니다.
    • Dataset이나 프로젝트 연결 여부 등을 기준으로 데이터를 검색할 수 있습니다.

June 18, 2021 (v1.9.6) - Export History, Profile Picture, User Report

성능 개선

1. Export History 개선
  • Export History의 데이터셋 이름을 수정할 수 있는 기능이 추가되었습니다. 이를 통해 Export History를 보다 효율적으로 관리할 수 있습니다.
  • 삭제 기능이 추가되었습니다. 필요 없는 History는 우측 상단의 휴지통 버튼을 눌러 삭제할 수 있습니다.
2. 프로필 사진
  • 프로필 사진을 설정할 수 있습니다. 처음에는 이름의 첫 글자와 배경색이 랜덤으로 지정됩니다.
  • My Account > My Profile의 프로필 사진 및 'Edit' 버튼을 눌러 변경할 수 있습니다.
3. Image(New) 프로젝트의 유저 리포트
  • 이제 Image(New) 프로젝트의 유저 리포트에서도 'Category Count', 'Labeling Time' 정보를 볼 수 있습니다.

버그 수정

  • 샘플 프로젝트의 Project Configuration 수정 시 발생하던 에러를 수정하였습니다.
  • CSV Export 포맷이 수정되었습니다.

June 4, 2021 (v1.9.5) - Data Upload (Image & Video)

새로운 기능

1. 데이터 업로드 프로세스 개선
  • Overview 페이지의 To-Do List에서 'assign existing data' 버튼을 클릭하면, 바로 데이터 업로드를 할 수 있도록 'Data List' 모달이 활성화됩니다.
  • 프로젝트에 할당된 라벨이 없는 경우, Label List에서도 'assign existing data' 버튼을 누르면 '데이터 리스트' 모달을 볼 수 있습니다.

성능 개선

  • Image(New) 프로젝트의 Analytics 차트가 개선되었습니다.

버그 수정

  • 클라우드 업로드를 통해 비디오 데이터를 업로드할 때, 100,000개 이상의 프레임까지 지원됩니다.

May 21, 2021 (v1.9.4)

버그 수정

  • Image(New), Video Annotation App
    • 바운딩 박스 수정 시 발생하던 문제가 수정되었습니다.

May 7, 2021 (v1.9.3) - SDK Support, View to compare Main vs.Auto-Label

성능 개선

  • Image(New) 프로젝트
    • 이제 Image(New) 프로젝트에서도 SDK를 사용할 수 있습니다.
    • Main Label과 Auto-Label을 비교할 수 있는 기능도 추가되었습니다.

April 23, 2021 (v1.9.2) - Import Keypoint Template from Other Project, Sign Up

새로운 기능

1. 다른 프로젝트의 Keypoint Template 불러오기
  • 다른 프로젝트에서 생성한 Keypoint Template을 불러올 수 있습니다.
​

성능 개선

1. SDK Examples 제공
2. Slack 연동
  • 이제 Suite와 Slack을 연동하여, 프로젝트 알림을 슬랙을 통해 받아볼 수 있습니다.
  • My Account > Integration 에서 Slack 버튼을 클릭하세요.
​

버그 수정

  • Image(New) 프로젝트에서 라벨을 저장/Export 하는 동안 발생하는 간헐적인 오류를 수정하였습니다.

April 9, 2021 (v1.9.1) - Keypoint, New Annotation Apps

새로운 기능

1. Keypoint 오토라벨링
  • 이제 keypoint type의 오브젝트 클래스에도 오토라벨링을 사용할 수 있습니다.
  • 단, 현재는 'person' pre-trained AI만 지원되며, 어노테이션 유형을 'Keypoint - Human template'으로 선택한 객체만 연결할 수 있습니다. 프로젝트 생성 시 Configure Auto-Labeling 페이지에서 설정하세요.
2. Custom Keypoint Template
  • 키포인트 템플릿을 원하는대로 생성할 수 있는 'Custom Keypoint' 기능이 추가되었습니다.
  • 프로젝트 생성 시 Object Class 섹션에서 설정할 수 있습니다. Keypoint의 위치 · 이름 · 색상 정보가 포함된 JSON 파일을 복사, 붙여넣기하세요.
  • 하나의 프로젝트에서 여러 개의 Custom Keypoint 템플릿을 생성할 수 있습니다. ❗Image(New) 프로젝트에서만 사용가능합니다.
​
3. Keypoint 커스텀 오토라벨 AI
  • 2번과 같이 Custom Keypoint 템플릿을 생성하였다면, 해당 템플릿을 사용하는 오브젝트 클래스에 대한 커스텀 오토라벨 AI를 생성할 수 있습니다.
    ❗ Image(New) 프로젝트에서만 사용가능합니다.
    ❗ 생성된 Custom Auto-Label AI의 키포인트 골격(포인트 개수 및 연결상태)과, 인퍼런스하려는 오브젝트 클래스의 키포인트 골격이 같은 경우에만 사용할 수 있습니다.
4. 이미지(New) 어노테이션 앱, 비디오 어노테이션 앱
  • 타이머가 추가되었습니다. 저장할 때 타이머 기록도 함께 저장됩니다.
  • Setting 패널에서 어노테이션의 선 두께, 포인트 크기, 폰트 사이즈를 조절할 수 있습니다.

버그 수정

  • Image(New) 프로젝트에서 SDK 라벨 업로드 시 발생했던 포맷팅 에러를 해결하였습니다.

March 26, 2021 (v1.9.0) - GCP Integration, etc.

새로운 기능

1. GCP (Google Cloud Platform) Integration(연동) Suite와 Integration할 수 있는 클라우드 스토리지 목록에 'GCP(Google Cloud Platform)'가 추가되었습니다.
1-1. GCP Integration을 통한 Cloud Upload
  • ‘Cloud Upload 기능’을 통해 GCP의 데이터를 Suite에 업로드할 수 있고, 이 기능을 사용하기 위해서는 먼저 Integration을 완료해야 합니다.
  • GCP Integration 방법은 다음 튜토리얼을 참고해주세요.
1-2. Cloud Upload의 'Your Own Storage' 옵션
  • Cloud Upload 시, 'Your own storage(Read Only)' 옵션을 사용할 수 있습니다. 이 옵션을 선택하면, Suite는 사용자가 직접 관리하는 클라우드 스토리지에 저장된 파일에 대한 읽기 전용 권한만 소유합니다. 즉, 고객의 데이터가 슈퍼브에이아이의 클라우드 저장소에 저장되지 않습니다.
  • 다음과 같은 제약사항이 있습니다.
    • 현재는 이미지 데이터만 가능합니다.
    • Raw Data Download 기능 사용에 일부 제약이 있습니다.
    • 데이터 조회 시 고객의 Cloud Storage 버킷에서 데이터 요청 및 전송 비용이 발생합니다.
​
2. 이미지 어노테이션 앱 리뉴얼
  • 리뉴얼된 어노테이션 앱이 정식 오픈되었습니다. 현재는 기존 버전과 리뉴얼된 버전을 모두 사용할 수 있습니다.
  • Project Configuration 페이지에서 Data Type으로 Image (New)를 선택하면, 리뉴얼된 어노테이션 앱을 사용할 수 있습니다.
  • 리뉴얼된 어노테이션앱에서는 데이터 로딩 속도가 더 빨라졌습니다. 라벨 제출 후 지체되는 시간 없이 바로 다음 라벨을 작업할 수 있습니다.
​
3. Per frame 기능 추가
  • 비디오 프로젝트에서 프레임 별로 Image Category/Property 를 설정할 수 있는 Per frame기능이 추가되었습니다.
  • 이 기능을 사용하면, 각 Object 마다 프레임별로 Property 값을 다르게 선택하며 라벨링할 수 있습니다.
  • 새 프로젝트 생성 시 Project Configuration 페이지에서 설정할 수 있습니다.
​
4. Analytics — 'Dataset' 필터 추가
  • 프로젝트에 연결된 dataset 별로 필터링하여 Analytics 결과를 볼 수 있습니다.
  • ❗ 단, 'Dataset' 필터를 적용하면, Submitted Labels chart에는 2021/03/25 이후에 작업된 라벨 데이터만 표시됩니다.
​

성능 개선

  1. 1.
    프로젝트-데이터 연결 시, 데이터가 중복되었거나 프로젝트 타입이 일치하지 않는 경우, 연결 실패를 알리는 알림이 추가되었습니다.
  2. 2.
    오토라벨링 난이도를 나타내는 아이콘의 위치가 변경되었습니다.

버그 수정

  • 유저 리포트: 분석 결과가 없는 경우에 나타나는 메세지 오류를 수정하였습니다.

March 12, 2021 (v1.8.0) - 어노테이션앱 베타버전, 컨센서스(Consensus) 알파 버전

새로운 기능

1. 비디오, 이미지 어노테이션 앱 베타 버전
비디오, 이미지 어노테이션 앱이 새로워졌습니다.
  • 단축키 맞춤 설정
    원하는대로 단축키를 맞춤 설정할 수 있습니다. 기본 단축키 설정으로 되돌리는 것도 가능합니다. 우상단의 키보드 버튼을 클릭하여 원하는대로 단축키를 설정하세요.
  • 어노테이션 앱 영역 크기 조정 어노테이션 앱 내 각 영역(좌우 패널과 타임라인)의 크기를 조절할 수 있습니다.
  • 어노테이션 앱 논스톱 라벨링 모드
    • 논스톱 라벨링 모드가 신설되었습니다. 이 모드를 사용하면, 라벨 제출 후 중단 없이 바로 다음 라벨을 작업할 수 있습니다.
    • 우상단의 'Continue?' 체크박스를 선택해 논스톱 라벨링 모드를 켜고 끌 수 있습니다.
2. Multiple Categorization
  • 이제 하나의 프로젝트 안에서도 여러 개의 Categorization 작업을 수행할 수 있습니다. Project Configuration 페이지에서 설정하세요.
  • 객관식, 다중 선택, 자유 응답 중 원하는 카테고리 응답 방법을 선택할 수 있습니다.
3. Advanced QA(Quality Assurance) — 컨센서스(Consensus) 알파 버전
  • 인공지능 학습용 데이터셋의 고도화된 품질 검수를 위한 컨센서스 기능이 신설되었습니다. 컨센서스는 하나의 라벨에 대한 여러 작업자의 작업 결과물을 비교하고 합칠 수 있는 기능입니다. Project Configuration 페이지에서 설정할 수 있습니다.
  • 컨센서스 기능을 사용하는 프로젝트에서는, 기본 라벨이 메인 라벨(main labels)로 간주됩니다. 유저는 메인 라벨(main labels)에 컨센서스 라벨(consensus labels)을 추가할 수 있습니다.
  • 컨센서스 라벨은 메인 라벨과 같은 이미지 데이터를 공유하며, 작업한 라벨러에 따라 각기 다른 라벨링 결과값을 갖게 됩니다.
  • 유저는 메인 라벨과 컨센서스 라벨을 함께 리스트업할 수 있으며, 상세보기 페이지(detailed view)에서 메인 라벨과 컨센서스 라벨을 비교할 수 있습니다.
​
❗
 이미지 프로젝트의 어노테이션 앱, Multiple Categorization, 컨센서스 기능은 클로즈 베타(Closed-Beta) 버전으로, 현재는 일부 고객에게 한정하여 제공하고 있습니다. 곧 정식 버전이 오픈될 예정입니다.
​

성능 개선

  • 유저 사용성 개선을 위해 라벨 리스트 버튼 위치가 재배치되었습니다.
  • 어노테이션 필터의 종류가 추가되었습니다.
  • 프로젝트 리스트에 각 프로젝트의 데이터 타입을 알려주는 아이콘이 추가되었습니다.
  • 비디오 프로젝트에도 원본데이터 다운로드 기능이 추가되었습니다.
  • 데이터 배정 및 전체 데이터셋 삭제 속도가 향상되었습니다.

February 25, 2021 (v1.7.2) - 비디오 어노테이션 타입 추가

새로운 기능

  1. 1.
    비디오 프로젝트에서 사용가능한 어노테이션 타입(키포인트, 이미지 카테고리)이 추가되었습니다.

성능 개선

  1. 1.
    비디오 어노테이션 앱에서 전체 오브젝트를 한 번에 숨김/해제할 수 있는 토글 버튼이 추가되었습니다.
  2. 2.
    Label List 페이지에서 Label Status를 변경할 경우 뜨는 알림이 개선되었습니다.
  3. 3.
    비디오 라벨 관리를 위한 사용자 친화적인 SDK가 추가되었습니다.
  4. 4.
    프로젝트 초대 페이지의 유저 레벨 용어가 수정되었습니다: Member → Labeler
  5. 5.
    유저 리포트 상단에 Info, Summary, Annotation Type, Object Class가 포함된 행이 추가되었습니다.

버그 수정

  • SDK/CLI를 통해 비디오 라벨 업데이트를 관리할 때 발생했던 이슈가 해결되었습니다.
  • 새 프로젝트 생성 시 커스텀 오토라벨이 오토라벨 설정 목록에서 보이지 않던 이슈가 해결되었습니다.

February 5, 2021 (v1.7.1) - 비디오 프로젝트 기능 개선

새로운 기능

1. 비디오 프로젝트 관련
  • Start Labeling 버튼
    • 비디오 프로젝트에도 상단 네비게이션 바에 START LABELING 버튼이 신설되어, 더 빠르게 비디오 어노테이션 앱에 접근할 수 있게 되었습니다.
    • 이 때 이미 할당받은 라벨이 있는 경우, 해당 라벨을 불러옵니다. 기존에 할당받은 라벨이 없었다면, Self Assign을 할 수 있는 팝업에서 할당받아 라벨링 작업을 수행할 수 있습니다.
  • Self Assign
    기존에 Assign 받은 라벨들의 작업이 끝나면, 다른 라벨을 Assign 받을 수 있는 팝업이 뜹니다.
  • 폴리곤 세그멘테이션
    • 폴리곤 작업 중, Enter 키를 누르면 자동 완성시킬 수 있습니다.
    • 작업 중인 폴리곤의 point를 alt+우클릭으로 삭제할 수 있습니다. 이 경우, 바로 이전 point부터 삭제됩니다.

성능 개선

1. AWS S3 Integrations(연동)을 추가하는 UI가 개선되었습니다.
2. Cloud Upload의 세부적인 UI가 개선되고, 기능 설명이 수정되었습니다.
3. 원본 데이터 다운로드(Raw Data Download) 시, Update와 Download 버튼 순서를 변경하여 유저 경험을 개선하였습니다.
4. SDK 로딩 속도가 향상되었습니다.
5. Project Analytics 로딩 속도가 향상되었습니다.
​

버그 수정

  • 비디오 유저 레포트의 Object Counts 행의 이름이 Object Annotation Counts로 이름이 변경되었습니다.
  • 원본데이터 다운로드
    • 아카이브된 파일 크기가 20GB를 초과할 경우, 다운로드가 정상적으로 되지 않던 문제가 해결되었습니다.
    • 라벨의 수가 많은 프로젝트의 경우 원본 데이터 다운로드가 정상적으로 되지 않던 문제가 해결되었습니다.
  • 데이터셋
    데이터를 삭제했을 때, 집계가 업데이트 되지 않던 문제가 해결되었습니다.
  • 라벨 리스트 필터
    페이지를 새로고침한 경우, 라벨 태그가 정상적으로 적용되지 않던 문제가 해결되었습니다.

January 22, 2021 (v1.7.0) - Integrations, 커스텀 오토라벨링 베타

새로운 기능

1. Integrations(연동) 기능
Integrations(연동) 기능이 신설되었습니다. 이제 Cloud Upload 기능을 사용하기 위해서는 먼저 Integrations(연동)을 완료해야 합니다. 클라우드 스토리지를 Suite에 연동하여 데이터를 바로 불러오세요.
  • 현재 연동 가능한 클라우드 스토리지는 'AWS S3'입니다.
    지속적으로 연동할 수 있는 스토리지를 늘려나갈 계획입니다. 연동하고 싶은 서비스가 있다면 언제든지 슈퍼브에이아이에게 알려주세요.
1-1. Integrations(연동) 기능을 활용한 Cloud Upload
  • Cloud Upload를 하기 위해서는 반드시 사전에 Integraions(연동) 작업을 수행해야 합니다.
  • Integration 설정을 완료하면, Access Key와 Secret Key를 매번 입력하지 않고 더 빠르게 Cloud Upload 기능을 사용할 수 있습니다.
  • 자세한 연동 방법은 다음 튜토리얼을 참조해주세요.
1-2. 업로드 없이 데이터 불러오기(Read Only)
  • Cloud Upload 시, 'Your own storage(Read Only)' 옵션이 추가되었습니다. 이 옵션을 선택하면, Suite는 사용자가 직접 관리하는 클라우드 스토리지에 저장된 파일에 대한 읽기 전용 권한만 소유합니다. 즉, 이 경우는 고객의 데이터가 슈퍼브에이아이의 클라우드 저장소에 저장되지 않습니다.
  • 다음과 같은 제약사항이 있습니다.
    • 현재는 이미지 데이터만 가능합니다
    • Raw Data Download 기능 사용에 일부 제약이 있습니다.
  • 자세한 사용 방법은 다음 매뉴얼을 참조해주세요.
​
​
2. 커스텀 오토라벨 베타 버전 오픈
  • 크로스 프로젝트 기능
    이제 하나의 프로젝트에서 생성한 커스텀 오토라벨을 다른 프로젝트의 데이터에 적용할 수 있습니다.
  • UI 및 UX가 개선되었습니다.
​

성능 개선

  • Label List의 Issues 필터: 이제 이슈의 상태(ex. Open, Resolved)에 따라 라벨을 필터링할 수 있습니다.
  • 이슈를 생성한 본인과 매니저만이 이슈를 Resolved 상태로 변경할 수 있도록 변경되었습니다.

버그 수정

  • Label List의 Dataset 필터 사용 시, 해당 프로젝트에 연결된 데이터셋만 보일 수 있도록 수정되었습니다.
  • Label List의 Assignee 필터 사용 시, 유저 목록이 긴 경우에 발생하던 버그가 수정되었습니다.
  • 회원가입 시 발생하던 에러가 해결되었습니다.
  • 오토라벨링 클래스를 설정할 때 Reset 버튼을 사용할 수 있던 에러가 해결되었습니다.

January 8, 2021 (v1.6.0) - 커스텀 오토라벨링 알파

새로운 기능

1. 커스텀 오토라벨링 알파버전 오픈
커스텀 오토라벨링이 드디어 런칭되었습니다. 커스텀 오토라벨링은 특수한 데이터에 특화된 오토라벨을 생성하여 라벨링 자동화를 돕는 기능입니다.
기존의 오토라벨링 기능은 Common Object에 한정되었으므로, 그 범위를 벗어나는 객체에 대해서는 오토라벨링 기능을 적용할 수 없었습니다. 하지만 커스텀 오토라벨링을 활용하면, 가공하고자 하는 데이터가 특수한 경우에도 데이터 라벨링 자동화가 가능합니다.
❗ 현재 커스텀 오토라벨 기능은 Enterprise 요금제 고객만 사용 가능합니다.
커스텀 오토라벨 기능은 별도의 개발자 지원 없이 Suite 내에서 몇 번의 클릭만으로 사용할 수 있습니다. 자세한 사용 방법은 다음 매뉴얼 페이지를 참조해주세요.

​

성능 개선

  • Analytics 페이지의 폰트, 아이콘, 버튼, 도넛 차트 등이 업데이트되었습니다.
  • 유저 리포트(User Report)가 메일로 전송되면 알림이 뜹니다.

버그 수정

  • 특정 문구로 데이터셋을 필터링할 때 발생하는 버그가 해결되었습니다.
  • 검색 후 데이터셋을 클릭할 때 두번 클릭해야 하던 버그가 해결되었습니다.
  • 태그 필터로 필터링된 라벨을 업데이팅할 때 발생하던 에러가 해결되었습니다.
  • 유효하지 않은 ID로 라벨을 필터링할 때 발생하던 에러가 해결되었습니다.

December 24, 2020 (v1.5.5) - 비디오 오토라벨링, User Reports

새로운 기능

1. 비디오 오토라벨링
이제 비디오 프로젝트에서도 오토라벨링을 사용할 수 있습니다.
  • 비디오 오토라벨링에는 이미지 오토라벨링과 같은 AI 엔진에 객체 추적(Object Tracking) 기능이 추가로 적용되었습니다. 오토라벨링이 연속된 프레임 내 객체의 변화를 탐지하여 자동으로 ID를 부여합니다.
  • 설정 방법은 이미지 프로젝트와 같습니다. Project Setting 페이지에서 오토라벨링을 설정하고, Label List에서 Auto Label 버튼을 눌러 실행하세요.
  • 비디오 프로젝트에서는 프레임 1개가 하나의 Data Asset으로 계산됩니다. 때문에 1개의 비디오에 100개의 프레임이 있을 경우, 이 비디오 데이터에 오토라벨링을 사용하면 요금제 별 한정된 오토라벨 Data Asset에서 100개를 사용한 것으로 인식됩니다.
​
2. User Reports
Analytics 탭의 User Statistics가 User Reports로 이름이 변경되었습니다. 최신 정보를 확인하려면 오른쪽 상단의 Generate Full Report 버튼을 눌러 요청해야 합니다. Report가 완성되면 알림이 뜨며, 동시에 메일로도 엑셀 파일 Report가 전송됩니다.
  • 다음과 같은 고급 기능도 추가되었습니다.
A. User Reports 생성 기록 조회 및 열람 과거에 생성했던 User Reports를 불러올 수 있습니다. 상단의 드롭다운에서 원하는 일시의 Report를 선택하여 열람하세요. 필터가 적용된 Report에는 필터 내용이 표기됩니다.
B. User Reports 커스터마이징 하기 원하는 조건에 맞게 User Report를 생성할 수 있습니다. 우상단의 Customize 버튼을 클릭하세요. Status, Dataset, Label Tag, Assignee 중 원하는 커스텀 필터를 선택할 수 있습니다.
C. 유저별 작업 라벨 확인하기 Annotation Summary 차트에서 확인하고자 하는 유저의 행에 마우스를 올리면 View 버튼이 뜹니다. 그 상태에서 행을 클릭하면 유저가 작업한 라벨을 확인할 수 있는 Label List 페이지로 연결됩니다.
  • Label List의 User Stats 버튼 삭제 User Reports의 기능이 강화되면서, Label List의 User Stats 버튼이 삭제되었습니다.
​

성능 개선

  • 유저 목록 필터링 Account Users/Project Users 페이지에서 유저들을 유저 레벨(role)에 따라 필터링할 수 있습니다.
  • Label List 필터 기능 추가 Label List에서 특정 라벨 ID를 포함한 라벨을 필터링하는 기능이 추가되었습니다.
  • 비디오 어노테이션 앱 이제 Ctrl + Click을 활용해 여러 개의 어노테이션을 다중선택할 수 있습니다. Ctrl 키를 누른 상태에서 어노테이션을 클릭하세요.
​
  • 이미지 다운로드 성능 개선 Suite의 이미지/비디오 어노테이션 앱, 스위트 메인 페이지 및 사진 자료 저장소에서 이미지 다운로드 성능이 개선되었습니다.
  • 라벨 할당 시, 이미 할당되었거나 제출된 라벨을 다시 할당하려고 하는 실수를 할 수 있습니다. Suite v1.5.5 부터는 이를 경고하는 알림이 뜨며, 할당되지 않은 라벨만 필터링하여 할당할 수 있는 퀵 링크가 제공됩니다.
​

버그 수정

  • 비디오 어노테이션 앱
    • 제출(Submit) 후에 비디오가 정상적으로 바뀌지 않던 문제가 해결되었습니다.
    • Issue Thread에서 mention이 되지 않던 문제가 해결되었습니다.