1.12.1 - Korean
Changelogs
슈퍼브에이아이는 다음 기능들을 열심히 준비 중이에요.
- 컨센서스 라벨링 (Consensus Labeling)
- 비디오 데이터 SDK / CLI 지원
그 외 더 많은 기능들을 곧 만나볼 수 있습니다.
December 15, 2021(v1.12.1) - SDK, Label Mode Improvement
새로운 기능
1. SDK
SDK를 통해 가져올 수 있는 프로젝트 통계에 리뷰관련 값들을 추가했습니다.
성능 개선
- 라벨링 모드 관련
- 키포인트 라벨링 시, 이미지 바깥 영역을 클릭하면 가장 가까운 가장자리에 포인트가 생성됩니다.
- Multiple Choice 드롭다운의 사용성을 개선했습니다.
- 비디오 라벨링 모드의 타임라인에서 특정 프레임을 클릭하면 현재 프레임 위치도 함께 변경됩니다.
- 프레임과 어노테이션이 많은 경우에도 원활히 작동하도록 비디오 타임라인의 성능을 개선했습니다.
버그 수정
- 라벨링 모드 관련
- 비디오 라벨링 모드에서 리뷰 모드로 전환 시, 프레임이 0으로 초기화되던 버그를 수정하였습니다.
- 폴리곤 세그멘테이션 Union·Subtract 기능 사용 중, 화면을 확대하면 기능이 사용 해제되던 버그를 수정하였습니다.
- 폴리곤 세그멘테이션 Union·Subtract 모드 사용 중, 화면을 확대하면 모드가 해제되던 버그를 수정하였습니다.
- 오토라벨 설정 관련
- 오토라벨 설정 시, 다른 오브젝트 클래스와 연결되어 있는 오토라벨 AI 항목은 선택이 불가능하도록 수정되었습니다.
December 2, 2021 (v1.12.0) - Command Menu
새로운 기능
1. 커맨드 메뉴(Command Menu)
Suite에 '커맨드 메뉴' 기능이 추가되었습니다. 커맨드 메뉴를 사용하면 몇 번의 입력 만으로 Suite에서 원하는 기능을 쉽게 찾고 빠르게 접근할 수 있으며, 매뉴얼 문서도 검색할 수 있습니다.
↗ 관련 매뉴얼:
성능 개선
- 상단 진행현황 알림 창 UX 개선
- Done 탭의 항목이 최대 3일 간 표시됩니다.
Show older entries버튼을 클릭하면 최대 7일 간의 항목이 표시됩니다.- 항목 필터가 추가되었습니다. 'only current project', 'only your operation' 필터를 적용할 수 있습니다.
- 유저 리포트(User Report) 개선
- 유저 리포트 생성 버튼(
Generate Full Report) 클릭 후, 리포트 생성이 완료될 때까지 버튼이 비활성화됩니다. 연속적인 리포트 요청으로 인한 시스템 과부하를 막기 위함입니다. - 유저 리포트 생성 실패 시, 실패 원인을 에러 메세지로 확인할 수 있습니다.
- 사용자 초대 개선
- 사용자 초대 실패 시, 실패 원인을 에러 메세지로 확인할 수 있습니다.
- 커스텀 오토라벨 AI 개선
- 커스텀 오토라벨 AI 중 학습을 진행할 수 없는 오브젝트 클래스는 Apply 창에서 N/A로 표시되며, 체크박스가 비활성화됩니다.
버그 수정
- 라벨링 모드 관련
- 'Continuous drawing mode'에서 키포인트 그리기가 작동하지 않는 버그를 해결하였습니다.
- 비디오 라벨링 모드의 타임라인을 확인할 때, 화면 배율이 유지됩니다.
- 라벨 정보 토글에서 발생했던 버그를 수정하였습니다.
- 라벨링 모드에서 인식 불가능한 이미지가 들어갔을 때 발생하던 버그를 해결하였습니다.
- 커스텀 오토라벨 AI 관련
- 용어가 변경되었습니다(Properties → Options).
- 프로젝트 분석 관련
- 특정 오브젝트 클래스의 이름이 변경되었을 때, Object Counts Chart에서 정상적으로 반영되지 않던 버그를 수정하였습니다.
November 18, 2021 (v1.11.0) - Custom Auto-Label, Auto-Label Settings
새로운 기능
1. 커스텀 오토라벨링 AI 지원 범위 확장
커스텀 오토라벨링 AI가 지원하는 어노테이션 유형에 이미지 카테고리(Image Category)가 추가되었습니다. 이제 이미지 카테고리 라벨링 작업에도 커스텀 오토라벨링 AI를 적용할 수 있습니다.
2. 오토라벨링 AI 설정 방법 변경
- 커스텀 오토라벨링 AI가 이미지 카테고리를 지원하게 되면서, 오토라벨링 AI 설정 방법이 변경되었습니다.
기존 방식
신규 방식
프로젝트 생성 프로세스 내에서 오토라벨링 설정 가능
프로젝트 생성 완료 이후, Auto-Label Settings 탭에서 오토라벨링 설정 가능
- 프로젝트 Overview에 Auto-Label Configuration 카드가 추가되었습니다.
- 자세한 오토라벨링 설정 방법은 다음 매뉴얼을 참고해주세요.
성능 개선
- 라벨링 모드에서 바운딩 박스 작업 시, 화면 확대/축소 비율에 따라 보조선 굵기가 달라지는 오류를 수정하였습니다.
October 27, 2021 (v1.10.4) - Sample Projects
새로운 기능
1. 대규모 데이터셋을 포함한 샘플 프로젝트
Suite에서 4종(Retail, Autonomous driving, Agriculture, Industrial surface)의 대규모 샘플 프로젝트를 생성해볼 수 있습니다. 이 샘플 프로젝트에는 각 데이터셋을 학습한 커스텀 오토라벨링 AI가 포함되어 있습니다.
성능 개선
1. 프로젝트 분석
프로젝트 분석의 Submitted Labels 차트가 2분마다 업데이트됩니다.
September 15, 2021 (v1.10.2) - Label Mode, Multi-Polygon Segmentation, Manual Review, Custom Auto-Label, etc.
새로운 기능
1. 라벨링 모드 기능 개선
- 라벨링 모드 UI/UX가 개선되었고, 로딩 속도가 빨라졌습니다.
- 라벨링 모드에서 이슈를 관리할 수 있습니다.
2. 멀티 폴리곤 세그멘테이션(Multi-Polygon Segmentation) 라벨링 지원
- 멀티 폴리곤 세그멘테이션은 하나의 오브젝트에 폴리곤 여러 개를 추가하거나, 특정 폴리곤 내 일부 영역을 제거할 수 있는 기능입니다.
- 라벨링 모드의 좌측 Objects 패널에서 특정 오브젝트를 선택하면, 상단에
+(Union),-(Subtract), 다시 그리기(Redraw) 버튼이 표시됩니다.+버튼으로 오브젝트에 폴리곤을 추가로 생성할 수 있습니다. 오브젝트의 일부가 잘려 분리된 영역까지 라벨링하는 데 사용됩니다.-버튼으로 폴리곤 내의 일부 영역을 삭제할 수 있습니다.- Redraw 버튼으로 폴리곤의 일부 포인트를 수정할 수 있습니다.
오브젝트의 일부가 잘려 분리된 경우, + 버튼으로 분리된 영역까지 라벨링할 수 있습니다.
3. 매뉴얼 리뷰 관련
- 라벨 테이블의 'Reviews' 컬럼이 다음과 같이 수정됩니다.
- 리뷰 라운드 반복 횟수가 숫자로 표시됩니다.
- 각 라벨의 리뷰 컬럼에 마우스를 갖다대면, 리뷰어 정보가 말풍선으로 표시됩니다.
- 'Reviews' 컬럼 헤더를 클릭하면, 리뷰 상태(Pending-Rejected-Approved 순) 및 리뷰 라운드가 높은 라벨을 우선적으로 정렬할 수 있습니다.
- 풀스크린 리뷰 모드
- 프로젝트 사이드바의
Review버튼을 클릭하면 풀스크린(Full-Screen) 리뷰 모드가 실행되며, 검수 대기 중(Pending)인 라벨 중 리뷰 라운드가 높은 순서대로 할당받아 리뷰할 수 있습니다.
성능 개선
1. 회원가입 프로세스 간소화
회원가입 절차가 간소화되었습니다. 자세한 내용은 관련 매뉴얼을 참고해주세요.
관련 매뉴얼:
↗
2. 사용자 초대 UI/UX 개선
여러 유저 레벨의 사용자를 한 번에 초대할 수 있도록 사용자 초대 UI/UX가 개선되었습니다. 자세한 내용은 관련 매뉴얼을 참고해주세요.
관련 매뉴얼:
↗
3. 커스텀 오토라벨 기능 개선
+ Create Custom Auto-Label AI버튼 신설프로젝트 사이드바의 Custom Auto-Label 탭 페이지에서 커스텀 오토라벨링 AI를 바로 생성할 수 있도록 버튼이 추가되었습니다.Apply버튼 신설프로젝트 내에서 커스텀 오토라벨링 AI를 빠르게 적용할 수 있도록Apply버튼이 탑재되었습니다.- 커스텀 오토라벨링 AI의 정밀도(Precision), 재현율(Recall) 지표커스텀 오토라벨링 AI 내 각 오브젝트 클래스의 정밀도와 재현율을 확인할 수 있습니다.
❗
Apply 버튼, 정밀도·재현율 지표는 2021-09-15 이후에 생성한 커스텀 오토라벨링 AI에만 지원됩니다.
4. 개요(Overview) 탭의 Labeling Status 카드 개선
Labeling Status 카드 내 파이 차트의 특정 상태 영역에 마우스 커서를 가져가면 해당 상태의 라벨 개수를 보여줍니다.
5. 테이블 컬럼 정렬 UX 개선
각종 테이블의 정렬 기준이 되는 컬럼을 바로 확인할 수 있습니다.
6. 이미지 옵션 명칭 변경
- 이미지 데이터 유형의 명칭이 다음과 같이 변경됩니다.
Image(New)→ImageImage→Image(Deprecated)
Image(Deprecated)유형은 향후 지원 중단될 예정이므로,Image옵션 사용을 권장합니다.- 샘플 프로젝트의 데이터 유형도 변경 후
Image옵션으로 제공됩니다.
버그 수정
- 클라우드 업로드 창에서 발생했던 오류를 해결하였습니다.
- 데이터셋 목록에서 잘못된 페이지를 보여주었던 오류를 해결하였습니다.
August 26, 2021 (v1.10.1) - Labeling Status, Auto-Label Difficulty
성능 개선
1. Labeling Status 카드 UI 변경
매뉴얼 리뷰 기능이 신설되면서, 프로젝트 개요(Overview)의 Labeling Status 카드가 아래와 같이 변경되었습니다.
- Labeling Status는 기본적으로 라벨 제출 여부에 따라 3개 상태(In progress, submitted, skipped)로 나뉩니다.
- 각 제출 상태는 리뷰어의 리뷰 여부 및 결과에 따라 다시 2개 상태로 구분됩니다.
- 참고: 리뷰어는 라벨러가 제출하거나 건너뛴 라벨을 리뷰하여 승인/거절할 수 있습니다. 거절된 라벨은 다시 라벨러에게 할당됩니다.
- 각 상태 박스 안의 숫자는 상태별 라벨 개수를 의미하며, 박스를 클릭하면 해당 라벨 목록을 볼 수 있는 Labels 탭으로 이동합니다.
관련 매뉴얼:
↗
2. 오토라벨링 난이도 필터
라벨 필터 목록에 '오토라벨 난이도(Auto-Label Difficulty)' 항목이 추가되었습니다. 이제 세 가지 오토라벨링 난이도(easy, medium, hard)를 기준으로 라벨을 필터링할 수 있습니다.
버그 수정
- 간헐적으로 키포인트 이름이 'Untitled Keypoint'로 표시되던 버그가 수정되었습니다.
- Image(New) 프로젝트 Project Analytics의 Category Counts에서 발생했던 차트 색상 오류를 해결하였습니다.
August 13, 2021 (v1.10.0) - New Suite UI, Review & Label Modes, Manual Review
새로운 기능
1. Suite UX/UI 리뉴얼
1-1. 새로운 네비게이션 바
- 네비게이션 바의 형태가 기존 상단 가로형에서 좌측 세로형으로 변경되었고, 프로젝트 내 기능을 모아볼 수 있는 프로젝트 사이드바가 신설되었습니다.
- 사용자는 새로운 네비게이션 바와 프로젝트 사이드바에서 Suite의 모든 기능을 한 눈에 파악하고, 원하는 탭으로 빠르게 이동할 수 있습니다.
1-2. 데이터 업로드 UI/UX 개편
- 데이터 업로드 UI/UX가 새로워졌습니다. 데이터 업로드 방법이 단계별로 표시되어 사용자가 쉽게 따라할 수 있습니다.
- CLI(Command Line Interface) 업로드 옵션이 추가되었습니다. 현재 Suite에서는 총 4가지(File, Cloud, URL, CLI) 방법으로 데이터를 업로드할 수 있습니다.
관련 매뉴얼:
↗
1-3. 리뷰 모드, 라벨링 모드
- (구)디테일 뷰, (구)어노테이션 앱이 각각 리뷰 모드, 라벨링 모드로 리뉴얼되었습니다.
Image(New)프로젝트에서만 사용할 수 있습니다. - 라벨링 모드에서는 라벨링 작업을, 리뷰 모드에서는 라벨링 결과 확인, 품질 검수, 피드백 기록 등 검토 업무를 수행할 수 있습니다. 리뷰 모드와 라벨링 모드에서 제공하는 기능은 거의 동일하나, 리뷰 모드에서는 라벨 상세 정보를 확인할 수 있는 Label Information 패널과 매뉴얼 리뷰를 위한
Approve/Reject버튼을 사용할 수 있습니다. - 사용자는 Tasks 패널에서 라벨링 작업 정보(오브젝트 클래스, 어노테이션 유형)를 한 번에 확인할 수 있습니다. 생성된 어노테이션은 Object 패널에 목록화됩니다. 그 외에도 이슈 스레드를 남길 수 있는 Issues 패널, 라벨링 단축키를 확인할 수 있는 Shortcuts 패널, 라벨링 작업 조건을 설정할 수 있는 Adjustment 패널이 있습니다.
- 리뷰 모드에서 우측 하단의 편집 버튼을 클릭하면, 화면 전환 없이 라벨링 모드로 변경할 수 있습니다.
*리뷰/라벨링 모드는 현재 일부 사용자만 사용할 수 있습니다.
관련 매뉴얼:
↗
2. 매뉴얼 리뷰(Manual Review)
- 라벨러(Labeler)의 작업 결과를 리뷰어(Reviewer)가 평가하여 승인하거나 거부할 수 있는 매뉴얼 리뷰 기능이 신설되었습니다. 매뉴얼 리뷰는 Suite가 제공하는 품질 평가(Quality Assurance) 기능 중 가장 기본적인 방법입니다.
- Image(New) 프로젝트에서만 사용할 수 있습니다.
- 기능에 대한 자세한 설명은 다음 매뉴얼을 참고하세요.
관련 매뉴얼:
↗
성능 개선
- 1.데이터-프로젝트 연결 속도 향상대량의 데이터를 프로젝트에 연결할 때 소요되는 시간이 단축되었습니다.
- 2.커스텀 오토라벨링 AI 성능 향상새로운 학습용 모듈을 도입하여, 커스텀 오토라벨링 AI의 객체 탐지 성능이 향상되었습니다.
July 29, 2021 (v1.9.9)
버그 수정
- 매니저 레벨의 유저에게 발생했던 라벨 필터 및 데이터셋 필터 오류가 수정되었습니다.
- 라벨 리스트에서 Assignee를 필터링할 때, 공백을 포함하는 이름이 필터링되지 않았던 오류가 수정되었습니다.
July 2, 2021 (v1.9.7)
성능 개선
- Firefox 브라우저와의 호환성을 개선하였습니다.
- Project Configuration 페이지에서 Class Property를 설정하는 UX를 개선하였습니다.
- Data List의 필터 및 검색 기능을 개선했습니다.
- Dataset이나 프로젝트 연결 여부 등을 기준으로 데이터를 검색할 수 있습니다.
June 18, 2021 (v1.9.6) - Export History, Profile Picture, User Report
성능 개선
1. Export History 개선
- Export History의 데이터셋 이름을 수정할 수 있는 기능이 추가되었습니다. 이를 통해 Export History를 보다 효율적으로 관리할 수 있습니다.
- 삭제 기능이 추가되었습니다. 필요 없는 History는 우측 상단의 휴지통 버튼을 눌러 삭제할 수 있습니다.
2. 프로필 사진
- 프로필 사진을 설정할 수 있습니다. 처음에는 이름의 첫 글자와 배경색이 랜덤으로 지정됩니다.
- My Account > My Profile의 프로필 사진 및 'Edit' 버튼을 눌러 변경할 수 있습니다.
3. Image(New) 프로젝트의 유저 리포트
- 이제 Image(New) 프로젝트의 유저 리포트에서도 'Category Count', 'Labeling Time' 정보를 볼 수 있습니다.
버그 수정
- 샘플 프로젝트의 Project Configuration 수정 시 발생하던 에러를 수정하였습니다.
- CSV Export 포맷이 수정되었습니다.
June 4, 2021 (v1.9.5) - Data Upload (Image & Video)
새로운 기능
1. 데이터 업로드 프로세스 개선
- Overview 페이지의 To-Do List에서 'assign existing data' 버튼을 클릭하면, 바로 데이터 업로드를 할 수 있도록 'Data List' 모달이 활성화됩니다.
- 프로젝트에 할당된 라벨이 없는 경우, Label List에서도 'assign existing data' 버튼을 누르면 '데이터 리스트' 모달을 볼 수 있습니다.
성능 개선
- Image(New) 프로젝트의 Analytics 차트가 개선되었습니다.
버그 수정
- 클라우드 업로드를 통해 비디오 데이터를 업로드할 때, 100,000개 이상의 프레임까지 지원됩니다.
May 21, 2021 (v1.9.4)
버그 수정
- Image(New), Video Annotation App
- 바운딩 박스 수정 시 발생하던 문제가 수정되었습니다.
May 7, 2021 (v1.9.3) - SDK Support, View to compare Main vs.Auto-Label
성능 개선
- Image(New) 프로젝트
- 이제 Image(New) 프로젝트에서도 SDK를 사용할 수 있습니다.
- Main Label과 Auto-Label을 비교할 수 있는 기능도 추가되었습니다.
April 23, 2021 (v1.9.2) - Import Keypoint Template from Other Project, Sign Up
새로운 기능
1. 다른 프로젝트의 Keypoint Template 불러오기
- 다른 프로젝트에서 생성한 Keypoint Template을 불러올 수 있습니다.
성능 개선
1. SDK Examples 제공
- Superb AI Suite SDK가 Github을 통해 제공됩니다. 다음 링크를 클릭하세요.
2. Slack 연동
- 이제 Suite와 Slack을 연동하여, 프로젝트 알림을 슬랙을 통해 받아볼 수 있습니다.
- My Account > Integration 에서 Slack 버튼을 클릭하세요.
버그 수정
- Image(New) 프로젝트에서 라벨을 저장/Export 하는 동안 발생하는 간헐적인 오류를 수정하였습니다.
April 9, 2021 (v1.9.1) - Keypoint, New Annotation Apps
새로운 기능
1. Keypoint 오토라벨링
- 이제 keypoint type의 오브젝트 클래스에도 오토라벨링을 사용할 수 있습니다.
- 단, 현재는 'person' pre-trained AI만 지원되며, 어노테이션 유형을 'Keypoint - Human template'으로 선택한 객체만 연결할 수 있습니다. 프로젝트 생성 시 Configure Auto-Labeling 페이지에서 설정하세요.
2. Custom Keypoint Template
- 키포인트 템플릿을 원하는대로 생성할 수 있는 'Custom Keypoint' 기능이 추가되었습니다.
- 프로젝트 생성 시 Object Class 섹션에서 설정할 수 있습니다. Keypoint의 위치 · 이름 · 색상 정보가 포함된 JSON 파일을 복사, 붙여넣기하세요.
- 하나의 프로젝트에서 여러 개의 Custom Keypoint 템플릿을 생성할 수 있습니다. ❗Image(New) 프로젝트에서만 사용가능합니다.
3. Keypoint 커스텀 오토라벨 AI
- 2번과 같이 Custom Keypoint 템플릿을 생성하였다면, 해당 템플릿을 사용하는 오브젝트 클래스에 대한 커스텀 오토라벨 AI를 생성할 수 있습니다.❗ Image(New) 프로젝트에서만 사용가능합니다.❗ 생성된 Custom Auto-Label AI의 키포인트 골격(포인트 개수 및 연결상태)과, 인퍼런스하려는 오브젝트 클래스의 키포인트 골격이 같은 경우에만 사용할 수 있습니다.
4. 이미지(New) 어노테이션 앱, 비디오 어노테이션 앱
- 타이머가 추가되었습니다. 저장할 때 타이머 기록도 함께 저장됩니다.
- Setting 패널에서 어노테이션의 선 두께, 포인트 크기, 폰트 사이즈를 조절할 수 있습니다.
버그 수정
- Image(New) 프로젝트에서 SDK 라벨 업로드 시 발생했던 포맷팅 에러를 해결하였습니다.
March 26, 2021 (v1.9.0) - GCP Integration, etc.
새로운 기능
1. GCP (Google Cloud Platform) Integration(연동)
Suite와 Integration할 수 있는 클라우드 스토리지 목록에 'GCP(Google Cloud Platform)'가 추가되었습니다.
1-1. GCP Integration을 통한 Cloud Upload
- ‘Cloud Upload 기능’을 통해 GCP의 데이터를 Suite에 업로드할 수 있고, 이 기능을 사용하기 위해서는 먼저 Integration을 완료해야 합니다.
1-2. Cloud Upload의 'Your Own Storage' 옵션
- Cloud Upload 시, 'Your own storage(Read Only)' 옵션을 사용할 수 있습니다. 이 옵션을 선택하면, Suite는 사용자가 직접 관리하는 클라우드 스토리지에 저장된 파일에 대한 읽기 전용 권한만 소유합니다. 즉, 고객의 데이터가 슈퍼브에이아이의 클라우드 저장소에 저장되지 않습니다.
- 다음과 같은 제약사항이 있습니다.
- 현재는 이미지 데이터만 가능합니다.
- Raw Data Download 기능 사용에 일부 제약이 있습니다.
- 데이터 조회 시 고객의 Cloud Storage 버킷에서 데이터 요청 및 전송 비용이 발생합니다.
2. 이미지 어노테이션 앱 리뉴얼
- 리뉴얼된 어노테이션 앱이 정식 오픈되었습니다. 현재는 기존 버전과 리뉴얼된 버전을 모두 사용할 수 있습니다.
- Project Configuration 페이지에서 Data Type으로 Image (New)를 선택하면, 리뉴얼된 어노테이션 앱을 사용할 수 있습니다.
- 리뉴얼된 어노테이션앱에서는 데이터 로딩 속도가 더 빨라졌습니다. 라벨 제출 후 지체되는 시간 없이 바로 다음 라벨을 작업할 수 있습니다.
.png?alt=media&token=799911e4-71f5-4649-ab38-340f7045d28f)
3. Per frame 기능 추가
- 비디오 프로젝트에서 프레임 별로 Image Category/Property 를 설정할 수 있는 Per frame기능이 추가되었습니다.
- 이 기능을 사용하면, 각 Object 마다 프레임별로 Property 값을 다르게 선택하며 라벨링할 수 있습니다.
- 새 프로젝트 생성 시 Project Configuration 페이지에서 설정할 수 있습니다.
4. Analytics — 'Dataset' 필터 추가
- 프로젝트에 연결된 dataset 별로 필터링하여 Analytics 결과를 볼 수 있습니다.
- ❗ 단, 'Dataset' 필터를 적용하면, Submitted Labels chart에는 2021/03/25 이후에 작업된 라벨 데이터만 표시됩니다.
성능 개선
- 1.프로젝트-데이터 연결 시, 데이터가 중복되었거나 프로젝트 타입이 일치하지 않는 경우, 연결 실패를 알리는 알림이 추가되었습니다.
- 2.오토라벨링 난이도를 나타내는 아이콘의 위치가 변경되었습니다.
버그 수정
- 유저 리포트: 분석 결과가 없는 경우에 나타나는 메세지 오류를 수정하였습니다.
March 12, 2021 (v1.8.0) - 어노테이션앱 베타버전, 컨센서스(Consensus) 알파 버전
새로운 기능
1. 비디오, 이미지 어노테이션 앱 베타 버전
비디오, 이미지 어노테이션 앱이 새로워졌습니다.
- 단축키 맞춤 설정원하는대로 단축키를 맞춤 설정할 수 있습니다. 기본 단축키 설정으로 되돌리는 것도 가능합니다. 우상단의 키보드 버튼을 클릭하여 원하는대로 단축키를 설정하세요.
- 어노테이션 앱 영역 크기 조정 어노테이션 앱 내 각 영역(좌우 패널과 타임라인)의 크기를 조절할 수 있습니다.
- 어노테이션 앱 논스톱 라벨링 모드
- 논스톱 라벨링 모드가 신설되었습니다. 이 모드를 사용하면, 라벨 제출 후 중단 없이 바로 다음 라벨을 작업할 수 있습니다.
- 우상단의 'Continue?' 체크박스를 선택해 논스톱 라벨링 모드를 켜고 끌 수 있습니다.
2. Multiple Categorization
- 이제 하나의 프로젝트 안에서도 여러 개의 Categorization 작업을 수행할 수 있습니다. Project Configuration 페이지에서 설정하세요.
- 객관식, 다중 선택, 자유 응답 중 원하는 카테고리 응답 방법을 선택할 수 있습니다.
3. Advanced QA(Quality Assurance) — 컨센서스(Consensus) 알파 버전
- 인공지능 학습용 데이터셋의 고도화된 품질 검수를 위한 컨센서스 기능이 신설되었습니다. 컨센서스는 하나의 라벨에 대한 여러 작업자의 작업 결과물을 비교하고 합칠 수 있는 기능입니다. Project Configuration 페이지에서 설정할 수 있습니다.
- 컨센서스 기능을 사용하는 프로젝트에서는, 기본 라벨이 메인 라벨(main labels)로 간주됩니다. 유저는 메인 라벨(main labels)에 컨센서스 라벨(consensus labels)을 추가할 수 있습니다.
- 컨센서스 라벨은 메인 라벨과 같은 이미지 데이터를 공유하며, 작업한 라벨러에 따라 각기 다른 라벨링 결과값을 갖게 됩니다.
- 유저는 메인 라벨과 컨센서스 라벨을 함께 리스트업할 수 있으며, 상세보기 페이지(detailed view)에서 메인 라벨과 컨센서스 라벨을 비교할 수 있습니다.
이미지 프로젝트의 어노테이션 앱, Multiple Categorization, 컨센서스 기능은 클로즈 베타(Closed-Beta) 버전으로, 현재는 일부 고객에게 한정하여 제공하고 있습니다. 곧 정식 버전이 오픈될 예정입니다.
❗
성능 개선
- 유저 사용성 개선을 위해 라벨 리스트 버튼 위치가 재배치되었습니다.
- 어노테이션 필터의 종류가 추가되었습니다.
.png?alt=media&token=ea1cceb9-bf12-4b6f-ac00-a78fc9e7fd9d)
- 프로젝트 리스트에 각 프로젝트의 데이터 타입을 알려주는 아이콘이 추가되었습니다.
- 비디오 프로젝트에도 원본데이터 다운로드 기능이 추가되었습니다.
- 데이터 배정 및 전체 데이터셋 삭제 속도가 향상되었습니다.
February 25, 2021 (v1.7.2) - 비디오 어노테이션 타입 추가
새로운 기능
- 1.비디오 프로젝트에서 사용가능한 어노테이션 타입(키포인트, 이미지 카테고리)이 추가되었습니다.
성능 개선
- 1.비디오 어노테이션 앱에서 전체 오브젝트를 한 번에 숨김/해제할 수 있는 토글 버튼이 추가되었습니다.
- 2.Label List 페이지에서 Label Status를 변경할 경우 뜨는 알림이 개선되었습니다.
- 3.비디오 라벨 관리를 위한 사용자 친화적인 SDK가 추가되었습니다.
- 4.프로젝트 초대 페이지의 유저 레벨 용어가 수정되었습니다: Member → Labeler
- 5.유저 리포트 상단에 Info, Summary, Annotation Type, Object Class가 포함된 행이 추가되었습니다.
버그 수정
- SDK/CLI를 통해 비디오 라벨 업데이트를 관리할 때 발생했던 이슈가 해결되었습니다.
- 새 프로젝트 생성 시 커스텀 오토라벨이 오토라벨 설정 목록에서 보이지 않던 이슈가 해결되었습니다.
February 5, 2021 (v1.7.1) - 비디오 프로젝트 기능 개선
새로운 기능
1. 비디오 프로젝트 관련
- Start Labeling 버튼
- 비디오 프로젝트에도 상단 네비게이션 바에
START LABELING버튼이 신설되어, 더 빠르게 비디오 어노테이션 앱에 접근할 수 있게 되었습니다. - 이 때 이미 할당받은 라벨이 있는 경우, 해당 라벨을 불러옵니다. 기존에 할당받은 라벨이 없었다면, Self Assign을 할 수 있는 팝업에서 할당받아 라벨링 작업을 수행할 수 있습니다.
- Self Assign기존에 Assign 받은 라벨들의 작업이 끝나면, 다른 라벨을 Assign 받을 수 있는 팝업이 뜹니다.
- 폴리곤 세그멘테이션
- 폴리곤 작업 중, Enter 키를 누르면 자동 완성시킬 수 있습니다.
- 작업 중인 폴리곤의 point를 alt+우클릭으로 삭제할 수 있습니다. 이 경우, 바로 이전 point부터 삭제됩니다.
성능 개선
1. AWS S3 Integrations(연동)을 추가하는 UI가 개선되었습니다.
2. Cloud Upload의 세부적인 UI가 개선되고, 기능 설명이 수정되었습니다.
3. 원본 데이터 다운로드(Raw Data Download) 시,
Update와 Download 버튼 순서를 변경하여 유저 경험을 개선하였습니다.
4. SDK 로딩 속도가 향상되었습니다.
5. Project Analytics 로딩 속도가 향상되었습니다.
버그 수정
- 비디오 유저 레포트의 Object Counts 행의 이름이 Object Annotation Counts로 이름이 변경되었습니다.
- 원본데이터 다운로드
- 아카이브된 파일 크기가 20GB를 초과할 경우, 다운로드가 정상적으로 되지 않던 문제가 해결되었습니다.
- 라벨의 수가 많은 프로젝트의 경우 원본 데이터 다운로드가 정상적으로 되지 않던 문제가 해결되었습니다.
- 데이터셋데이터를 삭제했을 때, 집계가 업데이트 되지 않던 문제가 해결되었습니다.
- 라벨 리스트 필터페이지를 새로고침한 경우, 라벨 태그가 정상적으로 적용되지 않던 문제가 해결되었습니다.
January 22, 2021 (v1.7.0) - Integrations, 커스텀 오토라벨링 베타
새로운 기능
1. Integrations(연동) 기능
Integrations(연동) 기능이 신설되었습니다. 이제 Cloud Upload 기능을 사용하기 위해서는 먼저 Integrations(연동)을 완료해야 합니다. 클라우드 스토리지를 Suite에 연동하여 데이터를 바로 불러오세요.
- 현재 연동 가능한 클라우드 스토리지는 'AWS S3'입니다.지속적으로 연동할 수 있는 스토리지를 늘려나갈 계획입니다. 연동하고 싶은 서비스가 있다면 언제든지 슈퍼브에이아이에게 알려주세요.
1-1. Integrations(연동) 기능을 활용한 Cloud Upload
- Cloud Upload를 하기 위해서는 반드시 사전에 Integraions(연동) 작업을 수행해야 합니다.
- Integration 설정을 완료하면, Access Key와 Secret Key를 매번 입력하지 않고 더 빠르게 Cloud Upload 기능을 사용할 수 있습니다.
- 자세한 연동 방법은 다음 튜토리얼을 참조해주세요.
1-2. 업로드 없이 데이터 불러오기(Read Only)
- Cloud Upload 시, 'Your own storage(Read Only)' 옵션이 추가되었습니다. 이 옵션을 선택하면, Suite는 사용자가 직접 관리하는 클라우드 스토리지에 저장된 파일에 대한 읽기 전용 권한만 소유합니다. 즉, 이 경우는 고객의 데이터가 슈퍼브에이아이의 클라우드 저장소에 저장되지 않습니다.
- 다음과 같은 제약사항이 있습니다.
- 현재는 이미지 데이터만 가능합니다
- Raw Data Download 기능 사용에 일부 제약이 있습니다.
- 자세한 사용 방법은 다음 매뉴얼을 참조해주세요.
2. 커스텀 오토라벨 베타 버전 오픈
- 크로스 프로젝트 기능이제 하나의 프로젝트에서 생성한 커스텀 오토라벨을 다른 프로젝트의 데이터에 적용할 수 있습니다.
- UI 및 UX가 개선되었습니다.
성능 개선
- Label List의 Issues 필터: 이제 이슈의 상태(ex. Open, Resolved)에 따라 라벨을 필터링할 수 있습니다.
- 이슈를 생성한 본인과 매니저만이 이슈를 Resolved 상태로 변경할 수 있도록 변경되었습니다.
버그 수정
- Label List의 Dataset 필터 사용 시, 해당 프로젝트에 연결된 데이터셋만 보일 수 있도록 수정되었습니다.
- Label List의 Assignee 필터 사용 시, 유저 목록이 긴 경우에 발생하던 버그가 수정되었습니다.
- 회원가입 시 발생하던 에러가 해결되었습니다.
- 오토라벨링 클래스를 설정할 때 Reset 버튼을 사용할 수 있던 에러가 해결되었습니다.
January 8, 2021 (v1.6.0) - 커스텀 오토라벨링 알파
새로운 기능
1. 커스텀 오토라벨링 알파버전 오픈
커스텀 오토라벨링이 드디어 런칭되었습니다. 커스텀 오토라벨링은 특수한 데이터에 특화된 오토라벨을 생성하여 라벨링 자동화를 돕는 기능입니다.
기존의 오토라벨링 기능은 Common Object에 한정되었으므로, 그 범위를 벗어나는 객체에 대해서는 오토라벨링 기능을 적용할 수 없었습니다. 하지만 커스텀 오토라벨링을 활용하면, 가공하고자 하는 데이터가 특수한 경우에도 데이터 라벨링 자동화가 가능합니다.
❗ 현재 커스텀 오토라벨 기능은 Enterprise 요금제 고객만 사용 가능합니다.
커스텀 오토라벨 기능은 별도의 개발자 지원 없이 Suite 내에서 몇 번의 클릭만으로 사용할 수 있습니다. 자세한 사용 방법은 다음 매뉴얼 페이지를 참조해주세요.
성능 개선
- Analytics 페이지의 폰트, 아이콘, 버튼, 도넛 차트 등이 업데이트되었습니다.
- 유저 리포트(User Report)가 메일로 전송되면 알림이 뜹니다.
버그 수정
- 특정 문구로 데이터셋을 필터링할 때 발생하는 버그가 해결되었습니다.
- 검색 후 데이터셋을 클릭할 때 두번 클릭해야 하던 버그가 해결되었습니다.
- 태그 필터로 필터링된 라벨을 업데이팅할 때 발생하던 에러가 해결되었습니다.
- 유효하지 않은 ID로 라벨을 필터링할 때 발생하던 에러가 해결되었습니다.
December 24, 2020 (v1.5.5) - 비디오 오토라벨링, User Reports
새로운 기능
1. 비디오 오토라벨링
이제 비디오 프로젝트에서도 오토라벨링을 사용할 수 있습니다.
.gif?alt=media&token=a67b1593-bf36-4ffc-a155-bc378d96a602)
- 비디오 오토라벨링에는 이미지 오토라벨링과 같은 AI 엔진에 객체 추적(Object Tracking) 기능이 추가로 적용되었습니다. 오토라벨링이 연속된 프레임 내 객체의 변화를 탐지하여 자동으로 ID를 부여합니다.
- 설정 방법은 이미지 프로젝트와 같습니다. Project Setting 페이지에서 오토라벨링을 설정하고, Label List에서
Auto Label버튼을 눌러 실행하세요. - 비디오 프로젝트에서는 프레임 1개가 하나의 Data Asset으로 계산됩니다. 때문에 1개의 비디오에 100개의 프레임이 있을 경우, 이 비디오 데이터에 오토라벨링을 사용하면 요금제 별 한정된 오토라벨 Data Asset에서 100개를 사용한 것으로 인식됩니다.
2. User Reports
Analytics 탭의 User Statistics가 User Reports로 이름이 변경되었습니다. 최신 정보를 확인하려면 오른쪽 상단의
Generate Full Report 버튼을 눌러 요청해야 합니다. Report가 완성되면 알림이 뜨며, 동시에 메일로도 엑셀 파일 Report가 전송됩니다.
- 다음과 같은 고급 기능도 추가되었습니다.
A. User Reports 생성 기록 조회 및 열람
과거에 생성했던 User Reports를 불러올 수 있습니다. 상단의 드롭다운에서 원하는 일시의 Report를 선택하여 열람하세요. 필터가 적용된 Report에는 필터 내용이 표기됩니다.
B. User Reports 커스터마이징 하기
원하는 조건에 맞게 User Report를 생성할 수 있습니다. 우상단의
Customize 버튼을 클릭하세요. Status, Dataset, Label Tag, Assignee 중 원하는 커스텀 필터를 선택할 수 있습니다.C. 유저별 작업 라벨 확인하기
Annotation Summary 차트에서 확인하고자 하는 유저의 행에 마우스를 올리면
View 버튼이 뜹니다. 그 상태에서 행을 클릭하면 유저가 작업한 라벨을 확인할 수 있는 Label List 페이지로 연결됩니다.
- Label List의 User Stats 버튼 삭제 User Reports의 기능이 강화되면서, Label List의
User Stats버튼이 삭제되었습니다.
성능 개선
- 유저 목록 필터링 Account Users/Project Users 페이지에서 유저들을 유저 레벨(role)에 따라 필터링할 수 있습니다.
- Label List 필터 기능 추가 Label List에서 특정 라벨 ID를 포함한 라벨을 필터링하는 기능이 추가되었습니다.
- 비디오 어노테이션 앱 이제 Ctrl + Click을 활용해 여러 개의 어노테이션을 다중선택할 수 있습니다. Ctrl 키를 누른 상태에서 어노테이션을 클릭하세요.
- 이미지 다운로드 성능 개선 Suite의 이미지/비디오 어노테이션 앱, 스위트 메인 페이지 및 사진 자료 저장소에서 이미지 다운로드 성능이 개선되었습니다.
- 라벨 할당 시, 이미 할당되었거나 제출된 라벨을 다시 할당하려고 하는 실수를 할 수 있습니다. Suite v1.5.5 부터는 이를 경고하는 알림이 뜨며, 할당되지 않은 라벨만 필터링하여 할당할 수 있는 퀵 링크가 제공됩니다.
버그 수정
- 비디오 어노테이션 앱
- 제출(Submit) 후에 비디오가 정상적으로 바뀌지 않던 문제가 해결되었습니다.
- Issue Thread에서 mention이 되지 않던 문제가 해결되었습니다.
- 이슈 관련 알림을 눌렀을 때 해당 라벨로 이동이 되지 않던 문제가 해결되었습니다.
- 프로젝트의 라벨 개수가 많은 경우 User Reports 생성이 실패하던 버그가 수정되었습니다.
- Naver 메일에서 가입 메일 및 초대 메일의 양식이 깨지던 문제가 해결되었습니다.
December 11, 2020 (v1.5.4) - 비디오 Cloud Upload시 mp4 파일 불러오기, User Statistics 개선, 유저 초대/삭제 기능 강화
새로운 기능
1. 비디오 Cloud Upload - mp4 파일 불러오기
이제 비디오 Cloud Upload 기능을 사용할 때, mp4 파일도 불러올 수 있습니다. 업로드 화면에서 원하는 초당 프레임수(FPS)를 선택하면 시퀀스 이미지로 변환되어 업로드 됩니다.
- 참고 사항
- 업로드 시 mp4 파일의 크기는 100MB 이하, 영상 길이는 5분 이내로 제한됩니다.
- 비디오 프로젝트의 경우 1개 프레임이 1개의 Data Asset으로 계산되니, FPS를 신중히 선택해주세요.(비디오 프로젝트에서는 프레임 1개가 하나의 Data Asset으로 계산됩니다. 때문에 1개의 비디오에 100개의 프레임이 있을 경우, 요금제 별 한정된 Data Asset에서 100개를 사용한 것으로 인식됩니다.)
2. User Statistics
- Annotations Summary 차트에 각 유저별 Annotation Type 집계가 추가되었습니다.❗ 화면 새로고침으로 통계가 업데이트되지 않습니다. 최신 통계를 확인하려면
Update Now버튼을 클릭해야 합니다.
- Annotations Summary 차트의 우상단 버튼을 누르면, obejct class 범례명에 annotation type 정보가 함께 나타납니다. 이 상태에서 다운로드 버튼(
↓)을 누르면, 변경된 범례명이 적용된 엑셀파일을 받아볼 수 있습니다.- (B): Box, (P): Polygon, (KP): Keypoint, (PL): Polyline, (TB): Tilted Box
3. 유저 일괄 및 개별 초대/삭제
프로젝트에 유저를 개별 혹은 일괄적으로 초대/삭제할 수 있습니다.
- My Account > Account Users 메뉴를 클릭하세요.
Project Access버튼으로 여러 명의 유저를 다수의 프로젝트에 한꺼번에 추가하고, 삭제할 수 있습니다.
- 한 명의 유저만 개별적으로 관리할수도 있습니다. 변경하고자 하는 유저에 커서를 갖다대면 나타나는
፧버튼을 클릭한 후,Manage Project Access버튼을 누르세요.
- 관리자는 초대 상태 및 연결된 프로젝트 별로 유저를 필터링하여 볼 수 있습니다.
성능 개선
- 비디오 어노테이션 앱 - frame image 로딩 속도가 향상되었습니다.
- 이미지 어노테이션 앱 -
Assign me a new label버튼을 눌렀을 때, 할당받을 수 있는 라벨이 더 이상 없는 경우 안내 메세지를 볼 수 있습니다.
- Project Analytics
- 기존 하루 단위의 업데이트 주기가 10분~20분으로 변경되었습니다.
- object class가 많은 경우에도 모든 항목이 다 표시됩니다. 기존에는 object class가 일정 개수를 넘어가면 개수가 적은 object class들이 'others'로 통합되어 표시됐지만, 이제 좌측 범례와 도넛 차트에서 모든 object class 항목을 볼 수 있습니다.
버그 수정
- Admin이 다른 유저의 issue를 수정할 수 있었던 문제가 해결되었습니다.
- 라벨러가 detailed view에서 Tag를 수정할 수 있었던 문제가 해결되었습니다.
- 비디오 어노테이션 앱에서 필수 property를 설정하지 않아도 제출되었던 문제가 해결되었습니다.
- New project의 key point dialog에서 template이 설정되지 않던 문제가 수정되었습니다.
- Project Analytics > object counts 도넛 차트에서 0개인 object의 이름이 뜨지 않던 문제가 수정되었습니다.
November 27, 2020 (v1.5.3) - 프로젝트 내 클라우드(AWS S3) 업로드 및 유저 레벨 변경
새로운 기능
- AWS S3 클라우드를 통한 원본데이터 업로드이제 Settings 페이지에서도 AWS S3 클라우드 업로드 기능을 사용할 수 있으며, 이 경우 데이터가 바로 해당 프로젝트에 연동됩니다.
- 경로Project page → Settings 탭 → Upload data 메뉴 → Cloud Upload
- 업로드 방법
- 데이터를 연결할 데이터셋을 설정한 후, AWS S3 버킷의 Access Key와 Secret 키를 입력하세요.
- 폴더 트리에서 업로드할 Bucket Name을 클릭하고 Upload 버튼을 누르면 업로드가 시작됩니다.
- 클라우드 업로드는 약간의 시간이 소요되며, 업로드가 완료되면 상단 네비게이션 바의 알림 목록에 알림이 뜹니다.
- 참고 사항
- 비디오 데이터의 경우, 프레임 단위로 시퀀스된 데이터로 불러오고 있습니다.
- 비디오 프로젝트에서는 프레임 1개가 하나의 Data Asset으로 계산됩니다. 때문에 1개의 비디오에 100개의 프레임이 있을 경우, 요금제 별 한정된 Data Asset에서 100개를 사용한 것으로 인식됩니다.
- ❗ 본 기능은 계정의 Owner와 Admin만 사용 가능합니다.
- 프로젝트 멤버의 유저 레벨 변경프로젝트 내에서 라벨러를 매니저로, 매니저를 라벨러로 변경하는 것이 가능해졌습니다.
- 유저 레벨 변경 방법
- Project 페이지 → Settings 탭 → Project Members 메뉴를 클릭하세요.
- 변경하고자 하는 유저에 커서를 갖다대면, 우측에
፧버튼이 보입니다. ፧버튼 클릭 후,Change User Role을 클릭하세요.- 변경하고자 하는 유저 레벨 선택 후,
Save버튼을 누르면 유저 레벨 변경이 완료됩니다.
- ❗ 본 기능은 계정의 Owner와 Admin만 사용 가능합니다.
성능 개선
- 사용성 개선 : 라벨 리스트 필터링필터를 선택하는 즉시 해당 필터가 검색에 바로 반영됩니다. 더 빠르고 편리하게 필터 기능을 사용할 수 있습니다.
- 사용성 개선 : 라벨 리스트 검색 — 2가지 방법으로 검색어를 입력할 수 있습니다.
- 1.검색창에 검색어를 입력한 후
Search버튼을 눌러서 적용하기 - 2.검색창에 검색어를 입력하고 검색창 밖의 화면 클릭하기
- 이제 실시간으로 유저별 통계를 확인할 수 있습니다! Analytics 탭 - User Analytics 메뉴에서
Update Now버튼을 누르면 통계 정보가 업데이트됩니다. - 앞으로 신규 버전이 업데이트 될 때마다 알림을 받을 수 있습니다.다음과 같은 메세지가 보이면, 신규 버전이 업데이트된 것입니다. Update 버튼을 눌러 새로고침해주세요.
- 비디오 어노테이션앱의 툴바 및 Detailed View의 Issue Thread UI가 변경되었습니다.
버그 수정
- Object Class가 설정되지 않은 경우, Project Analytics의 Object Counts 차트가 비활성화됩니다.
- Data List Video 재생 시, 로딩이 되지 않던 버그가 수정되었습니다.
November 13, 2020 (v1.5.2) - 원본 데이터 다운로드, 프로젝트 복제
새로운 기능
- 원본 데이터 다운로드
- 이제 이미지 프로젝트의 원본데이터를 일괄 다운로드할 수 있습니다.
- 프로젝트의 설정 페이지의 Raw Data Download 섹션에서 수행할 수 있습니다.
- 새로고침 버튼을 클릭하세요. 준비율이 100%가 되면 원본데이터 다운로드가 가능합니다.
- 함께 생성되는 다운로드 링크를 통해 더 편리하게 데이터를 주고받을 수 있습니다.
계정의 Owner, Admin 유저만 가능합니다.❗
- 프로젝트 복제
- 프로젝트 복제 기능이 생겼어요! 선택한 프로젝트와 같은 구성(Configuration)의 새로운 프로젝트를 생성할 수 있습니다.
- 프로젝트의 설정 페이지의 Project Configuration 섹션에서 수행할 수 있습니다.
계정의 Owner, Admin 유저만 가능합니다.❗기존 프로젝트에 연결되어있는 데이터는 새로운 프로젝트에 연결되지 않습니다.❗
성능 개선
- 라벨 균등 분배 옵션 추가Label Assign 기능에 특정 워커에게 특정 라벨을 할당할 수 있는 기능이 추가되었습니다. 이 기능을 활용하면, 프로젝트 관리자는 워커에게 라벨을 미리 배정한 후 프로젝트를 진행할 수 있습니다.
- Proportional : 각 라벨러가 동일한 작업량을 갖게끔 배분하는 기능. [작업중인 라벨의 수] + [제출한 라벨의 수]+ [새롭게 할당받는 라벨의 수]의 합을 균등하게 배정
- Equal : 선택한 라벨러에게 선택한 라벨을 n분 해서 뿌리는 기능
- 유저 삭제
- 좌측의 체크박스를 클릭하여 삭제하고자 하는 유저를 선택한 후,
Delete버튼을 누르면 삭제됩니다.
- 라벨 목록의 필터 옵션 추가Tag > Contains only : 해당 태그만 유일하게 갖고 있는 라벨을 필터링할 수 있습니다.
- 비디오 데이터 어노테이션앱 기능 추가
- Merge : 두 개 이상의 프레임에서, 같은 오브젝트를 다른 ID로 라벨링한 경우 해당 어노테이션을 합치는 기능
- Split : 두 개 이상의 프레임에서, 다른 오브젝트인데 하나의 ID로 라벨링한 경우 분리하는 기능
- Undo
버그 수정
- 여러가지 버그들이 수정되었습니다.
October 30, 2020 (v1.5.1) - 비디오 데이터 프로젝트 기능 , 더 다양한 라벨 목록 필터
새로운 기능
- 비디오 데이터 프로젝트
- 이제 비디오 데이터 프로젝트에서 두 가지 어노테이션 타입(바운딩 박스, 폴리곤 세그멘테이션)을 사용하여 라벨링할 수 있습니다.
- 상세보기 페이지(Detailed View)에 Class 목록, 이슈 스레드(Issues)가 추가 되었고, Label Information, Object property가 추가되었습니다.
- 새로운 단축키가 추가되었습니다.
- Timeline에서 프레임 이동
- , : 이전 프레임
- . : 다음 프레임
- 가장 가까운 프레임에서 현재 프레임으로 annotation 복사
- d : 선택된 어노테이션
- shift + d : 모든 어노테이션
- 라벨 균등 분배 기능 개선라벨 분배 기능이 더 편리하게 개선되었습니다. 프로젝트 Label List에서 분배할 라벨의 개수와 순서를 조정하여 한 번에 다수의 유저에게 라벨을 할당할 수 있습니다.
- 분배 순서(Assignment Order) 상세 설명
- Last Updated : 선택된 라벨들이 마지막으로 편집된 시간의 최신순/오래된 순으로 분배됩니다.
- Difficulty : 오토라벨링이 적용된 라벨에 한해, 난이도순(쉬운순/ 어려운순)으로 분배됩니다. 오토라벨링이 적용되지 않은 라벨은 임의분배됩니다.
- Status : 라벨의 상태 순(In progress → Submitted → Skipped 또는 그 반대)으로 분배됩니다.
- Data Key (Name) : 라벨의 데이터 키(제목) 알파벳순(오름차순/내림차순)으로 분배됩니다.
성능 개선
- 데이터 - 프로젝트 연결 중 일부 데이터의 연결이 실패했을 경우, 연결에 성공한 데이터 개수 및 실패 이유를 알려주는 메세지를 좌하단에서 확인할 수 있습니다.
- 라벨 목록의 필터 옵션이 추가되었습니다.
- Open Issues > by any one of : 이슈 스레드를 생성한 유저 별로 라벨 필터링이 가능합니다.
- Auto-label Request > is completed : 오토라벨링이 완료된 라벨만 필터링이 가능합니다.
버그 수정
- 라벨 개수가 10만개가 넘을 경우, Export가 실패하는 버그가 수정되었습니다.
- 라벨 개수가 10만개가 넘을 경우, User Statistics Export가 실패하는 버그가 수정되었습니다.
October 16, 2020 (v1.5.0) - 비디오 오브젝트 트래킹 베타버전 출시, 라벨 균등 분배 기능
새로운 기능
- 비디오 오브젝트 트래킹 베타 버전 출시이제 Superb AI Suite에서 비디오 데이터도 라벨링할 수 있습니다. 새 프로젝트 생성 시 Data type을 비디오로 선택해보세요.
- 라벨 균등 분배 기능라벨 균등 분배 기능이 추가되었습니다. 다음 순서를 따라 라벨을 유저에게 분배하세요.
- 1.Label List에서 분배할 라벨을 선택한 뒤, 라벨 목록 상단의
ASSIGN버튼을 클릭하세요.
2. 라벨을 분배할 유저를 선택하세요.
3. 분배할 라벨 개수와 분배 (Assignment order)을 선택하세요.
4. 분배 차트를 확인한 뒤,
APPLY 버튼을 클릭하면 라벨 균등 분배가 완료됩니다.- Billing결제시스템 Stripe가 연동되어, My Account 탭 → Billing & Usage 메뉴에서 요금제 변경이 가능해졌습니다.
- User Statistics 기능 개선
- 비디오 데이터 프로젝트에 User Statistics 기능이 추가되었습니다. 이제 비디오 프로젝트에서도 유저별 작업 현황을 확인할 수 있습니다.
- 이미지 데이터 프로젝트의 User Statistics 차트에 소요시간(Timespent(sec)) 항목이 추가되었습니다. 이제 이미지 프로젝트의 유저별 작업 속도를 측정할 수 있습니다.
버그 수정 & 성능 개선
- SDK Status filter가 개선되었습니다.
- SDK 라벨 업데이트 시 Tag가 있던 라벨의 Label JSON에 Tag key가 없는 경우 에러가 발생하는 버그가 수정되었습니다.
- Analytics Project Tab에서 loading시 spiral들 위치가 수정되었습니다.
October 7, 2020 (v1.4.0) - User Statistics, Cloud Upload
새로운 기능
- 유저 통계 라벨 목록 탭에서,
USER STATS버튼을 눌러 선택된 라벨의 유저 통계를 불러올 수 있습니다. 이 기능은 유저 별 데이터 라벨링 요약 내용을 보여주며, 이메일을 통해 공유할 수 있습니다. Analytics tab > User Analytics 페이지에서,REQUEST USER STATS버튼을 눌러 전체 라벨에 대한 유저 통계를 불러올 수 있습니다. 이 기능은 요청된 온디맨드 데이터를 표 형식으로 보여줍니다. 최신 버전의 데이터는Update Now버튼을 눌러 언제든지 확인할 수 있습니다.
- AWS S3를 통한 데이터 업로드 이제 AWS S3에서 스위트에 바로 데이터를 업로드할 수 있습니다.
버그 수정 & 성능 개선
- 간단한 웹 UI 버그 수정
- 이제 Data List 페이지에서 프로젝트에 할당되지 않은 데이터셋만 리스트업할 수 있습니다.
August 3, 2020 (v1.0.0) — 세그멘테이션 오토라벨링, 샘플 프로젝트 (2차)
새로운 기능
- 오토라벨링 (Auto-Labeling) 슈퍼브에아아이 오토라벨링이 [폴리곤 세그멘테이션]에도 적용되었습니다! 스위트의 오토라벨링은 100개의 상용화된 물체에 바운딩박스와 폴리곤 세그멘테이션으로 어노테이션 작업을 수행할 수 있습니다. 다음의 순서로 오토라벨링 작업을 수행할 수 있습니다.1) 오토라벨링 실행 → 2) "difficulty(난이도)" 순으로 이미지 정렬(오토라벨이 작업의 난이도를 측정합니다) → 높은 난이도의 작업을 우선적으로 리뷰이를 통해, 여러분은 모델 학습까지 가는 시간을 9.7배 단축할 수 있습니다!
- 샘플 프로젝트(Sample Project) 이제 계정을 생성하면 어노테이션, 라벨 태그, 그리고 다양한 피쳐들을 살펴 볼 수 있는 샘플 프로젝트를 확인할 수 있습니다.
버그 수정 & 성능 개선
- 세계 여러 지역에서 서비스 속도를 크게 향상 시켰습니다. 새로운 서버 로케이션 덕분입니다!
- 통계 분석 페이지의 UI를 크게 개선했습니다. 다른 곳의 UI와 성능 개선도 있었답니다!
July 14, 2020 (v0.9.0) — 오토라벨링, 프로젝트 검색 (2차)
새로운 기능
- 오토라벨링(Auto-Labeling) 드디어, 오토라벨링의 베타 테스팅이 끝났습니다!Bayesian Deep Learning 과 Uncertainty Estimation과 같은 슈퍼브에이아이의 전매 기술로, 스위트의 오토라벨링 엔진은 100개의 일반적인 오브젝트(person, vehicle, animal, food 등)에 바운딩박스 어노테이션 작업을 할 수 있게 되었습니다(폴리곤 세그멘테이션에도 곧 적용될 예정입니다).그리고, 오토라벨링 엔진이 라벨링 작업이 얼마나 어려웠는지에 따라 난이도(High, Medium, Low difficulty)를 매겨줍니다. 이 정보를 기반으로, 여러분들은 라벨링 하기 어려운 이미지 작업만 리뷰 및 수정을 진행하면 됩니다.스위트의 오토라벨링은 모델 트레이닝까지 가는 시간을 9.7배 단축해 줄 수 있습니다! 🚀🚀
버그 수정 & 성능 개선
- Project List 페이지에 검색 창이 생겼습니다
- "Submitted Labels" 통계 차트에서 누적 통계와 일간 통계를 선택하여 확인할 수 있습니다
- 그리고 많은 UI와 성능 개선이 있었답