Computer Vision系のアノテーションツール

物体検出・追跡用データセット作成のためのアノテーションツールを探している． 要件は以下の通り．

• クロスプラットフォーム（Ubuntuu, Mac）
• 物体領域はポリゴン指定（バウンディングボックス駄目）
• アノテーションの修正が可能
• Human-in-the-loopに使える
  • 機械学習モデルによるアノテーションも実行できる

まとめ

• いまのところ以下の手順をループする泥臭い戦法が濃厚
  1. アノテーション
  2. アノテーションデータのexport
  3. exportしたデータで学習
  4. train(残り)/validation/testデータを予測
  5. train(残り)からサンプリングしてimport
• CVAT
  • アノテーションはいい感じ
  • 既存公開MLモデルを使った自動アノテーションもできるらしい (cvat.ai上の有料アカウント 33$/month 専用？)
  • アノテーションしたデータでモデルを更新する機能はない
• Label Studio
  • アノテーションがちょい不便（塗りつぶしツールで新しいオブジェクトを作る方法が謎）
  • アノテーションしたデータでモデルを更新できるし，そのモデルで予測もできる
  • pipやローカル版のインストールに失敗
  • docker版がどこにインストールされてるのか謎
  • プロジェクト単位のファイル容量上限がデフォルトで50MB
    • 上限を増やせるみたいだけど，docker版はどのファイルいじるのか謎

CVAT

• 公式youtubeで丁寧に説明してくれている
• 前フレームのアノテーションを簡単にコピペできた
• 動画のアノテーションをする際に，補間の機能がある（未挑戦）
• MLモデルを使った自動アノテーションもできる
• アノテーションしたデータで学習する部分は実装されていないので，自分で学習・学習したモデルを読み込む手間が必要

git clone https://github.com/opencv/cvat
cd cvat
export CVAT_HOST=your-ip-address
docker compose up -d
# ML modelを使えるCVATのコンテナ起動
sudo docker compose -f docker-compose.yml -f components/serverless/docker-compose.serverless.yml up -d
# 沢山起動しているコンテナを全部停止
sudo docker stop $(sudo docker ps -a -q)

Label Studio

• MLモデルの学習・予測の統合ができるう

  • 動画での説明
  • 公式チュートリアル

• インストール

  • docker版で成功
    • 起動するときに sudo docker しないと駄目なのくじけそう（dockerの設定の問題で，dockerグループ作っても駄目だった）
    • sudo docker すると，コンテナ？とのディレクトリの権限が理由で起動失敗 （あとでこれを読む）
    • issue通りに -u 1000 を追加したら起動した
  • ローカル版はエラーが解消できず断念
  • コンテナのIDは docker ps -a で調べる

sudo docker run -it -u 1000 -p 8080:8080 -v `pwd`/mydata:/label-studio/data heartexlabs/label-studio:latest &
# dockerで走らせているコンテナの停止
sudo docker kill b9a904602bc8
# dockerで走らせているコンテナの起動
sudo docker start b9a904602bc8

Label Studio on Ubuntu 20.04

以下の手順でインストール→起動失敗→色々試す→やっぱり起動失敗→仮想環境廃棄という流れだった．

conda create --name labelstudio
conda activate labelstudio
conda install pip
pip install psycopg2
pip install psycopg2-binary
pip install label-studio
label-studio start
conda deactivate
conda remove -n labelstudio --all

• エラーは以下の通りで，psycopg2かimport先のlibp11-kitの問題なのかも（それすら分かっていない）
• condaのissueで言及されていたので，libffiのバージョンを3.4から3.3にダウングレードしたけど，駄目だった

    from psycopg2._psycopg import (                     # noqa
ImportError: /lib/x86_64-linux-gnu/libp11-kit.so.0: undefined symbol: ffi_type_pointer, version LIBFFI_BASE_7.0
Starting new HTTPS connection (1): o227124.ingest.sentry.io:443
https://o227124.ingest.sentry.io:443 "POST /api/5820521/store/ HTTP/1.1" 429 198

Labelbox

• 今度試す
• 領域選択で物体の塗りつぶしをできるっぽい