I am Charmie

メモとログ

Use Poetry virtualenv on PyCharm

Settings > Python Interpreter > Add interpreter > Add local interpreter > Virtual Environment > Existing specify ROOT_POETRY_VENV/bin/python

WSL2 (Ubuntu) on Windows 11

WSL2 with USB port enabled 公式 WSL(最新版)をインストール Linuxをインストール インストールしたLinuxをWSL2に設定 ♯♯ 手順1: WSLのインストール こっち の方がわかりやすい PowerShell(管理者): wsl--install WSLを実行し,Ubuntuインストールに必…

pytorch-lightning LightningDataModule

ここを読む とりあえず以下のような使い方をする データのダウンロード,Dataset, Dataloaderの扱いをクラス化することで,mainプログラムの可読性を上げるのが目的 prepare_data(): データの取得 setup(): データ全体をtrain,val,testに分割,Datasetの定義…

Pythonパッケージマネージャ

pyenv, venv, poetryあたりの違いと,各OSでの向き不向きを調べる (この記事を参考にする) そもそもやりたいこと クロスプラットフォームでの開発 そもそもクロスプラットフォームでどうこう考えることが愚かなのかもしれない. Ubuntu以外は全てUbuntu on…

Super annoying conda error

The solution to the following error message caused by conda command is conda install -n base libarchive -c main --force-reinstall --solver classic Error while loading conda entry point: conda-libmamba-solver (libarchive.so.19: cannot open …

Ubuntu 22.04 で texliveをapt install すると処理が途中で止まる問題

以下のような表示から何も変わらないときの解決策 まさかEnterキー連打(長押し)で解決するとは,実行した今でも信じられない. Running mtxrun --generate. This may take some time... done. Pregenerating ConTeXt MarkIV format. This may take some ti…

Mac zsh jave not found

issue: the following message appears as soon as a zsh terminal runs. The operation couldn’t be completed. Unable to locate a Java Runtime. Please visit http://www.java.com for information on installing Java. run the following commands to f…

研究のスタートアップ

スタートアップ すごく大事なこと Qiitaの記事: 15分ルール 暦本先生: 私の研究法(動画) 石原先生@阪大: 研究室で成長して卒業するために守ってほしい10のこと 渡辺先生@慶應: 卒論の書き方 Qiitaの記事: 質問は恥ではないし役に立つ 鳥井さん@万葉: …

plotlyで作成するhtmlファイルのサイズ圧縮

plotlyを使って作成したhtmlファイルのファイルサイズが巨大になる問題の解決策がstakoverflowに投稿されていた. ファイル出力する際に,plotlyjsのソースコードを出力ファイルに含めるためファイルサイズが巨大になってしまう include_plotlyjsオプション…

pip install datumaro on Mac

タイトル通り,datumaroをMacにインストールするときのエラーの対処 pip install datumaro を実行すると,Macでのみ error: can't find Rust compiler と表示されてインストールに失敗する Rustのコンパイラーをインストールして解決 brew install rustup ru…

yolov8 with anaconda

YOLOv8をAnacondaの仮想環境で使う conda create -n yolov8 python=3.11 conda activate yolov8 mkdir yolov8 cd yolov8 git clone https://github.com/ultralytics/ultralytics.git cd ultralytics/ pip install -r requirements.txt pip install ultralyti…

open3d on anaconda

dense rgb-d slam を使いたい conda create -n rgbd-slam python=3.10 anaconda conda activate rgbd-slam conda install -c conda-forge python-kaleido pip install PyQt5 PyQtWebEngine pip install open3d

PyTorch Lightning + Hydra

PyTorch LightningとHydraを組み合わせるという流れに乗ろうと思った. このレポジトリで公開しているテンプレートが便利 WanDBを使ったダッシュボードは面白かった 以下がパッと分からなかったので導入は新年度からにする WanDB 各グラフを画像として取得す…

PyTorch Lightning

PyTorch Lightningを使ってみた. この解説がわかりやすかった PyTorchにおけるBoilerplate codeを減らすための工夫が施されている こんな感じで対応してる. 学習の処理(一バッチ分)をモデルクラスの関数に書くことで,学習の二重ループを書かなくて済む …

Ubuntu 22.04: GPU on docker

ここが参考になる Docker上でGPUを使う場合はCUDAのインストールは不要 nvidia-docker)の立ち位置がわからない... NVIDIA Container Toolkitのこと? NVIDIA Container Toolkitのインストール後に自分のdockerfileはどんな風に書いたらいいのか調べる Docker…

Mac: インストールUSB作成

ディスク一覧の表示 diskutil list USBメモリ( /dev/disk2 )をフォーマット diskutil eraseDisk MS-DOS UBUNTU /dev/disk2 .isoファイルの書き込み # いったんアンマウント diskutil unmountDisk /dev/disk2 # 書き込み sudo dd if=./ubuntu-22.04-live-serv…

Lubuntu 23.04: 日本語入力

Muon Package Managerを使ってfcitxをインストール fcitx5 fcitx5-mozc fcitx5-gtk3 fcitx5-gtk4 fcitx5-data fcitx5-config-qt 入力方法のconfigからmozcを選択 fcitx系をインストールしたときは表示されなかった japanese はローマ字入力(日本語配列の英…

hydra

hydraは階層構造を持つ設定を扱うためのPythonフレームワーク このサンプルが分かりやすい 設定を外部ファイル(yaml形式)として保持 メインプログラムは設定ファイルを読み込んで,インスタンスを生成 このjupyter notebookを見ると,設定ファイルを読み込…

iteratorとgenerator

generatorは yield 使うやつ? listとかで呼び出すときに,必要な要素だけ返すからメモリ効率が悪くならない ジェネレータクラスから作ったイテレータ生成オブジェクトは何度もループで使える ジェネレータ関数で生成したオブジェクトはループで回せるのは一…

ハイパフォーマンスPython: 3章 ListとTuple

ハイパフォーマンスPython: 3章 ListとTuple listの対象は動的 appendするときに余剰な要素数を含めた別のlistを作成し既存要素のコピーと追加要素の代入を行う tupleの対象は静的 2つのtupleを連結して新しいtupleを作ることはできる # tupleの連結 t0 = (…

Simulator

Documentationを流し読みした限り,BlenderProc2が学習コスト・やりたいことに合致してるかな. Kubric dockerでインストール・実行 画像 RGBA Depth Segmentation Surface normal optical flow 基本オブジェクト: suzanne, teapotあり レンダリングするシー…

Macのpython環境の改善

anacondaとpipを混ぜると危険らしいので整理 Anacondaのアンインストール 以下の作業の後に .zshrc のanacondaの設定を削除する conda install anaconda-clean anaconda-clean rm -fr ~/.anaconda_backup rm -fr /anaconda3 python3のアンインストール 依存…

M1 Macのターミナルをカスタマイズ

M1 Macのターミナルをカスタマイズ テーマ: Iceberg フォント: Ricty Xcodeが最新版じゃないと駄目っぽくて,Xcodeのインストールを開始...長い # Rictyのインストール brew tap sanemat/font brew install ricty # インストールしたフォントを使えるように…

VSCodeでdocker

Remote Developmentという拡張機能をインストールするとOK UIが自分の直感と合わなくてすごくイライラする VSCodeのウィンドウ左下の青いボタンをクリックすると,コマンドパレットみたいなものがVSCodeの上の方で開く コンテナの作成・終了は以下の通り 該…

Dockerメモ

Dockerメモ 以下を実現したい Dockerの環境構築,イメージ・コンテナの作成・管理 python/c++の開発環境をdockerコンテナで構築 dockerコンテナ上のコンパイラ・インタプリタ・デバッガを使って開発 複数の開発環境の切り替え 環境構築 以下を参考に設定 公…

docker-ce再インストールエラー

ここに書いてある通りに実行したら解決 現象 docker-ceを一度アンインストールしてから再インストールすると以下のエラーが発生 Errors were encountered while processing: docker-ce E: Sub-process /usr/bin/dpkg returned an error code (1) 解決策 dock…

Docker on Ubuntu 22.04

Docker Engine?をぶじインストールできて,sudo無しでdockerコマンドを動かせるようになった Install using the aapt repositoryに従ってインストールした後に,dockerグループにユーザを登録すればOK 必要なパッケージをインストール sudo apt-get update …

CVAT: a free image/video annotation tool

CVATで画像のアノテーションをしてみた. UIがまぁまぁ使いやすい 既存モデルを使った自動アノテーションは一部動いた 既存モデルの読み込み?(CVAT上で選択できる)は成功 モデルによってエラーを吐く 種類 モデル 状態 Interactor DEXTR ok Interactor SA…

Computer Vision系のアノテーションツール

物体検出・追跡用データセット作成のためのアノテーションツールを探している. 要件は以下の通り. クロスプラットフォーム(Ubuntuu, Mac) 物体領域はポリゴン指定(バウンディングボックス駄目) アノテーションの修正が可能 Human-in-the-loopに使える …

Docker on Ubuntu 20.04

Docker on Ubuntu 20.04 Docker Desktop for LinuxとDocker Engineのどっちをインストールする?みたいな選択肢の正解が分からなかった. Install Docker Desktop on Ubuntuに従う Prerequisitesを満たす Docker Desktopをインストール Docker Desktopを実行…