android開発

[akihiro-coder]

直近で調べること

• pytorch mobile, tensorflow lite, onnx runtimeの違い
  • pytorch mobile: モバイルサポートのためのフレームワーク
  • tf lite: tensorflowのデプロイ用のフレームワーク
    • 様々なプラットフォームへのデプロイを目的にしている。その中でもモバイルにも対応している。
  • onnx: 色々な言語やハードウエア上で動かすことを目的としたライブラリ
    • onnx runtime: onnxの推論エンジンの１つ
  • PyTorchモデルをモバイルやエッジで利用するための方法の整理
  • PyTorch Mobile と TFLite の比較
  • NNAPI Execution Provider
• NNAPIとは　使う方法等

[akihiro-coder]

量子化について詳しく

• 8-Bit Quantization and TensorFlow Lite: Speeding up mobile inference with low precision
• Loading and running a quantized TensorFlow Lite model on Android

[akihiro-coder]

Yoloの検出方法について調査

参考資料

• YOLO (You Only Look Once)：ディープラーニングによる一般物体検出手法
• Qiita【物体検出手法の歴史 : YOLOの紹介】
• 【ゼロからのYOLO解説】3. YOLOネットワーク
• アンカーボックス (Anchor Box) [物体検出]
• A Closer Look at YOLOv3
• How to implement a YOLO (v3) object detector from scratch in PyTorch: Part 1
• YOLOv3 – 損失計算や推論結果の生成を行う YOLO レイヤーについて解説
• Want to figure out critical algorithm of Detect layer #471

まとめ

• Yoloのアーキテクチャの出力

  • クラス予測確率、bboxの位置情報、bboxのconfidence
  • bboxのconfidence
    • Pr(Object) * IoU = IoU(when Pr=1)：bboxが物体をどれほど正しい位置で捉えられているかを意味
    • Pr(Object): bbox内にObjectが含まれていると1, 無いと0
    • IoU: 正解bboxと予測bboxのIoU
    • 信頼度スコア
      • クラス予測確率、bboxのconfidence１つ(最大値)からなる式で表される
      • Pr(Class | Object) * Pr(Object) * IoU
      • Yoloの推論チュートリアルで表示された数値
      • そのbboxが対象とするクラスの物体をどれほど正確な位置で捉えているかを意味

• Yolov3のアーキテクチャ

  • 3つの3階テンソルを出力
  • 3つの出力は大中小のオブジェクトを検出を意味

• アンカーボックス

  • アンカーベースの物体検出ネットワーク手法において，CNN特徴マップ上に配置した各アンカー点周辺に，予測の元矩形として複数サイズ配置しておく，バウンディングボックス予測の事前分布候補群である．

  • アンカーボックスベースの物体検出 (Faster R-CNN, YOLO, SSDなど)では，各アンカー周辺に配置したK個のアンカーボックス領域から，そのアンカー点(空間グリッド内の1セル)の特徴量ベクトルを入力として，「物体クラス識別」+「アンカーボックスに対するズレ量(オフセット)の回帰」の2つの予測を行う．

• yolo layer

• その他

  • yolov3は各セルに3サイズのbboxを持つ
  • 入力画像を最終的な特徴マップと同じ次元のグリッドに分割する
    • 特徴マップの寸法が1313なら、入力画像は1313のセルに分割

[akihiro-coder]

object detection word

参考資料

• 【物体検出】mAP ( mean Average Precision ) の算出方法
• mAP

[akihiro-coder]

cmake .. , make, make install の違い

[akihiro-coder]

MNN（c++API）で推論コードを試す

• やること
  • yolov3(pytorchモデル）で推論
  • モデル変換
  • MNNで推論