AIワーキング

[akihiro-coder]

No description provided.

[akihiro-coder]

現状把握とやること

• 物体検出及び自動操縦をsemantic segmentationタスクとして扱い取り組む
• 現在の進捗
  • セマンティックセグメーテーションのサンプルコードを動かした
  • 実際のコースの写真撮影
• 今後やること
  • モデルの選定
    • UnetとPSPnetのサンプルコードを動かしながら学習の様子を比較
  • 写真撮影
  • アノテーション
  • モデル訓練
  • jetbot 動作テスト
    • 曲がる、直進するのアルゴリズムを考える
    • モデル推論の結果に応じた、jetbotの動作プログラムを開発

[akihiro-coder]

semantic segmentationタスクの位置づけ

意思決定モデル：車両の周辺環境の認識と運転操作の決定を行うディープラーニングモデル

• 自動運転車のアーキテクチャ 自動運転車セキュリティ入門 第４回：意思決定モデルに対する敵対的攻撃 - 回避攻撃

  • sensing layer
    • GPS, Camera, LiDAR, ultrasonic sensor and so on
  • perception layer
    • localization, object detection and recognition, semantic segmentation
  • decision layer
    • path planning, object trajectory prediction, RL agent control

• semantic semenation Using Semantic Segmentation to give a Self-Driving Car the ability to see
  

  • カメラから取得した画像を車両、歩行者、地面等のクラスに分割する
  • メリット
    • クラス分割により、車両のイチ推定、物体検出、車線の把握そして、地図の再構築などを行う事が可能になる
    • 車両から検出するまでの距離をより正確に計算することが出来るらしい　車両と物体との距離を検出するような機能と組み合わせる事が出来るらしい
    • 画像の各ピクセルがカテゴリ分類され、画像・ビデオ上のオブジェクト位置がyoloよりも正確になる

[akihiro-coder]

セマンティックセグメンテーションタスクとして自動走行を扱う理由

• 自動運転車に使われている技術（物体検出よりも重要なタスクとして位置づけられている）であり、追体験がしたい
• yolo等のオブジェクトディテクション技術はすでに業務で扱っているため、他のモデルを学んでみたい

[akihiro-coder]

アルゴリズムは何を使えばいいか　

• セマンティックセグメンテーションとは？〜FCN, U-Net, Segnet, PSPNet, Deeplabv3+手法まとめ〜
• Unet : セマンティックセグメンテーションの基本ネットワーク。skip connectionが特徴的。完全に抽象化された特徴をから高解像度の画像を復元するのではなく、抽象化される前の高解像な特徴を使いながら高解像な画像を復元したほうが効率がイイのではという発想から生まれたネットワーク。
• segnet。計算時間の短縮を目的に提案されたネットワーク。
• PSPnet。より広い範囲の関係性を学習するために、ピラミッド構造の畳み込みが提案されたネットワーク。小さなフィルタと大きなフィルタを明示的にネットワークに組み込み、小さすぎる物体、大きすぎる物体、あるいはシーン全体の学習を可能にした。
• 様々なサイトにはPSPNetのほうが学習精度が高いと書かれていた。
• semantic segmentation サーベイによると、近年で最も精度が高そうなのはPSPNet, 精度が低いが推論速度が早くモデルサイズが軽量なのはESPNet

[akihiro-coder]

どの様な学習方法が最適か

• 以下３つの方法ではどれが最適か？
  • Unet 一から学習　→　サンプルコード動作確認済み
  • PSPNet 一から学習
  • PSPNet ファインチューニング　→　次実施　→　独自学習データで学習できたら、推論まで実施
• ファインチューニングのメリットデメリットを調べる → When we need fine tuning of CNN?　→　メリットを活かす。アーキテクチャは操作しない。

[akihiro-coder]

学習データの収集

• リンク先のFigure2, 3の上段のような画像データが欲しい

アノテーション作業を楽する方法

• yoloモデルを使って、紙コップ（障害物）のみだけだが、アノテーションする。
• それ以外の部分は手作業で行う。
• バウンディングボックスの座標値をテキストファイルに出力する方法
  • ただし、この座標値がx,y,w,hのどれなのかが分からない
• これは使えるかも　→　How to set the txt generated by yolov5 --save-txt to be overwritten instead of appended to the txt? #8824

[akihiro-coder]

2022年度の目標

• ライン上に障害物があれば停止するシステムを作成する
  • これをセマンティックセグメンテーションタスクとして処理する
  • モデルは、PSPNet, Unetのどちらかを使う

[akihiro-coder]

予定

• モジュール化　→　今週まで　2023-02-05
• セグメンテーション
  • モジュール化、モデル比較
  • アノテーション作業(最初の200枚)
  • 実際の画像でモデル訓練　2023-02-19までに
    • 正解率が100%になる原因を探索
• jetbot動かす　jetbot公式などのサンプルコードを参考に

[akihiro-coder]

進捗

• 2023/02/14
  • セグメンテーションのサンプルコードを動かした上で、モデル比較と実際のコースの写真撮影、ラベル作りをした

[akihiro-coder]

• 三階テンソルでラベルを読み込む時の対処法
  labels = glob.glob(f'./test.png') input_shape = (224,224) classes = 2 for label_path in labels: label = cv.imread(label_path, cv.IMREAD_GRAYSCALE) label = cv.resize(label, input_shape) img = [] for label_index in range(2): img.append(label == label_index) img = np.array(img, np.float32) print(img)

[akihiro-coder]

install

• ターミナルで特定の文字列を検索する方法[grep][ripgrep]

[akihiro-coder]

Jaccard lossについて調査

[akihiro-coder]

精度向上のために

• 参考：精度向上のための手法 #24
  • 精度向上のために参考にした記事
• 恐らく、アンダーフィッティングしている状態と考える
  • train, cvデータの誤差は小さいが、両者の誤差自体は大きいから
• 有効そうな手法
  • 正則化係数を小さくする　→　segmentation models issue "About layer regularization."
  • 高次の項を追加する
• 試してみたい手法
  • fine-tuning segmentation models tutorial