ShowTime

〜あなたのプレゼンをもっと面白くする〜

ShowTimeは発表者のポーズに応じてスライドを進めたり，効果音を鳴らしてくれるツールです．カメラに写った人の骨格をOpenPose(on CPU)で高速に認識してアクションを実行します．各ポーズに紐づくアクションパターンは設定画面でお好みに設定することができます．

Hack U 2019 TOKYO Student Hackathon にて最優秀賞を受賞しました．

Demo:

Slide:

Architecture

カメラクライアント: /camera_client
- カメラから画像を読み込み，MLサーバーに送信します．返ってきたポーズ認識結果を元に，対応するアクションを実行します．
- 使用技術: Python, Flask, Apple Script
機械学習サーバ: /ml
- クライアントから受け取った画像を元にポーズを分類し，結果を返します．
  1. ポーズ認識で首・肩・肘・手首の位置を特定
  2. それらのパーツの座標 (x, y) を連結したベクトルを入力にポーズを分類
- 使用技術: Python, OpenPose, Tensorflow, PyTorch, Flask
設定ページ: /settings_client
- ポーズとアクションのパターンをGUIで設定します．
- 使用技術: Nuxt.js

Creators:

Taiga Mikami: frontend, presentation
Yuki Nakahira: backend, machine learning