先月の記事で「動画情報から物体の色情報の差異を検出し、一定の閾値を超えると信号を出力するアプリケーションで、理想的なリズム検出が可能か」という問いがあった。そこでGPTと一緒に、Mac用アプリケーションのデモ版を制作した。
このアプリにWebカメラやMP4などの動画ファイルを入力すると、プレビュー画面が表示される。手を動かすとMIDI信号が発信され、それをシンセサイザーが受け取り音が鳴るという仕組みである。MIDI信号の発信は、物体の色情報の差異を検出し、その差異が一定の閾値を超えたときに行われる。つまり「手の動きそのもの」を検出しているのではなく、「手の動きによって画面上の色情報が変化したこと」を検出しているわけだ。
以下の動画では、筆者が手を動かすのに合わせて信号が出力され、音が鳴る様子を確認できる。
画面上の青いバーが色情報の差異を示しており、閾値を超えると信号が送信される。
ここまでは順調だったが、実際のライドのタイムラプス映像を使うと、思ったように動作しない。原因として考えられるのは、映像のカメラが動くことで意図しない色の差異が検出されてしまうことだと考える。定点カメラでないため仕方ない事だが、難しいポイントだ。
次回は、カメラが自由に動く場合でも安定して動作するシステムへとアップデートしていく。