今回も引き続き前回のシステムアップデートになる。
物体の色情報の差異を検出し、その差異が一定の閾値を超えたときにmidi信号が送信される。しかし、映像のカメラが動くことで意図しない色の差異が検出されてしまうという問題があった。そこでシステムを見直し、検出感度、安定度などを調節可能にした。実装に相当苦戦したので割愛するが、手ブレ補正のようなフィルターだ。
さらに、今回からはサウンド面でも改良を行った。これまではドラム音源を演奏させていたが、ピアノコードを自動演奏する機能を新たに実装した。映像内容(色情報など)に応じてキーやスケールが自動的に変化するように設計しており、音と映像の同期性が向上している。これにより、システム全体として以前よりも音楽的な一体感が増し、クオリティが上がったと感じている。
実際に様々な映像で自動演奏を試みたが、まだ改善すべき点は多く、映像と音の同期がうまくいかない時もある。今後はこれらの点をさらに洗練させ、映像と音がより密接にリンクした、ミニマル音楽生成を目指してアップデートを続けていく。