これまではYOLOを用いて物体検出を行い、検出したオブジェクトに音を割り当てていくという試みを進めてきた。しかし、プロジェクトのスケールを考えると、対象となるフィールドは都市全体、さらには地球全体と広がる。そのため、検出対象となるオブジェクトの学習データを作り続けなければならず、無限にオブジェクトの学習を繰り返すという果てしない作業になると感じ制作の手が止まってしまったので一旦制作の手法を見直すことにした。そこで、赤松さんからいただいた「自転車タイムラプス動画」を使い、筆者自身が理想的な検出を擬似的に試みた。そこで気づいたのは、動画全体が常に音楽的なビートを刻むわけではない、ということだ。むしろ、ビート音楽として成立するのは映像の一部のシーンに限られている、という発見だ。
この気づきはとても重要で、プロジェクトの原点に立ち返ることになった。そもそもの出発点は、「音のないタイムラプス動画に、自動的に音楽をつけるシステムをつくること」。単なるBGMを流すのではなく、映像の展開と同期しながら音を奏でる仕組みをどう実現するか。それこそがこの研究の面白さだと考える。特に重要なのは、「映像の一部に音楽が宿る」という特徴をどう活かすかだ。その一部に注目し、そこで「何が起こっているのか」をより詳細に検証するため、BPM（テンポ）の検出を行った。心地いBPMとしては、大体130前後であることが判明した。
この知見をもとに、動画情報から物体の色情報の差異を検出し、一定の閾値を超えると信号を出力するアプリケーションで理想のリズム検出が可能か実験中だ。次回は映像の差異を検出するアプリケーションでの検証を行なっていく。
*更新が滞っており申し訳ない