とある晴れた日に都内某所を2時間ほどライドを行い、アクションカムで撮影をした。都市のごちゃついている場所、トンネル、夜の都市などだ。その中から青山霊園、夜の都市を撮影した1分ほどのデモを公開する。
システムの仕組みは、画面を4行×6列の24領域に分割して各ブロックの情報を監視している。取得している情報は明るさ、RGB、コントラスト、色温度など様々だ。そして監視している値が一定の閾値を超えたタイミングでMIDIを出力する設計だ。
このシステム自体は去年の8月ごろから採用していたが、今回のバージョンでは出力されるサウンドが大幅に静かになった。その理由は、閾値を簡単に変更できるようUIを再設計したことにある。映像ごとに持っている情報が異なるのは当然で、あらゆる映像に対応できる万能な閾値など存在しない。だからこそ、自分で適切だと思う閾値を設定できるようにした。以前のバージョンについては「音が常に鳴り止まず、ランダムに鳴っている印象がある」という意見もあった。今回の改良により、そうした問題が解消されたと感じている。
各領域では前フレームとの明るさの差分を計算し、その変化量が閾値を超えた瞬間がトリガー(MIDI出力)となる。ただし、同じ領域が連続してトリガーしないようにしている。一度トリガーした領域は一定時間（感度0%で0.4秒、100%で0.15秒）MIDIを出力しない。また、単調なサウンドで飽きないようコード進行を自動的に切り替えるようにした。そして今回のバージョンでは、ベース音域とコード音域をそれぞれ独立して設定できるようにした。ベースがC1〜C2、コードがC3〜C5と自由に変更できる。さらに、最大同時発音数も制限できるようにした。これは人間の両手で押さえられる範囲を意識した設計で、鍵盤らしい自然な響きを保つための工夫だ。
個人的には良くなったと思うが、まだまだだ。トリガー検出時の明るさ、コントラスト、動きの量、色温度といった情報は、音楽の表現に転換できると考える。例えば、明るい映像では高い音域で演奏され、音のベロシティ（強さ）も大きくなる。動きが少ない静かなシーンではノートが長く出力される。逆に動きが激しいシーンではアルペジオやアルベルティ・バスといった細かく動くパターンが選択される。コントラストが高い映像では音のダイナミックレンジが広がる。だともっと映像とリンクした音楽が生成されると考える。次回はシステムをアップデートを行い、クリティカル・サイクリング展に向けた映像作品化も進めていく。