今回より自転車を使った移動並びに投影技術・テクノロジーを文学表現と融合させること目指し、映像装置に改造した自転車やARデバイスを装着した自転車を用いて、街をテーマにした小説をキャンバスとしての都市に描き出す「モビル文学」についての連載を開始する。
「モビル」と「文学」についてはそれぞれ下記のように定義しており、長い時間をかけて世界中で展開していくつもりだ。
- モビル（Mobile）: 自転車を使って移動することによって移動性や流動性を実現する。iPhoneやApple Vision Pro、小型プロジェクターなど携帯出来るデバイスを用いて、身体拡張あるいは独自の文字表現を志向する。携帯出来るテクノロジーの進化と共に作品も進化していく。
- 文学（Literature）: 映像投影やARを通じて街に映し出される文学作品や物語を指している。物語は作品を発表する街をリサーチした上で、その街における歴史や産業、生活をテーマに志村翔太が執筆する。
初回の連載となる本記事ではXRプラットフォームSTYLYを利用して小説をAR表示した上でサイクリングをした活動の記録について書いておこうと思う。
事前に書いておいた小説をBlenderでfbxファイルとして書き出し、プラットフォームにデプロイすることで文字をARとして扱うことが出来る。手始めに最適なインタラクションを模索する実験を行い、自転車の直進運動の反対側から文字が迫ることで小説を読むことが出来る体験をプロトタイピングした。STYLYのARモードを起動したiPhoneを自転車に搭載をして、近所の道を真っ直ぐ進んだ。
上記の画像は一番最初に制作した横書きの文字が一文ずつ自転車に迫ってくるプロトタイプである。作りきってみて初めて技術的な課題が多く存在していることに気が付き、三つの課題に分類した上で改良版の制作を始めた。
- 文字同士が重なった際の視認性が高い表示方法を模索する
- 画面を横置き縦置きした際の差異を検証する
- 文章を一語ずつ読んだ時とブロックとして読んだ時の差異を検証する
横文字の連なりではY軸の差異がないために文字同士が重なり視認性が下がる上に、文字がワイドに広がっているためにiPhoneを縦置きしても横置きしても画面の外にはみ出してしまった。また一文の連続では小説の物語を体系的に理解しづらいことに気が付いた。
上記の動画は改良版の映像である。
文字同士の重なりがあっても文字が判読しやすいように文字間隔の調整を行なったことに加え、文字を縦書きにすることで縦置きしたiPhoneに文章が収まるようにした。また複数の文章を意味の塊としてまとめ一度に表示することによって、物語を理解出来やすくなるように努めた。
しかし勿論ここがゴールではなく、新しい課題がどんどんリストアップされていく。現在直面している課題のうち特に大きな課題を三つ挙げると下記になる。
- ARトラッキングが走行中に外れてしまうので位置情報を元に文字を設置し、文字が自転車に迫るアクションから街中の文字を探すアクションへスイッチしたい
- 体験環境や天候に応じて文字色をすぐにスイッチ出来るシステムを開発する
- グラスデバイスなどを用いてデバイスの揺れと身体の揺れを同期した上で、画面を見ずに文字を視認する
一つ目の課題として、サイクリングの途中にARのトラッキングが外れてしまい文字の表示に不具合が起きることを挙げた。今回制作したプロトタイプでは床の位置を判定して文字を表示しているため、自転車で移動をすると徐々にそれが擦れてしまい文字が想定通りに表示されなくなってしまっている。床の視認による表示ではなく、位置情報ベースで文字を表示し、「文字が迫る体験」から「文字を探す体験」にスイッチすることでこの問題は解決出来ると仮説を立てている。今後検証を続けていきたい。
次に都市の配色や天候に応じて視認しやすい文字色が異なる上に、体験者によって目線の位置が変わるため、体験環境に応じて文字の見やすさが大きく変化してしまうことである。こちらは体験前に用意しておいた文字色を選択出来る仕組みを導入すれば解決出来るかもしれない。次回のプロトタイプ制作の宿題となる。
最後に自転車走行中にiPhoneの画面を見れないこと、走行中の自転車の揺れによってiPhoneが振動することによる文字の視認性の悪化の解決のためにグラスデバイスを試すことを計画している。目に直接文字を表示させて、自転車の揺れとARと身体が同期すれば体験が快適になると考えている。
本取り組みは私が所属している情報科学芸術大学院大学メディア表現科における修士研究と位置付けており、一年かけてブラッシュアップしていくつもりだ。私は「モビル文学」に大きな目標や野望を沢山抱いている。
- 紙媒体や電子媒体では味わえない小説を読む体験を突き詰める
- ツアー化した上で物語の分岐など移動するルートに応じて、体験が変わる表現を模索する
- 美術館やギャラリーを飛び出すオルタナティブな発表方法を探る
青年よ大志を抱け！今後の飛躍にご期待あれ。次回の連載もお楽しみに！