iPad Pro（2020）背面のLiDARスキャナを評価した際に、iPhone Xなどの前面に備わるTrueDepthカメラに比べて「自転車走行に似合うのはLiDARだ」と考えた。どちらも3次元空間の深度を取得する目的は同じであるものの、それぞれの動作原理から得手不得手を推測したわけだ。だが、本当にそうであろうか？ 机上の空論はサイクリストに相応しくない。実際にTrueDepthカメラを試してみよう。
まず、iPhone 11 Proを自転車のハンドル・バーに取り付ける。これは一般的なホルダーで構わないが、画面が進行方向を向くようにする。次に、TrueDepthカメラの映像を表示するRecord3Dアプリを使って、前方の路面が映るように調整する。この時、水平に前方に向けて設置すれば何も映らず、iPhoneを30度ほど下方に向ける必要があった。ちなみにLiDARのiPad Proでは10度ほどしか傾けていない。
この状態でTrueDepthカメラの情報を記録しながら、前回と同じコースを自転車で走ってみる。このアプリでは記録した3Dデータを時間軸に沿って再生し、移動、拡大、回転ができる。以下のビデオでは、各種操作をして見方を変えながら画面収録している。また、3DデータはPLY形式またはgl/TF2.0形式で書き出しと共有が可能だ。これはフレームごとの3Dデータであり、全体としてのモデリングではない。
本来は平らな地面が波打つように検出されていることが分かる。カメラから1〜2m程度しか計測されていない。これはTrueDepthが採用するStructured Light方式の制約であろうか。もっとも、TrueDepthはFace IDとして近接するユーザの顔の特徴を捉えるのが目的だから、無理もない話だ。なお、物体を正面から捉える場合は、TrueDepthもLiDARも実測で5mまでは計測可能であった。
一方、TrueDepthは数万個のレーザー光線を用いるので分解能が高い。物体スキャンに特化したCaptureアプリで自転車をスキャンすると、かなり細かなポイント・クラウドが得られていることが分かる。対象が静止しているせいか、表面が波打つこともない。これに対してLiDARが用いるレーザー光線は数百個なので、自転車のスキャンは無残な結果になる。このLiDARは細かなスキャンが不得手だ。
以上のように、自転車で走りながら路面など周囲をスキャンするにはTrueDepthカメラは向いていない。つまり「自転車走行に似合うのはLiDARだ」は正しかったことになる。また、自転車自体をスキャンするにはTrueDepthカメラが良いものの、自転車は大き過ぎて作業に苦労するのも事実だ。ともあれ、今後もハードウェアの性能は向上するであろうし、ソフトウェアの進化も期待して良いだろう。