iPad ProのLiDARで路面スキャン

2020年3月に発売されたiPad Proには背面にLiDARスキャナが搭載されている。これは目に見えない赤外領域のレーザー光線を照射することで、前方の物体の形状や距離を測定する。端的に言えば三次元スキャナであり、計測や測量はもとより、ARでの自然な描画(隠面消去)も可能になる。ロボットや自動運転の自動車が周囲の環境を把握する技術を、日常生活用品のタブレットに搭載した訳だ。

それではiPad Proを自転車に取り付けて走行してみよう。ハンドルにアダプタを取り付けて、iPad Proを前方やや下向きにセット。この状態で3D Scanner Appというアプリを使用して、前方をスキャンしながら自転車で周回する。最初は舗装道路で緩やかに下り、次いで急な上り坂があり、凸凹のある草地を抜けて出発地点に戻る。走行距離は150mほどで、ゆっくり目に10km/h前後の速度で走っている。

11インチiPad Pro (2020) をミヤタRidge Runnerのハンドルに取り付ける


3D Scanner Appによる自転車走行時の前方スキャン

収録された映像は少なからず揺れている。これはiPad Proを固定するアダプタがプラスティック製で、前後にしなるからだ。しかし、生成された3Dモデルでは揺れが吸収されて、滑らかに道路が再現されている。もっとも、揺れが激しかった草地では補正しきれなかったのか荒い印象を受ける。また、同じ地点に戻ったものの、出発点と終着点とが上下にズレている。どうも高度の変化に弱いようだ。

3Dモデル化された周回道路
滑らかな舗装道路(右)と凸凹のある草地(左)
不連続になった開始地点(下)と終了地点(上)

iPhoneやiPadなどのSafariで以下の画像の右上にARアイコンが付いていれば、画像をタップすることでARモードで3Dモデルを表示できる。これは扱い易いように10分の1の大きさに縮小して、4メートル下げている。また、USDZ、OBJ、GLTF、STLの4種類のフォーマットで3Dモデルをダウンロードすれば、Macのプレビューなどで表示できるはずだ。これらは大きさや位置を変更していない。

スキャンした路面の3Dモデル
iPad ProのSafaiで路面3DモデルのAR表示(現実空間に一致させていない)

参考のために、LiDARデータをリアルタムにポイント・クラウドとして表示して、平坦な舗装道路を20〜30km/hの速さで自転車走行してみた。この映像ではドットの大きさが距離の近さを表している。レーザーの測定範囲である5mより遠い部分にはドットが描かれていない。路面やアダプタの振動のために映像が激しく揺れているものの、高速走行でも路面などのスキャンができていることが分かる。


Visualizing a Point Cloud Using Scene Depthによる自転車走行時の前方スキャン

ちなみに、iPad ProのLiDARはdToF(direct Time of Flight)方式と呼ばれ、数百個のレーザー光線を投射して、個々の反射時間を計測する。一方、前面のTrueDepthカメラはStructured Light方式で、数万個ものドット・パターンを投影して、その歪みから形状を推定する。つまり、LiDARは離隔的かつ動的、TrueDepthは近接的かつ静的。こじつけ気味だが、自転車走行に似合うのはLiDARだ。

TrueDepthカメラ(左)とLiDARスキャナ(右)の照射ドット・パターン
iFixitのiPad Pro分解ビデオより画像を合成)

このようにiPad ProのLiDARで、自転車走行中に路面スキャンができることが分かった。大きなiPad Proを自転車に取り付けるのは酔狂でしかないが、AndroidフォンではLiDARの採用が始まっており、iPhoneにも搭載されるだろう。空間把握能力を備えた自転車は何をもたらすだろうか? 一般的な手持ちスキャンとは異なる自転車でのスキャンは、さらに多くの実験を必要としている。

【追記】iPhoneのTrueDepthカメラでも路面スキャンを行い、LiDARスキャナと比較して考察した。(2020.08.27)

【追記】iPhoneにもLiDARスキャナが搭載されたので、iPhone 12 ProとiPad Pro (2020)のLiDARスキャナで路面スキャンを行い、その結果を比較した。

One comment

Leave a Reply

メールアドレスが公開されることはありません。 が付いている欄は必須項目です