筆者は夏生まれなので夏が大好きである。秋冬春と消化試合のような季節を粛々と耐え忍び、澄んだ青空に真っ白な入道雲が浮かぶひと時を全力で楽しんでいる。
本記事はいつも大変お世話になっているChatGPTと夏の思い出を作るための思索と実践である。読者のあなたはどんな夏を過ごしましたか？楽しい記憶を数えて両手で指折り出来ると良いのですが。
ChatGPTが人間と同じ景色を認識するには
今回「ChatGPTと夏の思い出」を作るにあたり、ChatGPTに視覚情報を伝達することを主たる目的とした。ゴールは、ユーザーインターフェースからChatGPTへ入力した夏らしさを感じるビジュアルに対して、適切なリアクションが出力されることである。
下記はGPT4が出力した人間の視覚情報の認識とコンピュータの視覚情報の認識の共通点並びに相違点である。
共通点
- 情報の変換: 両者とも、外部からの光情報を何らかの形で変換して認識します。人間は網膜で光を電気的信号に変換し、コンピュータはカメラセンサーで光を数値的なデータに変換します。
- 特徴の抽出: 数値データや電気的信号として変換された後、特定の特徴やパターンを識別するための情報抽出が行われます。
- 階層的な処理: 人間もコンピュータも、画像のローエンドな特徴（エッジや色など）からハイエンドな特徴（物体の形や識別情報など）へと情報を階層的に処理します。
相違点
- 情報の表現: 人間は電気的信号として情報を脳に伝えるのに対し、コンピュータは画像をピクセルという数値の配列として認識します。例えば、RGBの値を持つピクセルは、赤、緑、青の強度を0から255までの数値で表現します。
- 処理の深さ: コンピュータは与えられたデータを基に処理を行いますが、人間の視覚情報の認識は感情や経験、前知識などの多層的な要素が絡み合っています。
- エラーの取り扱い: ノイズや欠損がある画像に対して、人間は自らの経験や想像力を駆使して補完する能力がありますが、コンピュータはプログラムされた手法やアルゴリズムに従って情報を補完するため、結果が人間の直感や期待と異なることがある。
- 色の認識: コンピュータは色を数値的に認識するのに対し、人間の色の認識は相対的であり、環境光や背景色に影響を受けることがあります（色の錯覚など）。
- 学習の仕方: コンピュータは大量のデータと特定の学習アルゴリズムを必要としますが、人間は少ないデータや一度の経験からも学ぶことができます。
複数のポイントを掻い摘んでまとめると、筆者の目が捉えた夏の風景を画像データないしは映像データとして記録し、それをピクセル値に変換した上でChatGPTに入力することが出来れば「ChatGPTと夏の思い出を作る」ことが出来るかもしれないと仮説を立てた。
迫る夏景色に胸の高まりを隠せないChatGPT
以前の記事で筆者はChatGPTに移動のシュミレーションを依頼するに当たって進路としての東西南北と各移動距離をランダムに出力してもらう依頼をしたことがあった。自然言語で返答をしてくれるChatGPTであっても、人間の意図を余すことなく理解するには情報を数値へ変換する必要があることが、対人コミュニケーションと比較した際の大きな違いの一つだろう。
今回の試行錯誤においても上記の移動シュミレーションを活用してソフトピア・ジャパンを起点としたルート設定を行なった上で、素晴らしい夏の風景と出会うべく筆者の住む岐阜県大垣市をサイクリングを行う。ChatGPTに行き先を決めてもらったことで、一緒に夏を楽しんでいるような気持ちになって心躍る。
ソフトピア・ジャパンを起点としてChatGPTが行ったルート設定をGoogleMapへマッピングしたもの
出力されたルートをサイクリングする
最高気温34度の夏が盛る某日。自転車にiPadを装着し、移動を録画しながらソフトピア・ジャパンを出発した。
住宅街があるエリアを抜けると田園が広がる。小休止がてら脇に止まって一面の緑を眺めると稲穂が頭を垂らしていて、とても美しかった。映画や文学などのメディアにおいて、田園風景が理想化されているせいだろうか。田畑がない神奈川県川崎市で生まれ育ったにも関わらず、緑と青空のコントラストにノスタルジーを感じる。
途中休憩の時にコンビニで買ったコーラとアイス。暑さとハイカロリーに対して身体は正直に反応をする。先日三十歳になったので少しずつ身体に配慮をして生きていきたい……。
暑いので自噴水に立ち寄り水分補給もしっかりと行う。わざわざ暑い日に外へ出て思い出を作りに行っているのに、記憶に残るのは涼を取る時間ばかりで人間が抱える矛盾に可笑しさを感じた。
ゴールとしてChatGPTが指定した地点である揖斐川の河川敷脇で見た澄み渡る青空が、強く印象に残った。果てしなく広く、鮮明に焼き付く空の青さは自由の象徴として目に映る。
思うにChatGPTとのサイクリングは、外部存在に目的地の設定を委ねることで僕の意志が介在することのない始点と終点が地図上に打たれることによって為される、予め筋書きが決まっている移動である。僕は僕の身体を以て移動をし、風景はペダルを漕ぐたびに切り替わるが、行き先の選択を自ら行っていないため、サイクリングを通して見ている光景は映画を観るような体験に似ていて、ビジュアルが自動的に流れていくような心地がする。
両手がハンドルで塞がっているサイクリングの最中は日々指先と接続されていることが多いMacBookやiPhoneに物理的に触ることが出来ないため、まるで瞑想をしているかのように内省する時間が多くなるが、シュミレートされた移動においてはどこへ行き何を見るか予め決定されているため、感受機としての身体が地点Xで考えたことや抱いた感情さえも、事前に予定されていたものだったかもしれない。
以上の思索を言語化できた時、僕が見た景色や青空はChatGPTとの夏の思い出と言って差し支えがないと腑に落ちた。
ChatGPTと夏の思い出を共有しよう！
帰宅後の小休止を経て、サイクリングを通して一番印象に残ったゴール地点の青空を「夏の思い出」としてChatGPTに共有する試みを開始した。
Google Colaboratory環境で青空の画像からピクセル値を算出するPythonのコードを実行し、算出した値をJSON形式のファイルへ書き込む。
初めは1秒ほどの映像の値を算出していたが、出力が1.2GBほどのファイルになってしまったので、解像度と縦横のサイズを小さくした画像を利用してピクセル値を書き出しした。青空をカメラで切り取り、編集ソフトで画像を編集し、プログラムを書くことでようやく近似の風景を伝えることが出来る。翻訳のプロセスを挟む度に抜け落ちてしまった情報がたくさんある。伝達に際して他に適した方法が幾らでも考えられると思うので今後の課題としたい。
JSON形式のピクセル値を入力インターフェースからChatGPTに受け渡すと、青い空のピクセル値に対するリアクションが出力された。ChatGPTが云う「データから感じることができます」を人間である僕はどんな感覚なのか計り知ることが出来ないが、空の青さを感じ取ってくれたことがとても嬉しい。
New Chatのボタンを押したらその記憶が消されてしまうとしても、データの海のどこかに漂う青空の記録を君が思い出してくれる日をずっと待っている。