写真や動画による体験の「記録」を、物語として語られ、耳で聴かれる体験＝記憶に近い形で残すことにチャレンジします。スマートフォンのカメラ映像から、その場の情景や気配をAIが言葉として立ち上げ、朗読という形で体験することで、見たものを正確に伝えるのではなく、感じ取られる余白を含んだ体験の共有を目指します。

これは、視覚に依存しない体験の設計であると同時に、体験をどのような形式で残すと「思い出されるもの」になるのかという問いへの挑戦でもあります。

私たちは日々、多くの写真や動画を残していますが、それらが実際に見返され、記憶として立ち上がる機会は多くありません。 映像は出来事を正確に残す一方で、その場で感じた空気や意味、感情の揺れまでは残しきれず、結果として体験が「保存されているのに、思い出されない」状態になっていると感じています。また、現実世界の体験は強く視覚に依存しており、視覚に制約のある人や高齢者にとって、同じ世界を同じように体験することは容易ではありません。

もし体験が、映像による記録ではなく、言葉と想像に委ねられた物語として残されたとしたら、記憶の残り方や、他者との共有のされ方は変わるのではないか。その仮説を、机上の議論ではなく、実際に体験できる形で確かめるために、このチャレンジを行います。

スマートフォンのカメラ映像を入力として、その場の情景や構造をもとに、生成AIが説明ではなく物語として言葉を生成し、音声で朗読する体験を設計します。

具体的には、iPhoneアプリによるMVPプロトタイプを用い、写真・映像から物語を生成する複数の手法を試しながら、どのような言語表現が「情景を感じさせ」「記憶に残る体験」につながるのかを検証します。あわせて、画像から物語へ変換する文学表現のあり方について、大学の先生方と相談しながら、言語化の粒度、比喩や省略の使い方、想像に委ねる余白の設計などを学術的な視点からも検討していきます。

QWSでは、実際の空間や日常風景で体験を行い、視覚に制約のある人・ない人の双方から感想を集めることで、「耳で世界を感じる体験」がどのように共有され、どのような価値を持ちうるのかを実験的に探っていきます。

この問いは、体験の記録や共有のあり方そのものを見直す価値につながると考えています。いま私たちは写真や動画によって体験を残していますが、それらは情報としては残っても、必ずしも記憶として思い出されるものではありません。 本プロジェクトで目指しているのは、体験を物語として言葉にし、聴くことで思い出せる形で残すことです。これが成立すれば、視覚に制約のある人とそうでない人が、同じ体験を同じ物語として共有できる可能性が生まれます。それは単なる支援というよりも、世界をどう感じ、どう意味づけてきたのかを一緒に確かめるような体験になると感じています。 映像ではなく言葉として体験を残すことで、個人の記憶に近い形で再生され、誰かに手渡すこともできるようになります。この問いは、テクノロジーによって世界を「見せる」ことから、「語り合う」ことへと重心を移し、体験と記憶の新しい関係を探るものだと考えています。

QWSチャレンジ#24に参加した際、視覚障害者の方とプロジェクトを通して、じっくりと話をする機会が何度かありました。生活の中で感じている不便さについて伺う一方で、制約のある中でも、さまざまなことを楽しみ、経験しようとしている姿がとても印象に残っています。正直なところ、それまで自分は「大変さ」ばかりを想像しており、どこか一方的な見方をしていたのだと気づかされました。 その経験をきっかけに、自分にできることは何だろうか、そして障がいの有無に関わらず、誰にとっても価値になる形はないか、と考えるようになりました。 そんな中で、「見ているものを言葉で伝えてもらえるだけで、日常はとても楽になる」という言葉を聞きました。そのシンプルな言葉が強く心に残り、ただ見ているものを説明するのではなく、物語として伝えることができたら、それは新しい価値となり、体験を保存する新しい方法になるのではないかと考えるようになりました。この実感が、今の問いにつながっています。