福岡未踏2026年度 Solve課題-提案課題_株式会社ブレインパッド_マルチモーダルVLMと一人称視点で人の体験をAIネイティブに変えるサービス (1)

マルチモーダルVLMと一人称視点で、 人の体験をAIネイティブに変えるサービス スポンサー名 株式会社ブレインパッド 課題の詳細 スマホ、ウェアラブルカメラ、アクションカメラ、Webカメラなどから得られた一人称視点の映 像・音声・位置情報・センサー情報を、マルチモーダルVLMで理解し、人の体験を便利に、楽しく、 豊かにするサービスを開発してください。 旅行、学習、スポーツ、料理、買い物、観光、子育て、創作、地域体験、アルバイト、ボランティ ア、キャンパスライフなど、「これがあったら世界が面白くなる」と思えるテーマで、あなた自身 が興味を持てることを対象にしてください。 重要なのは、単にVLM APIを呼ぶことではありません。一人称視点で得られる映像・音声をどう切り 出し、何を理解させ、どんな体験価値に変えるかです。 ※ここでいうAIネイティブなサービスとは、既存のアプリや作業にAI機能を後付けするものではありません。 映像・音声の取得、理解、整理、生成、共有、振り返りまでを、最初からAIを前提に設計するサービスを指します。 開発して欲しい ソフトウェア システム 2026/07/12 ユーザの一人称視点データを、リアルタイムまたはバッチでAIが処理し、ユーザの体験を変えるサ ービスを開発してください。 ユーザが利用するフロントエンド、映像・音声等のデータを処理する解析基盤、AIと連携して処理 結果を返すバックエンドなどが連携した、一連のシステムを想定しています。 フロントエンドは、スマートフォンアプリ、Webアプリ、音声応答、TTS、チャットUI、地図、日 記、タイムライン、レポートなど、サービス体験に応じて自由に設計してください。 ©️福岡未踏的人材発掘・育成プロジェクト 1

マルチモーダルVLMと一人称視点で、 人の体験をAIネイティブに変えるサービス 本課題では、一人称視点で取得された映像・音声などのマルチモーダルデータを活用し、マルチモ ーダルVLMを用いたサービスとして動作するプロトタイプを開発してください。 必ずしもリアルタイム処理である必要はありません。リアルタイムにユーザへフィードバックする サービスでも、旅行・学習・スポーツ・作業などの体験後に、記録を整理・分析・生成するバッチ 型のサービスでも構いません。 スマートフォン、アクションカメラ、Webカメラ、スマートグラス、その他のウェアラブルデバイ スなど、開発したいサービスや体験に応じて選択してください。 ※協業先製品である首掛け型ウェアラブルデバイス「THINKLET」と関連ソフトウェア資産を利用することも可能です。 ただし、THINKLETの利用は必須ではなく、利用の有無が提案評価の加点要素になるわけではありません。 技術要件 【設計/要件】 • 一人称視点の映像・音声・センサーデータなどを取得、またはアップロードできる仕組み • 取得したデータを、VLMで扱いやすい単位に切り出す、要約する、構造化する仕組み • マルチモーダルVLM、音声認識、画像認識、LLMなどを組み合わせた解析処理の仕組み • 解析結果をユーザに返すTTS、Web画面などフロントエンドの仕組み 【その他、検討すべきこと】 • 地図サービス、SNS、カレンダー、写真アプリ、オフィスソフト、画像処理ソフトなどの外部サ ービスとの連携 • スマートホーム機器、自家用車、ウェアラブルデバイスなど外部ハードウェアとの連携 • 必要に応じたデータ保存、検索、再利用の仕組み 2026/07/12 ©️福岡未踏的人材発掘・育成プロジェクト 2

マルチモーダルVLMと一人称視点で、 人の体験をAIネイティブに変えるサービス 応募条件 一人称視点の映像・音声・センサーデータを使った新しいサービス開発に興味がある学生を歓迎し ます。個人での応募、チームでの応募のいずれも可能です。 応募時点で、完成したプロダクトや高度なAIモデルを持っている必要はありません。既存のVLM API、 LLM API、音声認識API、画像認識API、クラウドサービス、オープンソースソフトウェアなどを組み 合わせた提案でも構いません。 ただし、採択期間中に、ユーザが実際に触れることのできるプロトタイプを開発する意思があるこ とを求めます。アイデアだけで終わるのではなく、実際に一人称視点データを取得し、AIで処理し、 ユーザに価値を返すところまで挑戦してください。 扱うテーマは自由ですが、応募者自身が強い興味を持ち、実際のユーザや利用シーンを具体的に想 像できるものを歓迎します。 審査方法 2026/07/12 審査では、以下の観点を主軸に、応募者自身の着眼点、技術的な挑戦、実際に作って試そうとする 姿勢を総合的に重視します。 【WILL】応募者自身が対象テーマに強い興味関心を持っていること 【SKILL】本件に限らず、何らかのソフトウェアプロダクトの実装経験があること 【REAL】採択期間中に、実際の利用シーンを想定したプロトタイプとして、複数の人が体験できる 形まで実装できそうであること ©️福岡未踏的人材発掘・育成プロジェクト 3

マルチモーダルVLMと一人称視点で、 人の体験をAIネイティブに変えるサービス 採択後 採択後は、メンターや協力企業の支援を受けながら、提案したサービスのプロトタイプ開発を進め ます。 開発初期には、利用シーン、対象ユーザ、取得する一人称視点データ、利用するAI技術、プロトタ イプの到達目標を整理します。そのうえで、実際にデータを取得し、VLM等を用いた解析処理を実 装し、ユーザに結果を返す一連の体験を作り込みます。 必要に応じて、協業先製品である首掛け型ウェアラブルデバイス「THINKLET」の貸し出しや、技術 面・サービス設計面での助言を行います。ただし、THINKLETの利用は必須ではありません。開発し たいサービスに応じて、スマートフォン、アクションカメラ、スマートグラス、Webカメラなどを 自由に選択できます。 最終的には、動作するプロトタイプ、デモ、利用シーンの説明、技術構成、今後の発展可能性を示 してもらうことを想定しています。 2026/07/12 ©️福岡未踏的人材発掘・育成プロジェクト 4