20260911_3DGSのリアリティとAIの目

PR ES EN T AT ION TI T LE _ 3DGSのリアリティとAIの目 スマート眼鏡 & 3DGS Meetup in 鯖江 - LT・2026/09/11 01 ©TASCUBE

PROF ILE 自己紹介 masanaga / 長坂 匡幸 株式会社ホロラボ デザインエンジニア 個人でも日本各地で一眼カメラやスマホで3Dスキャンをし IMAG E / 図版 ている人。 X (T wi tter ) 02 えき べん3 Dミュ ージア ム ©TASCUBE

AI's E ye AIの目→物体認識から空間認識へ YOLOやSAMなどといった物体検出を行うAIは従来からあったが、キーワードによる抽出やオブジェ クト単体の理解が中心で、シーン全体の意味理を解訳ではなかった。 03 ©TASCUBE

04 ©TASCUBE

W ha t i s A str a d oi n g ? Astraには何が見えているのか IMAG E / 図版 Astraに、Blenderに配置した3DGSデータ「目視」させ、 何が見えているかを聞いてみた。 個別の物体の説明でなく、シーン全体からそれぞれの関連 性を導き出して何が写っているかを理解している。 05 ©TASCUBE

TR A N SF O RM A T IO N 3DGSの現実再現とAIの認識能力 物体認識専用のモデルに比べると性能が高い訳ではないが「賢さ」が加わることで、空間の認識能力 や文脈理解が深まる。 知識 賢さ 学習した情報量が需要 知識から物事の関連性を導き出す力 人間への応答 人間からの投げ掛けに意味理解をする 空間理解 知識と賢さを使って物事を把握し目の前の 情報を整理する力 09 ©TASCUBE

EXSAMPLE Astraによる空間理解と作業の手 AIの手としてのMCP。Astraに「Blenderに配置した3DGSをベースにモデリングして」と依頼してポン出しで出来 た3Dモデル。もちろん完璧ではないが、よく観察しているのがわかるモデルが出来上がった。 変更前 06 ©TASCUBE

EXSAMPLE Astraによる空間理解と作業の手 内装もモデリングさせてみた。左はポン出し。造形は甘いが構成要素は十分足りている。右は「よく観察して」と 言ってさらにモデリングさせたもの。ポン出しが正解ではないことを伝えて何が違うのかを観察させた。 変更前 06 ©TASCUBE

EXSAMPLE Astraによる空間理解と作業の手 具体的に何をどう観察しているのか？下の画像はプロジェクトフォルダに保存されていた3DGSの三面図と2D断面 図。モデリングを行う際に「計測をして」と言っていたので、独自に作図して計測を行なっていた。 変更前 06 ©TASCUBE

なんだか AIすごいって話になっている気がしますが… 08 ©TASCUBE

E S SE N C E 3DGSのリアリティあってのAIの目 これまでAIによる「検出」という機能でしかなかった画像認識が、賢さが加わることで空間の認識や 文脈の理解へと広がった。 3DGSによるリアリティある3D空間再現が、AIの現実世界を理解するためには重要になる。 09 ©TASCUBE

ありがとう ございました ©TASCUBE