城郭補間AI shiroformer -お城の点群データから超高精度で精密な３Dデータモデルを作る

城郭補間AI shiroformer -お城の点群データから超高精度で精密な ３Dデータモデルを作る 福岡未踏的人材発掘発掘・育成コンソーシアム第2期課題採択 九州大学工学部電気情報工学科 鴻上峻太朗・堀内勇吾・木下結雅

自己紹介 全員九州大学工学部電気情報工学科3年 堀内勇吾 宮崎出身 お城をこよなく愛するリー ダー。将棋とゲームとスポー ツも好き。 鴻上峻太朗 福岡出身 点群補完・各地の管理 団体様との交渉担当 お城や文化財の保全に 興味がある。 木下結雅 大阪出身 頼れる学習・推論担当。

きっかけと背景 リーダーの堀内:お城好き活かしたい 公開されているお城の3Dモデルが少ない!! (例:G空間情報センター 10件) お城の3Dモデルを大量生産できるようにしよう！

３Dデータを利用したい人が入力 写真・動画・点群データを入力

高精度な点群データの作成方法 • 深層学習をベースとした点群補完 （画像：Geminiで生成）

点群データをもとにしてユーザの欲しい形式で出力 ゲームクリエイター 研究者 点群データをアップロードしたユーザが 欲しい形式、適切なデータ量で出力(精度 の良い点群orメッシュorデータモデル） 市町村の観光課

点群補完AIの作成方法 • 事前学習済モデルを使用し、工程を簡略化 • 荒い点群と完全形状の点群が対になったデータセット • 上記二つを用意して事前学習済モデルに追加学習 （画像：Geminiで生成）

正解データの作成（進捗）

作成に当たってのツール選定 • nerfstudio • LumaAI

このプロジェクトがもたらす価値 01 02 災害や火災によって日本の歴史文化遺産が破壊される 0 前に簡単に高精度な３Dモデルを作ることができる国 産の技術を開発する 完全な城だけでなくすでになくなった天守閣を持つ城 などに対しても応用的に補間する。 03 「今そこにある文化財を、未来の世代にとって意味の あるかたちで正確に残す」という、文化財保護の本質 に対し、簡便で多くの人が利用可能である、新たなア プローチを提供する。

以降付録

城郭補完AI shiroformer 城郭補完AI shiroformer 01 見えない部分の補完 見えない部分の補完 見えない部分の補完 02 低予算で生成 3Dスキャンより低予算 見い部分の補完 見えない部分の補完 手軽に高精度 03

城郭補完AI shiroformer 01 見えない部分の補完 02 3Dスキャンより低予算 見い部分の補完 見えない部分の補完 03 手軽に高精度