複合活用が拓く3DGSの可能性 点群×写真×XR×AI - 測量･地理空間情報イノベーション大会 2026
605 Views
July 01, 26
スライド概要
関連スライド
各ページのテキスト
複合活用が拓く3DGSの可能性 点群✕写真✕XR✕AI 龍 lilea / ホロラボ
自己紹介 SNS OK 株式会社 ホロラボ 藤原 龍 Ryo FUJIWARA 龍 lilea OK 建築や空間の ビジュアライゼーションな人 X@lileaLab ⚫ 前職 2010年～ 鹿島建設Grアルモ設計 建築ビジュアライゼーション(CGパース/動画/AR/VR) 現職 2019年～ ホロラボ 空間情報技術(SIAR)チーム ⚫ 趣味/仕事 実空間を3Dデジタルアーカイブしてあれこれ活用 (フォトグラメトリ/3DGS/レーザースキャン) 2
Mixed Reality黎明期より蓄積した経験と実績 2018.11 JR東日本様 2018.3 NHK様 2019.5 2021.3 トヨタ自動車様 NTTドコモ＆森ビル様 2021.4 大林組様 2020.5 2021.1 2023.5 日建設計総合研究所様 主要な プロジェクト 2019.2 mixpace リリース パッケージ サービス HOLO-COMMUNICATION torinome TechniCapture 2023.10 Assists 手放しマニュアル 2017.1 創業 2017 2019.8 資金調達 2017.11 2018.7 資金調達 2018 2019 202２.１２ 2020 Copyright© HoloLab Inc. All rights reserved 2022 202４.4 2024 3
つくったもの 旧都城市民会館 VRAA Meetup会場 中銀カプセルタワービル 首里城復元プロジェクト 東京メトロ 車両 ビーナスフォート 二条城 唐門 博物館動物園駅 デジタル上野の杜 沖本家住宅 サントリーホール 国立科学博物館 東京メトロ 模擬駅 3Dデジタルアーカイブ かれこれ8年に 江戸東京たてもの園 子宝湯 ←VRワールドこちらで公開中！ 江戸東京たてもの園 前川邸 その他の事例集こちら！→ 5
事例 3Dデジタルアーカイブプロジェクト 国登録有形文化財 沖本家住宅 gluon様 国分寺市教育委員会様 日本の著名な近代建築でありながら、惜しくも解体を余儀なくさ れた旧都城市民会館と中銀カプセルタワービルを、3Dスキャン技 術を使い建物内外の3Dデータを取得、立体形状のデジタルアーカ イブとして保存を行った。※ホロラボは写真担当 国分寺市にある昭和初期に建てられた洋館と和館で構成された 建築物。 戦時中の跡も残るなど歴史的価値のある建築物となっている。 黒川紀章設計 中銀カプセルタワービル 菊竹清訓設計 旧都城市民会館 6/66
事例 東京メトロ7000系車両 3Dデジタルアーカイブ お台場 VENUSFORT AR/VR 東京メトロ様 お台場ヴィーナスフォートで実施する、AR体験とVR体験が融合する「XR空 間」体験提供の実証実験において開発協力を担当しました。 NTT ドコモ×森ビル様 引退した地下鉄車両を車体・車内・床下含め丸ごと3Dスキャンを行い 3Dモデルを制作。 引退記念コンテンツとして東京メトロ様の企画でNFTとして販売。 総合研修訓練センター 3Dデータ化 7/66
複合活用が拓く3DGSの可能性 点群✕写真✕XR✕AI 今回は「コンテンツ制作」とは別の視点で「業務改善」に関する提案。 プロトタイプのアプリの紹介。 3DGSデータだけではなく、各関連データや最新技術を組み合わせ用いていることで どういった事が可能になるのか。 ①3DGS＆写真ビューワー ②3DGS空間内キーワード検索 ③3DGS比較＆差分検出 8
①3DGS＆写真ビューワー https://youtu.be/vVYPA7slO4o 3DGS/写真データ 読み込み ↓ 3DGSで立体空間把握 ＋ 元写真で細部確認 9
①3DGS＆写真ビューワー https://youtu.be/JQBlNmO-uc4 空間全体の把握は3Dが直感的 しかし3DGSは細部の再現精度や落ちたり ノイズが発生してしまう事が 3Dと写真が両方同時に確認できる事でそれぞれのいいとこ取り 10
②3DGS空間内検索アプリ https://youtu.be/fMaR47e0vTw 3DGSデータ読み込み ※XGRIDS LCC2データにも対応 ↓ 3DGSで立体空間把握 ＋ 元写真で細部確認 ＋ 任意のキーワードで 空間内検索 機材：XGIRDS LixelKity K1 スキャン時間：3分47秒 11
②3DGS空間内検索アプリ 3DGSデータを読み込む ↓ ピンクのぬいぐるみ 黄色いチューリップ 自由なキーワードを入力し検索 ↓ 空間上のオブジェクトに3Dピンが立つ 写真上のオブジェクトに2Dピンが立つ ↓ 3Dピン/2Dピンをクリックすると該当部分にカメラが移動する ペットボトル 任意の言葉で 3DGS空間内を検索可能 12
③3DGS比較&差分検出アプリ 同じ場所で別の日のスキャンした3DGSデータの差分をハイライト表示 https://youtu.be/a80AyUePge0 2つの3DGS読み込み ※XGRIDS LCC2データにも対応 ↓ 自動位置合わせ ↓ 形状の差分表示(3D) 13
③3DGS比較&差分検出アプリ 同じ場所で別の日のスキャンした3DGSデータの差分をハイライト表示 https://youtu.be/a80AyUePge0 2つの3DGS読み込み ※XGRIDS LCC2データにも対応 ↓ 自動位置合わせ ↓ 形状の差分表示(3D) ＋ 見た目差分表示(2D) 14
③3DGS比較&差分検出アプリ データAを読み込む データBを読み込む AとBの位置と向きを自動位置合わせ 形状(3D) 比較する 見た目(2D) 比較する なくなった部分：赤色 増えている部分：緑色 変化のある部分：赤色 移動や変形の検出 汚れや割れの検出 15
Xynapse Hub (シナプス ハブ) [仮] XGRIDS LCCをエンタープライズに 完成されたサービスではなく、お客様に育てていただくシステム ブラウザで完結 LCC データを Web で閲覧・共有。 専用アプリの配布や端末セットアップ は不要。 国産でセキュリティも安心 ホロラボが開発・ホスト。 社内の取り扱い基準に合わせて運用。 絶賛開発中 / PoC募集中 ユースケースのご相談、お気軽にど うぞ。 現場の使い方を一緒に育ててください。 Copyright© HoloLab Inc. All rights reserved 16
複合活用が拓く3DGSの可能性 点群✕写真✕XR✕AI 今回紹介したプロトタイプアプリは活用の一例。他にもたとえば… ロボットやドローンなどで日常的に空間を自動スキャン ↓ 夜間などに自動で3DGS処理やキーワード検出 ↓ 翌日には検出結果が3Dと2Dで可視化 XGRIDSをロボットに搭載しスキャン 自動化など可能性は無限に！ ぜひ様々なアイデアお聞かせください！ このスライドは こちらで公開しました 展示もしてますので お気軽にお立ち寄り ください！ 17
その他関連資料 18
XGRIDS
XGRIDSとは XGRIDSは従来のハンドヘルド型点群スキャナーの機能に加え、 360 度カメラ搭載により歩き回るだけで3D Gaussian Splatting(3DGS)データを構築できる Multi-SLAM対応のハンディ3Dスキャナー。 ⾼画質3DGSを独⾃ソフトで簡単作成 LCCスタジオではワンステップで⾼画質3DGSを⽣成可能。 オプション機能では複数スキャンの合成、⾼画質カメラを使った画質向上、ドローン空撮写真との連携なども可能。 Multi-SLAMで⾼精度点群の取得が可能 LiDAR-SLAMとVisual-SLAMを⽤いたマルチスラムを採⽤。 複雑な空間でも正しくマッピングでき、⾼精度な点群が⽣成可能。 豊富なプラグインで様々なソフトと連携可能 ⽣成した3DGSは汎⽤ファイルの.plyや専用フォーマットの.lcc等に書き出し可能。 UnityやUnrealEngine、WebのSDKが公開されており独自にソフトウェア開発も。 LCC for RevitではAutodesk社のRevitと連携。 Lixel L2pro LixelKity K2 PortalCam
制作工程の違い ※フォトグラメトリの場合であっても破綻が少ない対象の場合は ここまで大きな差は出来ないので、あくまでこれは一例 XGRIDSスキャナは圧倒的に早い。 ただし盲目的に選択せずに、用途に応じて適した手段を選ぶ。 3DGSは描画負荷の高さやデータ汎用性の低さの課題はまだある。 21
XGRIDS 3DGS生成の特性 スキャン失敗例 なぜ穴が空いた…？ XGRIDSは初期点群の位置からのみSplatを生成する仕様のため。 しかしこれはとても合理的！ ◆ 一般的な3DGS ◆ XGRIDSの3DGS 写真の特徴点をベースにSplat生成 スキャン点群をベースにSplat生成 ↓ 正確な特徴点検出、正確なデプス計算が できないと、空中にもSplatが発生し フローターノイズとなる。 ↓ 空中に点群が生成される事は基本的には 無いので、フローターノイズを防げる。 そうした仕様のため、点群が取得されてい ない場所はSplatが生成されず穴が開く。 レーザーの照射方向、点群密度を意識する事が重要！！ 狭い通路部分で床に穴が空いてしまった 各スキャナの違いやスキャンテクニック などこちらにまとめました→ https://zenn.dev/hololab/articles/xgrids-how-to-scan
XGRIDS 3DGS生成の特性 広域モデル Lixel L2 Pro 120m / 300m 照射方向 直下以外270度 照射距離 小域モデル 中域モデル Lixel K2 照射距離 100m 照射方向 上方60度 往復推奨 PortalCam 照射距離 30m 照射方向 前方180度 往復必須
XGRIDS機材と各手法の比較 品質は良いけど コストはかかる 描画品質 ミラーレス + 地上型レーザー スキャナ ミラーレス XGRIDS PortalCam 360度カメラ ・ スマホ Scaniverse XGRIDS Lixel L2 Pro XGRIDS Lixel K2 品質はそこそこだが 機材費抑えられる 初期投資費用
XGRIDS機材と各手法の比較 品質は良いけど 手間と時間がかかる 描画品質 ミラーレス + 地上型レーザー スキャナ ミラーレス XGRIDS PortalCam 360度カメラ ・ スマホ Scaniverse XGRIDS Lixel L2 Pro XGRIDS Lixel K2 品質はそこそこだけど すばやく手軽に撮影できる スキャンの早さ
XGRIDS機材と各手法の比較 品質が高く 位置の正確性も高い 描画品質 ミラーレス + 地上型レーザー スキャナ ミラーレス XGRIDS PortalCam 360度カメラ ・ スマホ Scaniverse 広域ではズレに注意 XGRIDS Lixel L2 Pro XGRIDS Lixel K2 アライメント正確さ
点群活用 - 初期点群の置換
点群活用 - 初期点群の置換 3DGSは処理開始時に｢Initial Points｣という｢初期点群｣が使われる。 • 初期点群の位置を基準にSplatが生成/分割されていく • 初期点群がある事で処理時間も短縮される 初期点群 Splat 28/66
点群活用 - 初期点群の置換 通常の初期点群はSfM MVSによる特徴点の点群。 ※SfMとは、Structure from Motionの事で、写真の位置推定を行う仕組み ※MVSとは、Multi-View Stereoの事で、SfM結果の点群から高密度点群等を作る仕組み 写真の位置推定は、各写真に含まれる「特徴的な点」同士を紐づけて行われる。 この特徴点点群が3DGSの初期点群としても使われる。 しかしこれは点群の密度が十分ではない場合がある。 ※真っ白な壁など写真に特徴が少ない箇所には点群が生成されないなど なので… 29/66
点群活用 - 初期点群の置換 初期点群を自前で用意しちゃおう！ 通常の 初期点群 独自に用意した 高密度な初期点群 30/66
点群活用 - 初期点群の置換 初期点群は一般的な点群のフォーマット .ply points3D.bin .csv：カメラパラメーター .ply：特徴点点群 .out：カメラパラメーター ＋特徴点点群 31/66
点群活用 - 初期点群の置換 初期点群の用意の仕方は？ レーザースキャンを… 行なっている その点群をそのままplyに変換して利用 行なってない フォトグラメトリソフトでハイポリのメッシュを 生成しその頂点を点群として利用も可能！ 32/66
スマートフォン活用
前川國男邸3DDA Scaniverse活用 Scaniverseも活用！ 空間内に置かれている重要なわけではない小物たち。 黒電話 / トースター / ドアノブ etc. 空間全体が綺麗に生成できても、小物類を疎かにするとそれらの破綻により体験の質が下がってしまう。 じゃあ、 ⚫ 全てを詳細にフォトグラメトリ撮影していくか？ ⚫ 全てを丁寧にモデル修正するか？ それも高コスト… そこでScaniverse！ 34
前川國男邸3DDA Scaniverse活用 Scaniverseも活用！ ミラーレスカメラだと、トースターの裏や蛇口の下などカメラのボディが大きくてそもそも撮れない 薄く小さなiPhoneなら撮れる！ 金属部分も極端な破綻はなく生成できた スキャン時間も数分 35