空撮映像への3Dモデル重畳技術の開発

1K Views

May 16, 24

スライド概要

2024/4/18に実施されたHololab Conference 2024のセッションスライドです。

■セッションアーカイブはこちら
https://www.youtube.com/playlist?list=PLcIuMEVR3eYegP17SKG_UPgERmmGStEr_

ーーー
■公式HP
https://hololab.co.jp/

■公式Twitter
https://twitter.com/HoloLabInc

profile-image

ホロラボです Unityを使用したHoloLensのアプリ開発を中心にしています。 最近では建設業でのBIMデータ、製造業でのCAD データ、空間の3Dスキャン(点群データやメッシュデータ)も扱っています。 物理世界とデジタル世界をどのように連携するか。ということを日々考えています。

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

空撮映像への 3Dモデル 重畳技術の開発 西松建設株式会社 福井 亮介 様

2.

登壇者紹介 空撮映像への3Dモデル重畳技術の開発 • 簡単な紹介 東京電機大学大学院 工学研究科 先端機械工学専攻 修了 • 業務略歴 2022年 西松建設 入社 福井 亮介 様 西松建設株式会社 技術研究所 先端技術グループ • 主な業務など 研究開発 ・建設機械の自動化、無人化 ・最新技術を活用した開発業務 ・現場支援

3.

目次 空撮映像への3Dモデル重畳技術の開発 1.背景・目的 2.技術的課題とその解決策 3.検証内容 3-1.精度検証 3-2.所要時間の検証 3-3. XRデバイス活用効果の検証 4.まとめ・今後の展望

4.

1.背景・目的

5.

1.背景・目的 空撮映像への3Dモデル重畳技術の開発 CIM(Construction Information Modeling/Management)の3Dモデルを現況に ARで重ね合わせて施工イメージを共有する事例がある。効果として、早期の課題把握や改 善策の提案、施工の手戻りによる工程遅延の抑制につなげる しかし、現行の技術では、地上視点・移動範囲に制限があり、大型構造物の場合、現場全 景と合わせて確認することが難しい。また移動に時間がかかってしまうことが課題 自由視点からの3Dモデル表示 ドローンカメラの空撮映像によるAR表示 移動時間の削減 現況にデータ を合成 3Dモデル 引用:BIM/CIM HUB https://bimcim-hub.com/what-bimcim/ 現場

6.

1.背景・目的 空撮映像への3Dモデル重畳技術の開発 現行技術との比較 現行技術 本開発技術 デバイス (カメラ) 地上視点 引用:DJI 公式ウェブサイトhttps://www.dji.com/jp 空撮視点

7.

1.背景・目的 空撮映像への3Dモデル重畳技術の開発 本開発技術のイメージ ✓ 自由な位置・角度から3Dモデル表示可能 ✓ 一か所から複数個所の確認を行える 空撮視点① 現況 空撮視点③ 空撮視点② ドローン操縦者

8.

2.技術的課題とその解決策

9.

2.技術的課題とその解決策 空撮映像への3Dモデル重畳技術の開発 課題①:3DモデルのAR重畳方法 ARマーカーによる3Dモデル重畳(現行技術) ARマーカー作成 設置 マーカー読み込み 3Dモデル重畳 課題 ドローンのカメラで認識できる巨大なARマーカーを用意、現場に設置しなければならない ARマーカーを必要としないマーカーレス方式を採用

10.

2.技術的課題とその解決策 空撮映像への3Dモデル重畳技術の開発 課題①:3DモデルのAR重畳方法 マーカーレス方式 ビジョンベース 画像や空間・立体物などのオブジェクトを認識して、画面上に視覚情報を表示させる技術 問題点 ・画像認識を使ったVPS ⇒ ・高性能なLidarカメラが必要 ⇒ 運用コストが高い 距離・重量の問題がある ロケーションベース デバイスのGPSなどから取得した位置情報に紐付け、画面上に視覚情報を表示させる技術

11.

2.技術的課題とその解決策 空撮映像への3Dモデル重畳技術の開発 課題①:3DモデルのAR重畳方法 ロケーションベースのAR重畳に必要な情報 ⚫ 位置情報 ⇒GNSS ⚫ ドローンの姿勢・カメラの向き、角度 ⇒加速度・角速度センサー 相対測位 D-RTK2モバイルステーション (GNSS基準局) 3Dモデルの座標情報 ・GNSSの位置情報 ・ドローンの進行方向 ・カメラの方向,角度 RTKモジュール DJI Mavic3 DJI RC Pro 課題 高負荷な映像表示処理(レンダリング)を行うが必要がある 引用:DJI 公式ウェブサイトhttps://www.dji.com/jp GPUを内蔵したレンダリング専用PCで処理

12.

2.技術的課題とその解決策 空撮映像への3Dモデル重畳技術の開発 課題②:操作の複雑化 課題 ・重畳映像の確認や撮影、3Dモデルの切り替え ⇒ レンダリングPC ・ドローンの操縦、情報確認(バッテリー残量、飛行高度等)⇒ コントローラー ・ドローンの飛行状況の確認、周囲状況の安全確保 ⇒ 目視確認 ➢ 重畳映像の確認 ➢ 周囲状況の確認 ➢ ドローンのステータス情報 Trimble XR10 with HoloLens2 引用:ニコン・トリンブル 公式ウェブサイトhttps://www.nikon-trimble.co.jp/TrimbleXR10/

13.

2.技術的課題とその解決策 システム構成図 空撮映像への3Dモデル重畳技術の開発 クラウドサーバー 3Dモデル ドローン 内部情報 遠隔PC 操作 コントローラ GNSS基準局 レンダリングPC 引用:DJI 公式ウェブサイトhttps://www.dji.com/jp 引用:ニコン・トリンブル 公式ウェブサイトhttps://www.nikon-trimble.co.jp/TrimbleXR10/ XR10

14.

2.技術的課題とその解決策 空撮映像への3Dモデル重畳技術の開発

15.

3.検証内容 空撮映像への3Dモデル重畳技術の開発 完成モデルの共有 3Dモデルの切り替え 岩盤情報を確認 ⇒発注者、住民への説明 ダム堤体モデル ⇒調査データとの比較 岩盤区分モデル 仮設備の配置確認 ⇒配置・干渉チェック 切替自由 仮設備モデル

16.

3.検証内容

17.

3.検証内容 空撮映像への3Dモデル重畳技術の開発 3-1.精度検証 ・3Dモデルの重畳精度がどれほどであるのか ・ドローンホバリング時、移動時の重畳状況の確認 3-2.所要時間の検証 ・現行技術と比較し、所要時間がどれほど短縮されるか 3-3.XRデバイス活用効果の検証 ・操作の複雑化に対する有効性の確認

18.

3.検証内容 空撮映像への3Dモデル重畳技術の開発 3-1.精度検証 検証方法 ダム軸上の端点に,3Dモデルには四角錐マーカー(1.8m四方)、現地には対空標識(1.8m四方)を作成 ダム軸の端点位置の直上にドローンをホバリングさせ、重畳状況を確認する 現況 3Dモデル 四角錐マーカー (上面:1.8m四方) ダム軸の端点 マーカー設置状況 対空標識(1.8m四方)

19.

3.検証内容 空撮映像への3Dモデル重畳技術の開発 3-1.精度検証 検証結果 ◆ 四角錐マーカーと対空標識が重なることを確認 ◆ 精度が±0.3m程度であることを確認 GNSSで位置の補正を随時行っているため

20.

3.検証内容 空撮映像への3Dモデル重畳技術の開発 3-1.精度検証 検証結果 ◆ ホバリング時の3Dモデル重畳状況 モデル位置が設定座標から大きく離れることなく、空撮映像に表示され続けていた ドローンの飛行位置・高度を変更した場合でも、 空撮映像に対応して3Dモデルを表示することができた ◆ ドローン移動時の3Dモデル重畳状況 空撮映像と3Dモデルの位置にずれが生じ、重畳精度が大きく悪化した 原因 映像伝送速度とレンダリング速度の差により映像がずれが生じた

21.

3.検証内容 空撮映像への3Dモデル重畳技術の開発 3-2.所要時間の検証 ① 検証方法 ダム堤体 ④ ⑤ ①~⑤ 5箇所の地点の確認を 従来手法と本システムで実施 ⇒ 所要時間の比較を行う 所要時間=準備時間+実施時間 ◆ 確認するモデル(3種類) ② ③ ダム堤体 岩盤モデル 仮設備 現場 上空写真

22.

3.検証内容 空撮映像への3Dモデル重畳技術の開発 3-2.所要時間の検証 検証結果 ドローンの移動範囲: 徒歩の移動経路: ① ④ ① ④ ⑤ ⑤ 高低差 :約40m 総移動距離:約2.2㎞ ② ② 所要時間:約90分 ③ 所要時間:90分 ー 30分 = 60分短縮 ③ 所要時間:約30分 所要時間を1/3に短縮 ※検証現場での実測値

23.

3.検証内容 空撮映像への3Dモデル重畳技術の開発 3-2.所要時間の検証 インターネットを介したレンダリング画面の共有 ➢ 遠隔地との情報共有 無線通信 ➢ 操縦者への指示 ➢ 現地までの移動を削減 3Dモデル重畳映像 (レンダリングPC) Trimble XR10 インターネット通信 現場事務所 東京オフィス

24.

3.検証内容 空撮映像への3Dモデル重畳技術の開発 3-3.XRデバイス活用効果の検証 開発システムの現場検証 • 3Dモデルの重畳映像とドローンの操縦の同時操作 • ドローンのステータス情報、飛行位置、周囲状況の常時確認 操作の複雑化を解消し、有効性を確認

25.

4.まとめ・今後の展望

26.

4.まとめ・今後の展望 空撮映像への3Dモデル重畳技術の開発 まとめ 当社では、土木施工におけるCIM活用として、ドローンの空撮映像による 3Dモデル重畳技術の開発を行った これにより、視点位置の制限なく3Dモデルを全景と比較が可能となると同時に、 大幅な移動時間の削減にもつながった 課題 ドローン移動中の場合では、3Dモデル重畳映像が映像伝送速度とレンダリング速度の 差により空撮映像と3Dモデルの位置にずれが生じ、重畳精度が大きく悪化した

27.

4.まとめ・今後の展望 空撮映像への3Dモデル重畳技術の開発 今後の展望 課題であるドローン移動中の重畳精度を向上させるとともに、デジタル 情報を直感的に操作できるMR技術などを複合させたシステムを施工計画、 施工管理へ適応させる形で開発を進めていく さらに本技術は、地震や水害等の災害復旧工事における、ドローンを 使った遠隔での施工管理支援ツールとしても幅広い活用が期待でき、国 土強靭化に向けた取り組みを続けていく 今回は技術検証としての基本実装だったが、今後はサービスとしての展 開を目指し、更なる精度向上と、3Dモデルの登録・設定の仕組みやXR 連携アプリの操作性など、UI/UXのブラッシュアップを進めて行く

28.

ご清聴ありがとうございました