20230210_群馬産業技術センター

製造業や建設業で利用できる AR/MRサービスのご紹介 2023年02月10日群馬産業技術センター株式会社ホロラボ代表取締役 CEO 中村薫

会社概要株式会社ホロラボ事業内容 HoloLensやWindows MRなどxR技術やセンサー技術に関する・システム/アプリケーションの企画開発・調査研究・普及啓発活動設立 2017/01/18 住所東京都品川区西五反田2-25-1 インテックス五反田ビル3F 資本金 96,940,000円取締役 5名従業員 60名 Web https://hololab.co.jp/ Copyright© HoloLab Inc. All rights reserved

https://hololab.co.jp/

3.

自己紹介 – ホロラボ代表取締役 CEO 中村薫・株式会社ホロラボ代表取締役 CEO (2017 - ) ・XRコンソーシアム理事 (2020 - ) ・Microsoft Regional Director (2020 - 2023) ・Microsoft ・Microsoft ・Microsoft ・Microsoft MVP MVP MVP MVP for Mixed Reality(2022 - 2023) for Windows Development(2016 - 2022) for Kinect for Windows (2014 - 2016) for Visual Studio ALM(2012 - 2014) 来歴・Windowsアプリおよび組み込み系ソフトウェア開発会社勤務時に Microsoft社の開発した3Dセンサー「Kinect」の魅力に出会い独立。センサー関連の開発から、執筆、登壇活動などを個人事業として取り組む。・技術コミュニティTMCNの立ち上げに参加し、その場での出会いから 2017年、ホロラボの設立に至る。著作・HoloLens 2 入門 (2020 日経BP) ・Kinect for Windows SDKプログラミング V2センサー対応版 (2015 秀和システム) Copyright© HoloLab Inc. All rights reserved など

4.

5.

Mixed Reality黎明期より蓄積した経験と実績 2018.11 JR東日本様 2018.3 NHK様 2019.5 トヨタ自動車様 20２０.12 三菱重工グループ様 2021.3 NTTドコモ＆森ビル様 2021.4 大林組様主要なプロジェクトパッケージサービス 2021.1 2020.5 2019.2 mixpace リリース HOLO-COMMUNICATION HoloRemote TechniCapture 手放しマニュアル 2017.1 ニュース創業 2017 2019.8 資金調達 2017.11 2020.9 2018.7 資金調達 2018 2019 2020 Copyright© HoloLab Inc. All rights reserved 2021 2022

6.

7.

部屋から地球へ部屋→フロア→ 建物 → 街区 → 地域 → 都市 → 国 → 地球 Room→Floor → Building → Block→ Area → City → Country → Earth Copyright© HoloLab Inc. All rights reserved https://www.geospatial.jp/ckan/dataset/plateau-tokyo23ku-fbx-2020/resource/761a0bdf-fd8a-46f7-8325-c483887e2b9b

https://www.geospatial.jp/ckan/dataset/plateau-tokyo23ku-fbx-2020/resource/761a0bdf-fd8a-46f7-8325-c483887e2b9b

8.

9.

10.

MR(Mixed Reality) Mixed Reality (MR) Real Environment Augmented Reality (AR) https://en.wikipedia.org/wiki/Mixed_reality Augmented Virtuality (AV) Copyright© HoloLab Inc. All rights reserved Virtual Environment

https://en.wikipedia.org/wiki/Mixed_reality

11.

12.

13.

14.

15.

ホロラボのMRパッケージシリーズ名称 mixpace HoloMaps HOLOCOMMUNICATION TechniCapture 手放しマニュアル HoloRemote 建築業・土木業・製造業都市開発業・建設業通信業製造業製造業製造業・通信業イメージ業種概要・3Dデータ活用支援・デジタルツイン基盤・PLATEAU互換・3Dコミュニケーション・技能継承支援・手指、視線、音声の記録・オフライン動作・現場作業支援・マニュアルのAR化・オフライン動作・リアルタイムコミュニケーション・映像と音声と空間指示シナリオ・シミュレーション・デザイン&試作・販売支援・データ重畳・3D可視化・GIS対応・各種シミュレーション・リッチなコミュニケーション・リモート支援 (空間伝送) ・ガイド&タスクマネジメント・トレーニング・ガイド&タスクマネジメント・トレーニング・遠隔支援、遠隔臨場 Copyright© HoloLab Inc. All rights reserved https://hololab.co.jp/service/

https://hololab.co.jp/service/

16.

17.

mixpace （ミクスペース）のご紹介 BIM／CIM／3D CADファイルのAR/MRみえる化ソリューション • mixpaceはBIM／CIM／3D CADで作成した設計データを自動でAR／MR 用データに変換してHoloLens 2 ・iPadで表示する、建築業・土木業・製造業向けのみえる化ソリューションです。 • シンプルな手順でリアルな空間にバーチャルなオブジェクトを重ね合わせて、レビュー・検証・デモなどの用途に活用いただけます。国土交通省の新技術情報提供システム（NETIS）に登録済み NETIS登録番号：KT-220166-A 19 https://mixpace.jp/

https://mixpace.jp/

18.

mixpaceによるデータ変換 • mixpaceにより、Revitなどのファイルをアップロードするだけで、HoloLensや iPadで利用可能 Web ブラウザクラウド mixpaceアプリ 3DCAD/BIMデータ変換済3Dモデルアップロードダウンロード HoloLens 2 Microsoft Azure Azure ADで管理された ID・パスワードでログイン 3DCAD/BIMデータ変換変換済3Dデータ管理 Copyright© HoloLab Inc. All rights reserved GLB iPad

19.

mixpaceによるデータ変換様々なBIM(建築・土木)、CAD(機械・設備)、CGファイル形式に対応拡張子対応ソフトウェア分野 rvt Autodesk Revit 建築 ifc 一般的なBIMソフトウェア建築・土木拡張子対応ソフトウェア x_t / x_b Dassault Systèmes SolidWorks など機械・設備 Dassault Systèmes CATIA V5パーツファイル設備 nwd Autodesk Navisworks 土木 CATPart skp Trimble SketchUp など建築 f3d Autodesk Fusion 360 設備 vue Intergraph Smart3D など設備 3dm Robert McNeel & Associates Rhinoceros 3D 建築 dwg Autodesk AutoCAD など機械・設備 fbx 一般的なCGソフトウェア CG dxf Autodesk AutoCAD など機械・設備 obj 一般的なCGソフトウェア CG iges / igs 一般的なCADソフトウェア機械・設備 3ds Autodesk 3ds Max など CG step / stp 一般的なCADソフトウェア機械・設備 max Autodesk 3ds Max など CG jt ※ .rvt / .ifc / .nwdファイルは「standard + R」プランのみ対応 Copyright© HoloLab Inc. All rights reserved Siemens Software NX など機械

20.

21.

https://prtimes.jp/main/html/rd/p/000000077.000023638.html

22.

建築BIM加速化事業 • mixpace が建築BIM加速化事業の「補助対象ソフトウェア」になりました。引用：国土交通省建築BIM加速化事業について（令和4年12月） Copyright© HoloLab Inc. All rights reserved https://bim-shien.jp/wp-content/uploads/2023/01/R4-5_bim_kasokuka.pdf https://bim-shien.jp/wp-content/uploads/2023/01/R4-5_bim_soft_230127.pdf

23.

24.

25.

26.

https://prtimes.jp/main/html/rd/p/000000057.000023638.htm

27.

mixpace - BIM 360 連携 • 建設業の場合はBIM 360がデータのハブになるため、BIM 360と連携することで日常業務の延長としてAR/MRの利用が可能になる • BIM 360から直接変換することで、変換ファイルの間違いをなくす • Revitファイルを編集なしに、そのままHoloLensまで持ち込む変換 Autodesk Revit 日常業務の中での Revitデータのパブリッシュ Autodesk BIM 360 Copyright© HoloLab Inc. All rights reserved 日常業務の延長での AR/MR活用

28.

データ変換工程の比較従来 Autodesk BIM 360 BIM 360 連携 Autodesk BIM 360 Revitなどのファイル(rvt)を手動でダウンロード Autodesk Revit ファイル Revitなどのファイル(rvt)を手動でアップロード BIM 360より mixpace対応データを直接取り込み Copyright© HoloLab Inc. All rights reserved AR/MR 活用 AR/MR 活用

29.

30.

mixpace Remote Rendering(mRR) • HoloLens 2単体では難しかった100万～1億ポリゴンクラスの3Dモデルの表示が可能になりました • mixpaceを通すことで、3D CAD/BIMファイルからAzure Remote Renderingまでシームレスに連携 mixpace PC mRRアプリ Azure クラウド HoloLens 2 Remote Rendering データ変換アップロード (ボタン操作) レンダリング Microsoft Azure GLB Copyright© HoloLab Inc. All rights reserved https://prtimes.jp/main/html/rd/p/000000047.000023638.html • ハイポリゴン3Dモデルの AR/MR表示

https://prtimes.jp/main/html/rd/p/000000047.000023638.html

31.

HoloLensで取り扱い可能な3Dモデルのポリゴン数 HoloLens単体でのレンダリング Azure Remote Rendering Standard Azure Remote Rendering Premium 30万ポリゴン前後 2000万ポリゴン未満 2000万ポリゴン以上建築構造 + 設備 1000万ポリゴン土木橋梁 3000万ポリゴン Copyright© HoloLab Inc. All rights reserved

32.

33.

https://prtimes.jp/main/html/rd/p/000000073.000023638.html

34.

35.

36.

施工管理業務アプリ「holonica™」 • 設計情報確認、検査記録作成といった施工管理業務を効率化 • 仕上げ検査業務における効果を確認 • 従来の紙図面を使った仕上げ検査と比較して約30％の時間を短縮 Copyright© HoloLab Inc. All rights reserved https://www.obayashi.co.jp/news/detail/news20210419_2.html Pilot

https://www.obayashi.co.jp/news/detail/news20210419_2.html

37.

施工管理業務アプリ「holonica™」 Pilot • 仕上げ検査業務において、従来の紙図面を使った仕上げ検査と比較して約30％の時間を短縮検査業務従来の紙図面検査箇所の確認紙図面に記入 holonica™ 検査箇所の確認 holonica™ に記録是正確認業務検査箇所に付箋でしるし是正箇所の確認紙図面に記入是正箇所の確認 holonica™ に記録 Copyright© HoloLab Inc. All rights reserved 是正箇所の付箋を除去

38.

39.

mixpace を利用した試行 PoC • 目的 • 大和ハウス工業株式会社では、デジタルコンストラクションの一環として、XR技術を活用した設計・施工・維持管理業務の効率化、高品質化に取り組んでいます。 • 今回の試行では、設計業務への活用を前提とし、mixpaceを活用した設計情報の確認手法について以下の検証を行いました。 • 位置合わせの精度確認 • 設計変更内容の比較確認 • リモートレンダリングによる大容量モデルの確認 • mixpaceの期待値 • BIMモデルからMRモデルへの変換の容易さ（BIM360との連携により操作性が向上している） • 位置合わせの正確性、操作性の向上 • マテリアル表現の向上 • 手順 • BIM 360 → mixpace → Azure Remote Rendering Copyright© HoloLab Inc. All rights reserved

40.

41.

42.

43.

遠隔臨場およびCIMデータの活用 PoC • 2021年4月に開所した「関東DX・i-Construction人材育成センター」に mixpaceおよびmixpace Remote Renderingを提供 • BIM/CIM活用やICT施工普及促進、データ・デジタル技術の知識習熟等の人材育成 • Microsoft Dynamics 365 Remote Assistとの併用で遠隔臨場をデモ • mixpace Remote Renderingで鉄筋入りの橋梁データ表示をデモ Copyright© HoloLab Inc. All rights reserved

44.

45.

協力会社と配筋作業の打ち合わせ「CIMモデルをmixpaceでMR用に変換し、タブレット端末の画面を通して現場の鉄筋を見ます。すると実物の鉄筋と、鉄筋のCIMモデルが重なって見えるので、配筋が設計通りでないところは一目でわかります」「建設ITワールド」の記事より引用 Copyright© HoloLab Inc. All rights reserved https://ken-it.world/success/2021/09/construction-dx-in-jdc-corp.html

https://ken-it.world/success/2021/09/construction-dx-in-jdc-corp.html

46.

47.

https://mixpace.jp/blog/20220301/

48.

49.

https://mixpace.jp/blog/20220106/

50.

51.

TechniCapture ～技術継承 1. 作業者の手、指、頭の動きと、視線、音声を空間記録して再生します・HoloLens 2着用者の手・指・頭の動き、目線を3Dで空間記録・記録したモーション、目線や音声は空間で再生・記録する空間の基準点を設定可能 https://hololab.co.jp/technicapture/ Copyright© HoloLab Inc. All rights reserved https://youtu.be/vy3tgmOvnVI

52.

53.

54.

55.

手放しマニュアル～MR手順書 1. マニュアルを空間に表示して、MRデバイス着用者の作業支援・HoloLens 2着用者の周辺にマニュアルをMR表示・テキスト・画像・動画に対応・目線操作により進行完全フリーハンド・Excelによるオーサリング・ユーザーログの出力 Copyright© HoloLab Inc. All rights reserved https://hololab.co.jp/tebanashimanual/ https://youtu.be/4rByM20iNLM

56.

57.

58.

59.

60.

HoloRemote - 遠隔支援システム 1. HoloLens 2カメラ映像を遠隔地のPCから参照＋音声通話・HoloLens 2とPCの間で遠隔通信(映像・音声) ・PC側はブラウザ動作インストール不要 ※要インターネット接続・1契約あたり最大5接続まで・遠隔地映像に PCから書き込み可能 Copyright© HoloLab Inc. All rights reserved https://hololab.co.jp/holoremote/

https://hololab.co.jp/holoremote/

61.

62.

63.

64.

65.

Photogrammetry vs Laser Scan比較 ① レーザースキャンのみ ② フォトグラメトリのみメリット・広域でも誤差を抑えられ精度の高いメッシュ生成可能・真っ白な壁等、特徴の無い面もスキャン可能 ※注意点・テクスチャはレーザースキャナのカメラ性能依存のため低品質・スキャン地点の足元や周辺にサークル状の模様が発生・細部の死角なくスキャンするには膨大な時間が必要メリット・写実的なテクスチャ表現・死角なくディテールを捉えた形状の生成が可能 ※注意点・広域となると誤差が嵩む・真っ白な壁等、特徴の無い面の生成が不得手 Copyright© HoloLab Inc. All rights reserved

66.

Photogrammetry & Laser Scan合成 ③ レーザースキャン＋フォトグラメトリメリット・レーザースキャンとフォトグラメトリの不得手とする箇所をお互いに補完・双方のメリットを活かしたモデルを生成 ④ レーザースキャン＋フォトグラメトリ＋モデル整備メリット・レーザースキャンとフォトグラメトリ双方で不得意とする、透明、反射、細い、薄い部材で発生する破綻部を修正する事で整ったモデルとなる・利用デバイスや用途に応じてモデルを軽量、最適化行いスムーズに描画可能 Copyright© HoloLab Inc. All rights reserved

67.

68.

https://www.tokyometro.jp/news/2023/214376.html

69.

70.

ドコモXR Cityリリース • 2022/７/１４サービスイン • 全国7か所で体験可能 • ホロラボは2つの側面で参加 • コンテンツパートナー • サービス開発パートナー XR City Concept Movie https://prtimes.jp/main/html/rd/p/000000070.000023638.html Copyright© HoloLab Inc. All rights reserved

71.

ARクラウドプラットフォーム開発 • NTTドコモ様ARクラウドサービスの開発支援 • VPS (Visual Positioning System)を使ったCPS(Cyber-Physical Space)を繋ぐプラットフォームサービスの試作開発 (R&D段階) • プレス発表リンク • クロスプラットフォーム • VPSによる外部位置補正 • docomo Open House 2020 • 試作コンテンツ展示 • docomo Open House 2021 • オーサリングツール発表 • 大規模VPS実装 • 展示紹介リンク(要登録) Copyright© HoloLab Inc. All rights reserved

72.

73.

PLATEAU • PLATEAUとは • 国土交通省が主導する、日本全国の3D都市モデルの整備・活用・オープンデータ化プロジェクト • 誰もが自由に都市のデータを引き出し活用できる • 特徴 • 3DCGだけでなく、データ環境などがよく整備されている • ビューワーの出来が良いユースケース開発やハッカソンなど広く多面的な普及活動が行われている • シンプルにカッコいい Copyright© HoloLab Inc. All rights reserved https://www.mlit.go.jp/plateau/

https://www.mlit.go.jp/plateau/

74.

ホロラボでのPLATEAUの取り組み(1) • 2022年度プロジェクト「民間サービス創出型ユースケース開発」として、ホロラボと東京都立大学饗庭伸研究室(都市計画・まちづくり)が企画提案した「市民参加型都市開発を実現する直感的な情報共有プラットフォーム企画開発」が採択されました。 Copyright© HoloLab Inc. All rights reserved https://prtimes.jp/main/html/rd/p/000000066.000023638.html

https://prtimes.jp/main/html/rd/p/000000066.000023638.html

75.

ホロラボでのPLATEAUの取り組み(2) • 2022年度プロジェクト「社会課題解決型ユースケース開発」の「自動運転車両の自己位置推定精度の向上及び有効性の検証」として凸版印刷株式会社が採択されたプロジェクトの技術支援を行っています。 Copyright© HoloLab Inc. All rights reserved https://prtimes.jp/main/html/rd/p/000000074.000023638.html

https://prtimes.jp/main/html/rd/p/000000074.000023638.html

76.

部屋から地球へ部屋→フロア→ 建物 → 街区 → 地域 → 都市 → 国 → 地球 Room→Floor → Building → Block→ Area → City → Country → Earth Copyright© HoloLab Inc. All rights reserved https://www.geospatial.jp/ckan/dataset/plateau-tokyo23ku-fbx-2020/resource/761a0bdf-fd8a-46f7-8325-c483887e2b9b

https://www.geospatial.jp/ckan/dataset/plateau-tokyo23ku-fbx-2020/resource/761a0bdf-fd8a-46f7-8325-c483887e2b9b

77.

https://hololab.co.jp/#contact

https://hololab.co.jp/#contact

20230210_群馬産業技術センター

中村薫

関連スライド

Magic Leap 2 はいいぞ

Magic Leap 2概要

20220722 XR転職会

建設業の外から見るBIMの景色

Unity道場ホロラボ中村

20231212_建設業のWell BeingとARVR

各ページのテキスト

20230210_群馬産業技術センター

中村薫

関連スライド

Magic Leap 2 はいいぞ

Magic Leap 2概要

20220722 XR転職会

建設業の外から見るBIMの景色

Unity道場 ホロラボ中村

20231212_建設業のWell BeingとARVR

各ページのテキスト

Unity道場ホロラボ中村