音場のリアルタイムAR/MR可視化システム「OTOMIRU」の話

8K Views

January 18, 22

スライド概要

Tokyo HoloLens ミートアップ vol.29のLT資料です。
音場をHoloLens2, iPadで可視化するシステムの紹介を行いました。

目次 :
- OTOMIRUとは
- コンサートホールでの活用事例
- システム解説
- Unity開発Tips
- 株式会社INSPIREIについて

イベントURL :
https://hololens.connpass.com/event/233613/

profile-image

音場を可視化するAR/MRシステムを開発しています ■ 株式会社INSPIREI 代表 ■ XRエンジニア(Unity、Web、インスタフィルター) ■ 早稲田大学 次席研究員 ■ 釣り人

シェア

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

音場のリアルタイムAR/MR可視化システム「OTOMIRU」 株式会社INSPIREI / 早稲田大学 井上 敦登 2022/1/19 1

2.

Introduction - 自己紹介 井上 敦登 (ID : @a_hancho) • 株式会社INSPIREI 代表 / エンジニア • 早稲田大学 研究院 客員講師 • LEGARE FIELD STAFF (釣具メーカーのテスター) 経歴 • 2018 早稲田大学 基幹理工学研究科 表現工学専攻 修了 • 2018~2020 株式会社カヤック • 2020~2021 フリーランス(MESON, Inc. など) • 2021~ 現職 Web/Unityエンジニア Unityエンジニア 🙏フォローお願いします🙏 2022/1/19 3

3.

Introduction - 今日のメインテーマ 🎖 XRKaigi2021 Award アプリケーション部門 優秀賞 🎖 InterNoise2021(国際騒音制御学会) I-INCE YOUNG PROFESSIONAL CONGRESS ATTENDANCE GRANTS 2022/1/19 4

4.

Introduction – 目次 1. OTOMIRUとは 2. コンサートホールでの活用事例 3. システム解説 4. Unity開発Tips 5. 株式会社INSPIREIについて 2022/1/19 5

5.

OTOMIRUとは 2022/1/19 6

6.

OTOMIRUとは 概要 • 飛島建設株式会社と早稲田大学の共同研究プロジェクト(特許出願中) • 音の強弱がHoloLens2やiPad上でリアルタイムに見えるシステム • 由来 : 音を見る → おとみる → 「OTOMIRU」 2022/1/19 7

7.

OTOMIRUとは 飛島建設株式会社 YouTubeチャンネル 2022/1/19 8

8.

OTOMIRUとは 音響工学 × AR/MRの先行事例 3D Scan Paint (Microflown) [1] ( ) [2] Project Acoustics (Microsoft) [2] 👉 「リアルタイムに実測した音場情報を可視化」はOTOMIRUが世界初!(のはず) 2022/1/19 [1] https://www.microflown.com/resources/videos/scan-paint-3d-via-microsoft-hololens [2] http://contents.acoust.ias.sci.waseda.ac.jp/publications/ACM/2018/SIGGRAPHASIA-kataoka-2018Dec.pdf [3] https://docs.microsoft.com/ja-jp/shows/Mixed-Reality/Using-Project-Acoustics-with-HoloLens-2 9

9.

コンサートホールでの活用事例 2022/1/19 10

10.

コンサートホールでの活用事例 演奏者10名のアンサンブル 渡邉紘STRINGS YouTubeチャンネル 演奏 : 渡邉紘STRINGS 様 2022/1/19 11

11.

システム構成 2022/1/19 13

12.

システム構成 16chマイクロホンアレイ → 計測システム 2022/1/19 14

13.

システム構成 計測システム → HoloLens2 2022/1/19 15

14.

システム構成 OTOMIRU v2 開発中! • より広範囲かつ自由に可視化範囲を決定 • 多彩な音場情報表現(VFXGraphとかつかうかも) • センサーの小型化 2022/1/19 16

15.

Unity開発Tips 2022/1/19 17

16.

Unity開発Tips Spatial Mappingの利用 • Spatial Mappingにマイクロホン位置からカラーマップ画像を投影 2022/1/19 18

17.

Unity開発Tips 数字オンリーキーボードの作成 • とにかく数値の設定が多いシステム • IPアドレス • 測定距離 • 計測速度 • バンドパスフィルター(周波数) • カラーレンジ(音圧レベル) …など • 作った理由 • スライダーだと細かい値が調整しにくい • デフォで出せるキーボードは必要ないキーが多い 2022/1/19 19

18.

Unity開発Tips 設計 • OTOMIRU開発で取り入れた考え方 • ドメイン駆動開発 • オニオンアーキテクチャ [4] • MVPパターン • 個人的な感想 • スパゲッティ化をふせげた • エンジニア同士のコミュニケーションが円滑になった • ExtenjectのおかげでHoloLensとiPadで異なる実装を、いい感じに入れ替えることができた 2022/1/19 [4] https://www.slideshare.net/torisoup/unity-148151736 20

19.

株式会社INSPIREIについて 2022/1/19 21

20.

株式会社INSPIREIについて 2021/3/21に株式会社インスピライをつくりました! • 理工学部教授・准教授とXRエンジニアで創設 • ひらめき「INSPIRATION」 + ドイツ語で工房を意味する「…REI(ライと読むらしい)」 2022/1/19 22

21.

株式会社INSPIREIについて 学術研究の社会実装 学術的知識 早稲田大学 基幹理工学部 表現工学科 及川研究室 2022/1/19 東京電機大学 未来科学部 情報メディア学科 池田研究室 開発サポート 23

22.

可視化システムの利用や開発など お気軽にご相談ください! HP :https://inspirei.co.jp/ E-mail : [email protected] 2022/1/19 24