音場のリアルタイムAR/MR可視化システム「OTOMIRU」の話

スライド概要

Tokyo HoloLens ミートアップ vol.29のLT資料です。
音場をHoloLens2, iPadで可視化するシステムの紹介を行いました。

目次 :
- OTOMIRUとは
- コンサートホールでの活用事例
- システム解説
- Unity開発Tips
- 株式会社INSPIREIについて

イベントURL :
https://hololens.connpass.com/event/233613/

profile-image

井上敦登(はんちょう)

@a_hancho

作者について:

音場を可視化するAR/MRシステムを開発しています ■ 株式会社INSPIREI 代表 ■ XRエンジニア(Unity、Web、インスタフィルター) ■ 早稲田大学 次席研究員 ■ 釣り人

スライド一覧
シェア
埋め込む»CMSなどでJSが使えない場合

公開日

2022-01-18 15:52:00

各ページのテキスト

1. 音場のリアルタイムAR/MR可視化システム「OTOMIRU」 株式会社INSPIREI / 早稲田大学 井上 敦登 2022/1/19 1

2. Introduction - 自己紹介 井上 敦登 (ID : @a_hancho) • 株式会社INSPIREI 代表 / エンジニア • 早稲田大学 研究院 客員講師 • LEGARE FIELD STAFF (釣具メーカーのテスター) 経歴 • 2018 早稲田大学 基幹理工学研究科 表現工学専攻 修了 • 2018~2020 株式会社カヤック • 2020~2021 フリーランス(MESON, Inc. など) • 2021~ 現職 Web/Unityエンジニア Unityエンジニア 🙏フォローお願いします🙏 2022/1/19 3

3. Introduction - 今日のメインテーマ 🎖 XRKaigi2021 Award アプリケーション部門 優秀賞 🎖 InterNoise2021(国際騒音制御学会) I-INCE YOUNG PROFESSIONAL CONGRESS ATTENDANCE GRANTS 2022/1/19 4

4. Introduction – 目次 1. OTOMIRUとは 2. コンサートホールでの活用事例 3. システム解説 4. Unity開発Tips 5. 株式会社INSPIREIについて 2022/1/19 5

5. OTOMIRUとは 2022/1/19 6

6. OTOMIRUとは 概要 • 飛島建設株式会社と早稲田大学の共同研究プロジェクト(特許出願中) • 音の強弱がHoloLens2やiPad上でリアルタイムに見えるシステム • 由来 : 音を見る → おとみる → 「OTOMIRU」 2022/1/19 7

7. OTOMIRUとは 飛島建設株式会社 YouTubeチャンネル 2022/1/19 8

8. OTOMIRUとは 音響工学 × AR/MRの先行事例 3D Scan Paint (Microflown) [1] ( ) [2] Project Acoustics (Microsoft) [2] 👉 「リアルタイムに実測した音場情報を可視化」はOTOMIRUが世界初!(のはず) 2022/1/19 [1] https://www.microflown.com/resources/videos/scan-paint-3d-via-microsoft-hololens [2] http://contents.acoust.ias.sci.waseda.ac.jp/publications/ACM/2018/SIGGRAPHASIA-kataoka-2018Dec.pdf [3] https://docs.microsoft.com/ja-jp/shows/Mixed-Reality/Using-Project-Acoustics-with-HoloLens-2 9

9. コンサートホールでの活用事例 2022/1/19 10

10. コンサートホールでの活用事例 演奏者10名のアンサンブル 渡邉紘STRINGS YouTubeチャンネル 演奏 : 渡邉紘STRINGS 様 2022/1/19 11

11. システム構成 2022/1/19 13

12. システム構成 16chマイクロホンアレイ → 計測システム 2022/1/19 14

13. システム構成 計測システム → HoloLens2 2022/1/19 15

14. システム構成 OTOMIRU v2 開発中! • より広範囲かつ自由に可視化範囲を決定 • 多彩な音場情報表現(VFXGraphとかつかうかも) • センサーの小型化 2022/1/19 16

15. Unity開発Tips 2022/1/19 17

16. Unity開発Tips Spatial Mappingの利用 • Spatial Mappingにマイクロホン位置からカラーマップ画像を投影 2022/1/19 18

17. Unity開発Tips 数字オンリーキーボードの作成 • とにかく数値の設定が多いシステム • IPアドレス • 測定距離 • 計測速度 • バンドパスフィルター(周波数) • カラーレンジ(音圧レベル) …など • 作った理由 • スライダーだと細かい値が調整しにくい • デフォで出せるキーボードは必要ないキーが多い 2022/1/19 19

18. Unity開発Tips 設計 • OTOMIRU開発で取り入れた考え方 • ドメイン駆動開発 • オニオンアーキテクチャ [4] • MVPパターン • 個人的な感想 • スパゲッティ化をふせげた • エンジニア同士のコミュニケーションが円滑になった • ExtenjectのおかげでHoloLensとiPadで異なる実装を、いい感じに入れ替えることができた 2022/1/19 [4] https://www.slideshare.net/torisoup/unity-148151736 20

19. 株式会社INSPIREIについて 2022/1/19 21

20. 株式会社INSPIREIについて 2021/3/21に株式会社インスピライをつくりました! • 理工学部教授・准教授とXRエンジニアで創設 • ひらめき「INSPIRATION」 + ドイツ語で工房を意味する「…REI(ライと読むらしい)」 2022/1/19 22

21. 株式会社INSPIREIについて 学術研究の社会実装 学術的知識 早稲田大学 基幹理工学部 表現工学科 及川研究室 2022/1/19 東京電機大学 未来科学部 情報メディア学科 池田研究室 開発サポート 23

22. 可視化システムの利用や開発など お気軽にご相談ください! HP :https://inspirei.co.jp/ E-mail : info@inspirei.co.jp 2022/1/19 24