XR領域のサウンド技術 - XRミートアップ三重 #3

4.2K Views

October 01, 22

スライド概要

2022/10/01に三重大学で開催されたIT講習会「XRミートアップ三重 #3」での講演資料です。

profile-image

VR音響に魅せられたオーディオプログラマー。#TopazChat 開発運営。

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

XR領域のサウンド技術 XRミートアップ三重 2022/10/01 吉高 弘俊

2.

自己紹介 吉高 弘俊(よしたか ひろとし) VRサウンドプログラマー 三重大学工学部情報工学科 2012年3月卒 Twitter: @tyounanmoti

3.

自己紹介 吉高 弘俊(よしたか ひろとし) 株式会社CRI・ミドルウェア 株式会社エクシヴィ フリーランス アルテマ・エンターテインメント株式会社

4.

目次 ● ● ● ● XR領域におけるサウンドの重要性 XRサウンドの現状と将来 どのような人材が活躍しそうか? 三重大学で学んだこと

5.

サウンドはどう重要なのか?

6.

物理空間におけるサウンドの重要性 ● ● ● ● ● ● 会話、コミュニケーション、音声案内 人の気配や危険の察知 空間把握 音楽など文化風俗、エンターテインメント 操作に対するフィードバック アラームなどの通知音 などなど…

7.

物理空間におけるサウンドの重要性 ● ● ● ● ● ● 会話、コミュニケーション、音声案内 人の気配や危険の察知 空間把握 音楽など文化風俗、エンターテインメント 操作に対するフィードバック アラームなどの通知音 XR領域でも同じ! などなど…

8.

XR領域でのサウンド利用例(e-Sports射撃ゲーム) ● ● ● ● ● ● ● ボイスチャット :会話やコミュニケーション 足音、衣擦れ音 :気配の察知、自己の身体感覚 銃声 :危険察知 残響、環境音 :空間把握 音楽 :エンターテインメント、感情の誘導 画面操作音 :操作へのフィードバック 通知音 :試合終了などの状況把握

9.

XRサウンドの現状

10.

XR機材の音響装備 ステレオヘッドホン準拠 画像: https://www.meta.com/jp/quest/products/quest-2/

11.

XRサウンドの技術的制約 ● ソフトリアルタイムである ○ 時間内に処理が終わらない → 音が途切れる ● ハードウェア的制約 ○ ほぼ全ての計算リソースがグラフィックスへ ○ スタンドアロン化でモバイル&バッテリー消費 ● ビジネス的制約 ○ アプリ容量はできるだけ小さく

12.

「物理空間と同じように」聴こえるには? ● ● ● ● 音源位置の知覚 空間の知覚 音速・ドップラー効果 音量

13.

音源位置の知覚:「音源」と「音像」 ? 音源 音像

14.

音源位置の知覚:音像定位 どうやって左右を聞き分けている? ● 両耳間時間差:両耳が離れているため ● 両耳間音量差:音波が頭部によって回折するため ただし、上下と前後で「コーン状の混同」が生じる

15.

音源位置の知覚:音像定位 外耳への入射角によってフィルターがかかる → これを再現する=立体音響

16.

音源位置の知覚:立体音響 外耳+頭部の影響による周波数フィルター=頭部伝達関数 左耳の音声 モノラル音声 頭部伝達関数 右耳の音声 どの角度から入射した? 距離はどれくらい?

17.

音源位置の知覚:距離の推測 明確にはわかっていないことが多い ● ● ● ● 近距離:頭部伝達関数の変化 遠距離:音量差、反射音の変化 経験的なもの 視覚との連携

18.

空間の知覚:遮蔽・透過・回折 遮蔽 透過 回折

19.

空間の知覚:初期反射音・残響音 直接音 (初期)反射音 後期反射音、残響音

20.

ゲームエンジンとサウンドミドルウェア ● ゲームエンジン ○ Unity ○ Unreal Engine 5 ● ゲーム開発での共通部分を提供 ○ マルチプラットフォーム対応 ○ 3D描画、サウンド、ゲームAI、ア セット管理など 画像(上):https://docs.unity3d.com/ja/2022.2/Manual/UsingTheSceneView.html 画像(下):https://docs.unrealengine.com/5.0/ja/level-editor-in-unreal-engine/

21.

ゲームエンジンとサウンドミドルウェア ● サウンドミドルウェア ○ Audiokinetic Wwise ○ CRI ADX ● ゲームエンジン標準よりも高度で実戦的 ○ プラグイン+データ管理ツール ○ 膨大な音声アセット管理 ○ プログラマーとサウンドデザイナーの分業 画像(上):https://www.audiokinetic.com/ja/products/wwise/ 画像(下):https://game.criware.jp/products/adx/

22.

立体音響プラグイン ● 無償で提供 ○ Oculus Spatializer ○ Google Resonance Audio ● ハードウェア化 ○ PlayStation 5:Tempest 3D Audio ○ HoloLens 2

23.

空間音響シミュレーション 仮想空間での残響を再現する ● 音響レイトレーシング ○ Steam Audio ■ Intel Embree ■ AMD TrueAudio Next ● 波動音響シミュレーション ○ Project Acoustics (Project Triton) 画像: https://learn.microsoft.com/ja-jp/gaming/acou stics/what-is-acoustics

24.

音速とドップラー効果のシミュレーション ● 音速は無視されることが多い ○ VR酔い防止のテレポート移動 → 再生位置が不連続 ○ ボイスチャットのメモリ消費 ● ドップラー効果は演出的に使われる ○ 近づく・遠ざかる音源を再現したいとき ○ 再生速度を上げる → CPU・メモリ負荷が上がる

25.

音量 ● 現実通りに再現すると突発性難聴の危険がある ○ 0dB SPL :聴こえる下限の音圧レベル ○ 120dB SPL :飛行機のジェットエンジン ● 快適に過ごせる音量制限をかけつつ、 ● 演出としての迫力も同時に成立させたい

26.

音量:過ごしやすいXR音響空間を目指して ● ボイスチャット ○ 均一な音量・音質:Horizon Workroom ○ 話す範囲設定:Neos VR ○ 聴く範囲設定:VRChat ● アバター組み込み音源に対する音量の制限:VRChat ● 背景雑音・BGMで居心地のよさを演出

27.

音量:迫力のあるサウンド演出を目指して ● HDRオーディオ:Wwise ○ 各サウンドにリファレンスとなる「音の大きさ」を設定 ○ 自動的に音量調整(明順応・暗順応に似ている) ● コンプレッサー・イコライザのプリセット設定 ○ BattleField 2042 ○ Call of Duty: Modern Warfare2

28.

XRサウンドの近い将来

29.

頭部伝達関数(HRTF)の個人化 外耳の形には個人差がある → 前後上下の聞き違い ● HoloLens 2:瞳孔間距離で調整 ● PlayStation 5:5つのプリセットから選択 ● Final Fantasy XIV:外耳の写真をアップロード

30.

音源の大きさを再現する ● ● ● ● 広大な波打ち際 渓谷の複雑な響き 巨大な機械 等身大の人間の存在感

31.

物理シミュレーションによる音声合成 ● ● ● ● 自動車のエンジン音 流体シミュレーションによる水や泡の音 物体同士の衝突音、擦過音 風切り音

32.

高品質・多人数・低コストなボイスチャット ● 機械学習によるノイズ除去 ○ RNNoise ○ NVIDIA Broadcast ● ● ● ● エコーキャンセリング(Meta Quest 2) マイクロホンアレイ(HoloLens 2) Google Lyraコーデック サーバーサイドミキシング

33.

触覚フィードバックとサウンドの連携 ● 振動の繊細な強弱、マルチチャンネル化 ○ Meta Quest2, Valve Indexハンドコントローラー ○ PlayStation VR2 ○ DualSense, Xboxコントローラー ● 物体の振動 → 空気の振動 → 聴覚 ● 触覚と聴覚は同時に発生することが多い ● マルチチャンネル時系列データ:ほぼ同じ操作・管理

34.

どのような人材が活躍しそうか?

35.

XR領域は変化が速い 「変化についていく」では遅すぎる → 自ら変化を起こす ● XRの基礎から理解している:情報工学、認知工学 etc. ● 技術デモで終わらない「魅せ方」:数をこなす

36.

三重大学で学んだこと

37.

基礎的な知識を得るということ ● 中学2年 ○ 見よう見まねでWebゲーム改造・運営 ● 高校生 ○ 「ゲームをイチから作ってみたい!」 ○ C言語のポインターで挫折 ○ Java言語のオブジェクト指向で挫折

38.

基礎的な知識を得るということ ● 大学生:トランジスターレベルからの理解 ○ ポインター ○ ヒープとスタック ○ アルゴリズムとデータ構造 ○ FPGAでCPU自作の授業 ○ 自走マイコンでのライントレース授業 ○ デジタル信号処理の輪講

39.

基礎的な知識を得るということ ● 社会人:エンジニア同士でのチーム作業 ○ オブジェクト指向 → ソフトウェアアーキテクチャ ○ 各社ハードウェア特有の挙動の理解 ○ 並行コンピューティング → サウンドプログラマーとしての専門技能の確立

40.

多様な学部・学科があること 工学だけではない、多様な学部の友人との出会い XR領域は応用範囲が非常に広い ● こんな応用もあるかもしれない ○ 総合大学の学部学科にあてはめてみる ○ 自分自身の関心領域が広がる ● これに詳しい人が世界のどこかにいるかもしれない

41.

質疑・応答

42.

参考文献 ● ● ● ● ● ● ● 飯田 一博 . 頭部伝達関数の基礎と3次元音響システムへの応用 . コロナ社 , 2017 ファミ通.com(2021) . 「PS5のエンジニアに聞くTempest 3Dオーディオの魅力。『リターナル』『バイオハザード ヴィレッジ』開発者たちからのコメントも」 . https://www.famitsu.com/news/202105/19219995.html , (参照 2022-09-30) Embody . 「Immerse Gamepack FFXIV Edition」 . https://embody.co/pages/ffxiv , (参照 2022-09-30) Microsoft(2022) . 「Spatial sound overview」 . https://learn.microsoft.com/en-us/windows/mixed-reality/design/spatial-sound , (参照 2022-09-30) Microsoft(2022) . 「Project Acoustics とは」 . https://learn.microsoft.com/ja-jp/gaming/acoustics/what-is-acoustics , (参照 2022-09-30) GDC2017 . 「Gears of War 4, Project Triton: Pre-Computed Environmental Wave Acoustics」 . YouTube . https://www.youtube.com/watch?v=qCUEGvIgco8 , (参照 2022-09-30) AngeTheGreat(2022) . 「Simulating an Entire Car Engine (yes, it makes noise)」 . YouTube . https://www.youtube.com/watch?v=RKT-sKtR970 (参照 2022-09-30)

43.

ご清聴ありがとうございました