VR音楽鑑賞が楽曲の完聴率に与える影響

VR音楽鑑賞が楽曲の完聴率に与 える影響 北原研究室 根本勢也

目次 ■ 研究背景と目的 ■ 概要 ■ 関連研究 ■ システムについて ■ 実験方法 ■ 結果 ■ 考察 ■ まとめ・今後の展望

目次 ■ 研究背景と目的 ■ 概要 ■ 関連研究 ■ システムについて ■ 実験方法 ■ 結果 ■ まとめ・今後の展望

研究背景と目的 ■ 現代：注意散漫の時代 →音楽ストリーミングの普及 → 選択肢の飽和 →「ながら聴き」「スキップ文化」が一般化(Montecchio2020) ■ クラシック音楽について →主要主題（サビ）に至るまでの展開部が長く、複雑 →聞き馴染みのない複雑な展開は、脳の「期待と報酬のループ」が形成されにくく、 聴き続けることに負荷を感じやすい。(Huron2006) ■ VRと身体性 →ユーザーの視覚と聴覚で、高い没入感を提供できる →自身が「鑑賞者」から「参加者」に感覚が変わる。 目的 →クラシック楽曲の聞き馴染みのない人に、VR映像と楽 曲の視聴によってどれぐらい再生率(完聴率)が増えるのか

目次 ■ 研究背景と目的 ■ 関連研究 ■ 概要 ■ システムについて ■ 実験方法 ■ 結果 ■ まとめ・今後の展望

関連研究 音楽視聴行動の定量的分析 ■ Nicola Montecchio, Pierre Roy, and François Pachet: “Skip behavior of music streaming service users and its relation to music structure” →Spotifyのログデータを分析し、「曲の変わり目」と「開始5秒」でスキップが多 発することを実証した研究。本研究の課題設定の直接的根拠になる。 VRの研究 ■ 杉本 未奈, 藤田 欣也 “VRゲームにおける没入感と体感時間の関係” →実験方法がゲームを使ったもので、違うを持つがVR HMDでプレイしたグループ の方が、有意に「時間が短く感じられ」、かつ、有意に「没入感が高かった」こと を、データで明確に証明した研究。

目次 ■ 研究背景と目的 ■ 関連研究 ■ 概要 ■ システムについて ■ 実験方法 ■ 結果 ■ まとめ・今後の展望

研究概要 複数のクラシック楽曲に対応した音楽同期型 VR 体験システムの実装 Unityを使用 能動的インタラクション機能を実装 実際に被験者を募り、実験 実験データと、被験者アンケートから結果を得る

目次 ■ 研究背景と目的 ■ 関連研究 ■ 概要 ■ システムについて ■ 実験方法 ■ 結果 ■ まとめ・今後の展望

システムについて 映像のコンセプト ■ 実際にどんな映像を作るのか →「主役はあくまで音楽」「音楽聴取の邪魔をしない要素で」 ■ CGデザインで使うオブジェクトは主にシンプルな図形 →具象的な物体だと、意味情報を与えてしまうため ■ 曲調に基づいたスカイボックス（背景映像)を採用 →曲調の変化時に飽きるのを防止するため

システムについて クラシック楽曲と、3Dオブジェクト 楽曲 1 ホルスト:組曲『惑星』木星 2 ロッシーニ:歌劇『ウィリアム・テル』序 曲 3 シベリウス:交響詩『フィンランディア』 Op.26 4 ホルスト:組曲『惑星』火星 5 チャイコスフキー:組曲『くるみ割り人 形』花のワルツ 立方体と、球体を主にオブジェクトとして使用 サビまで行ったら、有名な曲で選曲

システムについて それぞれの楽曲イメージ図

システムについて 多次元的音響特徴量のリアルタイム抽出 ■ AudioSource.GetSpectrumData →FFT（高速フーリエ変換）により楽曲を512分割の周波数スペクトラムにリアルタイムで 変換 ■ 特徴量を毎フレーム算出し、ビジュアライゼーションとして利用する →Overall Loudness: スペクトラム全体の総和。楽曲の巨視的なエネルギーを示す。 >>(例)オブジェクトの流れるスピードに反映 →Beat Detection: 前フレームとのスペクトラム差分の総和。楽曲の微視的なアタック 感（リズム）を示す。 >>(例)オブジェクトのスケール変化に反映

システムについて インタラクション機能 ■ 指揮メタファーの採用 単に音楽を「聴く（受動）」のではなく、身体を動かして音楽に「関与す る（能動）」ことで、楽曲への没入を高める。 ■ コントローラーのボタン操作を覚える必要がなく、音楽への集中を削がな い ■ Meta Quest 3Sによる「ハンドトラッキング」 ■ 腕を振った時の速さで、映像に関与 ex)オブジェクトの発光や背景の色の変化など

システムについて デモ映像 ごめんなさい映像作れてないです 40s想定

目次 ■ 研究背景と目的 ■ 関連研究 ■ 概要 ■ システムについて ■ 実験方法 ■ 結果 ■ まとめ・今後の展望

実験方法 実験計画：参加者間計画による3条件比較 ■ 被験者（N=18）を3つのグループにランダムに割り当てる。 A条件: 音楽のみ (統制群) B条件: 音楽 + 映像 (パッシブ視聴) C条件: 音楽 + 映像 + 指揮者インタラクション (アクティブ視聴) ■ タスク: 「5曲のクラシック音楽を普段楽曲を聞くように聞いても らう」というタスクを課すことで、より自然な視聴行動を誘発す る。 ■ 実際に5曲それぞれの再生時間を記録

目次 ■ 研究背景と目的 ■ 関連研究 ■ 概要 ■ システムについて ■ 実験方法 ■ 結果 ■ まとめ・今後の展望

結果 客観的評価: 再生率の比較 音楽のみ 音楽と映像 音楽と映像+インタラクション

結果 主観的評価: 体感時間と実再生率の比較 音楽のみ 音楽と映像 音楽と映像+インタラクション

結果 主観的評価: 実施に楽曲をスキップした理由 A 「単調で盛り上がらなかった」「暗い曲調でタイプじゃなかった」 B 「曲が長いと感じたから」「知ってる部分が終わったから」 C 「映像の変わり目でスキップした」「少しスキップボタンが押しにくかった」

目次 ■ 研究背景と目的 ■ 関連研究 ■ 概要 ■ システムについて ■ 実験方法 ■ 結果 ■ まとめ・今後の展望

まとめ・今後の展望 ◼ 実験結果から 楽曲のみ視聴 楽曲と映像の視聴 楽曲と映像の視聴 • 楽曲のみクラシックを聴いた被験者よりも、圧倒的に映像アリの方が再生率が 高かった • インタラクション機能が加わったことにより再生率の変化は大きく見られな かった。 →HMDとヘッドフォンの圧迫感が原因で標準偏差の値が大きくなってしまってい る ◼ 今後の展望 ・機械学習ベースの音楽情報処理技術の導入 ・インタラクション機能の追加