BGM付き漫画ビューアのための音楽推薦システムに関する研究

BGM付き漫画ビューアのための 音楽推薦システムに関する研究 宝田 涼雅 北原研究室

研究背景 • 音楽は感情・テンポ・緊張感を操作し、 体験を大きく変える • アニメ・映画・ゲームなどでは、 BGMが演出として一般的 • 一方、漫画は電子コミックでも基本無 音のまま読まれている • シーンに合うBGMを付けることで 「漫画×音楽」の新しい体験を作れる

研究目的 • 漫画を読む体験に、BGMという 演出を足して「漫画×音楽」の新 しい体験を作りたい • 漫画のシーンに合うBGMを自動 で選べる仕組みを作る

関連研究 • Megha Sharma et al. “M2M-Gen: A Multimodal Framework for Automated Background Music Generation in Japanese Manga Using Large Language Models.” arXiv preprint arXiv:2410.09928, 2024 • 日本語漫画からBGMを自動生成する枠組み • シーン境界や感情などを推定し、LLMで音楽指示を作ってTextto-Musicに入力し生成する • 生成は自由度が高い一方で、音質や出来の当たり外れが出やすい 本研究はこの品質のブレを避け、生成ではなく既存曲からの推薦によ りBGMを付与する

提案システム

音楽推薦機能 • EgGMAn（Engine of Game Music Analogy） • 同一作品内で使用中のBGMを基準として、その 雰囲気を保ったまま、別のシーンに合う音楽を 推薦する音楽推薦エンジン • BGMがすでに付与されているシーン、そのBGM、 新たにBGMを付与したいシーンの３つを入力と し、作品全体の音楽的な一貫性を保ちながら シーンに適したBGMを選択できる Ryusei Hayashi and Tetsuro Kitahara, “A system for retrieving video gamemusic,” Proceedings of the 2024 AES 6th International Conference on Audiofor Games, 2024.

デモ がらくた屋まん太 ©能田 達規 （manga109より)

評価項目 以下の3点について評価を行う • シーン区切り： o LLMの出力したシーンの区切りは妥当か • タグ付与： o LLMの選んだ特徴は納得できるか • BGM推薦： o 推薦されたBGMはシーンに合っているのか

実験共通設定 • データセット：Manga109 • 使用作品数： o 5作品 o バトル、SF、ラブコメ、ホラー、ギャグ • 評価方法：アンケートによる主観評価

実験① シーン区切り（方法） • LLMにより自動生成されたシーン区切り結果を提示 • 各区切りについて「妥当かどうか」の適合率を評価 • 全25個の区切りに対して、各10人ずつ

実験① シーン区切り（結果） 適合率 妥当だと思う 妥当ではないと思う • シーン区切りの平均適合率：61.5％ • 評価の高い区切り • 場所や登場人物が変わる • 評価の割れた区切り • 場所・人物が同じで流れが変わる • LLMは区切りと判断しがち • しかし、回答では「同一シーン」 とする意見がほとんど 評価の割れた区切りの前後ページ⇒⇒ （上）区切り前：劣勢でぼこぼこにされてしまい、 大切なマフラーを奪われてしまう （下）区切り後：怒って反撃する 学園ノイズ©猪原大介 Manga109より

実験②：タグ付与評価（方法） • 各シーンに付与されたタグを提示 • タグがシーン内容に合っているかを4段階で評価 • 全30シーンに対して、各10人ずつ

全結果の平均スコアと各カテ 実験② タグ付与（結果） ゴリごとの平均スコア 3 2.51 2.5 • 4段階での評価を0～3として各カテゴ リごとの平均スコアを計算した • 全シーンの平均結果は2.32 • Timeでは昼と夜の間違いが多く、ス コアは比較的低い結果となった 2.51 2.32 2.5 2.27 1.9 2 1.5 1 0.5 0 Total Place Weather Action Person Time

実験③ BGM推薦（方法） • 提案手法により推薦されたBGMとランダムに選択したBGM • どちらがよりシーンに合っているかを選択 • 全30シーンに対して、各シーン30人

選択率 実験③ BGM推薦（結果） 提案手法 ランダム選択 • 提案手法を選択した割合：67.2% • ギャグ漫画などテンポが速く感情変化 が大きいシーンでは、明るい曲が選ば れやすかった • 一方で戦闘シーンでは「緊迫感」か 「激しさ」かで解釈が分かれ、評価が 割れる傾向があった

まとめ・今後の課題 • まとめ o 漫画1話をシーン分割し、特徴に基づいてBGMを推薦する流れを構築 o 複数被験者による評価アンケートにより、シーン分割は61.5%、タグ の付与に関しては2.32/3と結果から、その妥当性を示した o 複数被験者による評価が67.2%という結果から、シーン情報を用いた 音楽推薦の有効性を示した • 今後の課題 o シーン解析精度の向上 o 音楽推薦用タグ設計の改善 o 漫画ビューアへの統合