即興演奏初心者の支援を目的とした演奏入力対応型メロディ生成システム

即興演奏初⼼者の⽀援を⽬的とした 演奏⼊⼒対応型メロディ⽣成システム 川鍋僚太

前提知識 • 即興演奏:ジャズ，ポップス，ロックなど⾳楽のジャンルを問わず 広く⽤いられる演奏形態 • スケールを覚える（⾳楽理論の習得） • 背後で進⾏するコードに即した⾳⾼やリズムを瞬時に選択し演奏 • 楽器の演奏を習得している者にとっても難しい 1

背景 即興演奏における課題と練習法 • 初⼼者が直⾯する問題点 • 演奏をしながらフレーズを考えるのは難しい • スケールの⾳を順番になぞるのみになる（単調な演奏） • 弾き慣れたフレーズを多⽤しがちになる（展開がない） • ⼀般的な練習法 • プロの演奏フレーズをコピー 教則本 出典：堀川⼤介「CD付き アドリブ演奏に役⽴つ ビバップから 学ぶジャズ・ギター」⾃由現代社 2016 レッスン動画 出典: LIGHT GUITAR MUSIC SCHOOL【松尾領⼀郎】「Cメジャースケールでアドリブ 練習フレーズ 初⼼者ギターソロ講座 TAB譜あり major scale guitar lesson」 (2016/07/01) 2

背景 既存の練習法とその限界 • プロのフレーズは⾃分の演奏スタイルと異なる場合もあり 演奏中に⾃分の引き出しとして⾃然に組み込むことが難しい • 提案されているフレーズの難易度が⾃分の技量を超えている • 初⼼者は，⾃分の現在の演奏を少しだけ発展させたフレーズを 求めているのではないか? ユーザーの演奏特徴を継承した新たなメロディを⽣成するシステム を実現し，即興演奏初⼼者が多様な演奏を習得できるようにする 3

提案⼿法 • ユーザーの演奏データを取得し、その特徴を解析・抽出 1. リズム（⾳価のパターン） 2. 旋律概形(⾳⾼の上がり下がりの形状) 各要素を継承したメロディのイメージ リズムのみ継承 3. スケール（使⽤される⾳の集合） 旋律概形のみ継承 演奏例 スケールのみ 継承 4

提案⼿法 • ユーザーが⽣成メロディの難易度を調整可能 • ⽣成される⾳符の⾳価（⾳の密度）を難易度のパラメータとする 易しい 難しい 5

学習データ • 様々なアーティストのジャズやブルースのメロディとコード進⾏を 含むMusicXMLファイル(約1300個) 6

⽣成モデル KLダイバージェンス • CNN（特徴抽出） • CVAEモデル • 条件ラベル最頻⾳価と出現⾳⾼の確率（13次元） [0.5 0.199 0.0 0.238 0.0 0.033 0.0 0.033 0.033 0.0 0.232 0.0 0.232] 難易度調整 スケールの指定 7

⽣成例（⾳価ラベルによる違い） ⼊⼒演奏 8分⾳符中⼼ ⽣成演奏 16分⾳符に設定 ⽣成演奏 8分⾳符に設定 ⽣成演奏 4分⾳符に設定 8

評価実験 • 客観評価（⾳楽理論的） • コードトーン⼀致率（CTAR） • メロディがその時鳴っているコードを構成する⾳であるか? • ⼀致率が⾼いほど安定感がある，シンプルな印象 • 不協和発⽣率（半⾳ぶつかり） • コード構成⾳に対してメロディが半⾳（隣の鍵盤）がなっている割合 • 発⽣率が⾼いほど，不安定， • メロディの平均⾳⾼差 • メロディの連続する⾳の⾳程差（半⾳単位）の平均値 • ⾳⾼差が⼩さいほど滑らかに聴こえる 9

評価実験 • 客観評価（⾳楽理論的） • 学習データと⽐較（50曲に対する評価結果の平均） 平均⾳⾼差 10

評価実験 • 客観評価（⼊⼒演奏との類似度） • リズムの類似度:F1値 • 適合率（Precision）と再現率（Recall）の調和平均であるF1値を算出 • 旋律概形の類似度 • コサイン類似度:変化の仕⽅を⽐較 • 平均⼆乗誤差（MSE）:⾳域や⾳⾼の⽐較 11

評価実験 • 客観評価（⼊⼒演奏との類似度） • 旋律概形の類似度 ⾼いほど類似 低いほど類似 12

評価実験 • 主観評価(ランサーズにてアンケート) • 作曲または即興演奏経験者限定 30名 Q1⼈間が弾いたような ⾃然な演奏か? Q2違和感のないリズムか? Q3伴奏と調和しているか？ ⽣成メロディに対する評価結果の⼀例 13

結論と展望 結論 ユーザーの演奏特徴を継承した新たなメロディを⽣成するシステム を実現 展望 • 主観評価 • 即興演奏初⼼者対象にした⻑期評価 • 弾きやすいメロディであるか • 難易度調整⽅法の改良（リズム，跳躍の出現率） 14

付録 • 旋律概形とは 15

付録 • コサイン類似度とMSEの違いは? ⾳⾼ ⾳程の変化はどちらも上昇→維持→下降だが 変化量に違いがある コサイン類似度は⾼くMSEは⼤きくなる 全く同じ時刻に同じ⾳⾼が出現している コサイン類似度は1.0，MSEは0.0(完全⼀致) 時刻 16

付録 • コサイン類似度とMSEの違いは? ⾳⾼ 概形が全く⼀緒だが⾳域が違う コサイン類似度は1.0，MSEは⼤きくなる 真逆の変化 コサイン類似度は-1.0 (負の相関) 時刻 17

⽣成例（⾳⾼ラベルによる違い） • Cマイナースケールを並べた演奏を⼊⼒ メジャースケールを指定（ionian） 26

⽣成例（⾳⾼ラベルによる違い） • 曲でやってみる マイナースケールを指定（dorian） 27