音楽理解技術を利用したマイクロタスク埋め込み型音楽ゲームの自動生成

107 Views

July 17, 19

スライド概要

音楽理解技術を利用したマイクロタスク埋め込み型音楽ゲームの自動生成

profile-image

明治大学 総合数理学部 先端メディアサイエンス学科 中村聡史研究室

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

音楽理解技術を利用したマイクロタスク 埋め込み型音楽ゲームの自動生成 中村聡史(明治大学・JST CREST) 十文字 優斗(東京農工大学)

2.

Demo Demo http://nkmr.io/music_

3.

背景 • 人と機械の共存関係 機械 人 得意 大規模処理・計算 曖昧さの補完 不得意 曖昧さの補完 大規模処理・計算 機械では回答が困難 人であれば回答が容易 ➡ ヒューマンコンピュテーションで解決

4.

背景(機械学習) • 色々な教師あり学習の方法 – SVM – 決定木 – ナイーブベイズ – 重回帰分析 – ニューラルネットワーク – Deep Learning 正解をもとに学習していく どうやって学習するのか?

5.

背景(誤り修正) • 人による誤り修正 – OCRで取り込んだ情報の正誤判定 • reCAPTCHA – 震災データセット

6.

背景(評価実験) • オノマトペベクトル生成 – 252パターン × 15軸 × 10人 = 37800通り • 平均文字が美しいかどうかを判定 – 文字数 × 書いた人と平均の全組み合わせ – 46文字 × 11∁2 = 2530通り

7.

背景 • 様々な人手を必要とする作業 – 機械学習のための分類・正解データ構築 – 誤り修正の実施 – 評価実験の実施 • すべてのデータを構築するのはかなり大変 • 個人でやることが必ずしも良いわけではない 膨大なタスクを1人でこなすのではなく 複数人で分担してデータセットを構築

8.

関連研究 • reCAPTCHA – CAPTCHAを画像上のテキストの認識に活用 – 一日約一億語、年間250万冊の本がデジタル化

9.

関連研究 • ゲーミフィケーションを用いる – ランキング上位に乗るなどの報酬をもとに協力 – 飽きてしまって顧みられなくなる • 生活空間の中に埋め込む – ファイルをダウンロードするときに – 歩いている最中に

10.

ダウンロードにおいて...

11.

床タスク

13.

目的とアプローチ できるだけ多くの人に,できるだけ気軽に データセット構築に協力してもらう Human Computation + Micro Volunteer 5~10秒程度のマイクロタスクを 如何にして人に作業してもらうのか?

14.

音楽ゲームに! • 何かの行為の際に,タスクをこなしてもらう • まだまだデータを取る環境が限られている 音楽ゲームに埋め込む! 音楽ゲームでボタンを押す という行為を回答行為に!

15.

音楽ゲームへの埋め込み [三輪'14] • 音楽ゲームに合わせてたま にタスクが降ってくる – どちらかを選択するタスク – 2つのボタンの内,どちらを押 しても良い – タスクは正しく答えても,適当 に答えても構わない

16.

音楽ゲーム • 通常ノート – ボタンとタイミングを示すマーク – 上から下に移動 – ボタン操作でポイントを増やす • 選択ノート – マイクロタスクの選択肢 – マイクロタスクの可視性と回答 時間を考慮 答えなくていいのに回答したくなる?

17.

これまでのシステム 埋め込み可能なゲームは作る必要あり 環境もノートPCに限られていた

18.

本研究の内容 • 音楽ゲームを自動で生成し,マイクロタスクに ついても集約サーバに託す – 音楽理解技術に基づく音楽ゲームの自動生成 – Crowd4U(マイクロタスク基盤)との連携 – スマートフォン版の実装でどこでもタスクに! • 全自動で音楽ゲームを作り出し,マイクロタスク も基盤から取り出すことにより,人の手を入れ ることがない(私は何もしなくて良い)超エコシス テムの実現!

19.

基本方針 • 音が鳴っていないところはノートを生成しない • サビはメロディが重要である事が多いため,サ ビではメロディにあわせてノートを生成 • サビでない部分については,ビートのパターン を重視し,ビートにあわせてノートを生成 • 音楽の盛り上がる部分では,ノートを多数生成

21.

生成アルゴリズム 1. 2. 3. 4. 5. 6. 7. 8. 時間 t = 0 とする t 秒目に音がある場合は3へ,ない場合は6へ t 秒目がサビなら4へ,サビでないなら5へ t 秒と t+Δt 秒の間にメロディの音が変化してい る場合はノートを挿入.そうでない場合は6へ t 秒がビート開始位置の場合はノートを挿入, そうでない場合は6へ t に Δt を加え,2に戻る 盛り上がりに応じてノートを倍の量に ランダムに選択ノートを適用(周辺を削除)

22.

プロトタイプシステムの実装 • ウェブシステム – PHP + JavaScript + jQuery – Songle API + Crowd4U API

27.

フィードバックと考察 • 音楽の理解技術で膨大な楽曲をカバー – メジャーなアーティストや楽曲名,VOCALOID で作成された有名曲などがプレイされていた – 楽曲を音楽ゲームとしてプレイできるのはか なり楽しいものであり,評判が良かった – 音楽ゲームの譜面に気持ち悪さを感じている というフィードバックが無かった – バラードなどのゆっくりしたテンポの楽曲では ゲームの難易度が高かった

28.

マイクロタスクの回答可能性 • 慣れによりマイクロタスクは十分にこなせる? – 最初はマイクロタスクが出た時に慌てて両方のボタ ンを押していた – パターンの把握で「こういった画像だとこういうタスク だ」と判断し,瞬間的に判断可能 – 慣れても「どちらの数字が大きいか?」タスクは厳し いとの回答も有り(英語が原因?) • 様々な種類のタスクを提示していたことが問題 – タスクを共通化すると混乱しない?

29.

音楽ゲームの難易度 • 楽曲による難易度の違い – ビートや,メロディの音の量の多少で単位時 間あたりのノート数が増減 – 音楽ゲームに慣れているユーザは,難易度 が高いものが良く,ハイスピードモードを要求 – 音楽ゲームに不慣れなユーザは難易度が高 い譜面だとタイミング良くボタンを押せず – 譜面生成においてレベル設定を可能とする 手法が必要

30.

ゲーム自体へのフィードバック • タイミングがずれて気持ち悪い • 長時間のプレイは飽きてしまうという • キー操作のバリエーション – 「D」や「K」 > 「F」や「J」 – 同時押しなどの操作に対する要望 • 音楽がない喋り声の部分がノートに

31.

まとめ • マイクロタスク埋込み型音楽ゲームのための, 音楽理解技術に基づく音楽ゲーム自動生成 – 自動的に生成することの重要性 – タイミングと長時間のプレイ,難易度問題 • 今後の研究 – どの程度回答してもらえるかの調査 – 音楽ゲーム内では何人以上のデータを取ると正解 に近づくのか? – ゲームのボタンを押すタイミングで正解らしさ,不正 かいらしさ,曖昧さを判断できるか?