---
title: 即興演奏をコンピュータが肩代わりする： 即興演奏支援の一研究事例
tags: 
author: [Kitahara Lab](https://www.docswell.com/user/kthrlab)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/VJNGPPX978.jpg?width=480
description: 即興演奏をコンピュータが肩代わりする： 即興演奏支援の一研究事例 by Kitahara Lab
published: October 11, 24
canonical: https://www.docswell.com/s/kthrlab/57RG88-kyoto-u-2023-kitahara
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/VJNGPPX978.jpg)

即興演奏をコンピュータが肩代わりする：
即興演奏支援の一研究事例
日本大学 文理学部 情報科学科
北原 鉄朗
Twitter: @tetsurokitahara


# Page. 2

![Page Image](https://bcdn.docswell.com/page/YE9W3383E3.jpg)

本研究のゴール
誰もが即興演奏を楽しめるようにする
特に非音楽家（場合によっては高齢者や身障者を含む）
Cmaj7 Am7
Create
a melody
Play it
Chord progression
Harmony
theory
Music knowledge
Musical
scale
Do-Re-Mi
Learned musical phrases


# Page. 3

![Page Image](https://bcdn.docswell.com/page/GE8NMM8L7D.jpg)

技術的な課題
●
「こんな感じのメロディ」というあいまいな考えを
あいまいなまま入力する方法
– 和声などの専門知識を必要としない
●
「こんな感じのメロディ」というあいまいな入力から
音楽的に妥当なメロディを作る方法
– いわゆる自動メロディ生成


# Page. 4

![Page Image](https://bcdn.docswell.com/page/LELP33RQ7R.jpg)

JamSketch： 旋律概形からのメロディ生成
ユーザが描画:
旋律概形
直感的!
簡単に描ける!
システムが生成:
メロディ


# Page. 5

![Page Image](https://bcdn.docswell.com/page/4JM4DDPK7W.jpg)

学習の仕組み
Weimar Jazz DB
ニューラルネットで実現
（CNN）
これを
「旋律概形」とみなす
ブルースのアドリブソロの採譜データ
変換
平
滑
化


# Page. 6

![Page Image](https://bcdn.docswell.com/page/PJRW441679.jpg)

なぜCNNなのか
●
実装が楽
●
メロディの持つ拍節構造を自然に表せる
畳み込み
畳み込み


# Page. 7

![Page Image](https://bcdn.docswell.com/page/PEXP22YD7X.jpg)

入力と出力
コード
time
出力
メロディ（音符）
旋律概形
Input
入力
time


# Page. 8

![Page Image](https://bcdn.docswell.com/page/3EKDMM3DJD.jpg)

メロディ用にどのようにフィルタを設計するか
音楽（ピアノロール）は、シフト不変ではない
音高軸
時間軸
ハ長調では滅多に現れない
異なる音名には、
異なる役割がある
ハ長調では最も重要な音名
強拍
弱拍
強拍と弱拍では、
音名出現の傾向が異なる


# Page. 9

![Page Image](https://bcdn.docswell.com/page/L73RYYGPJ5.jpg)

畳み込みと逆畳み込みの流れ
フィルタサイズ 音高方向のシフトを防ぐ
conv.
フィルタサイズ
conv.
pitch
Melodic
outline
ch
ch
Chord progression
time
強拍と弱拍が入れ替わるのを防ぐ
deconv.
deconv.
ch
pitch
time
time
Pitch (cont)
Pitch
time
time


# Page. 10

![Page Image](https://bcdn.docswell.com/page/87DY55137G.jpg)

データセット
入力データ
出力データ
右のメロディを平滑化して得た Weimar Jazz Database から得た
96個のブルーズのメロディ
旋律概形


# Page. 11

![Page Image](https://bcdn.docswell.com/page/VJP6GGQPE8.jpg)

デモ
Colabでのデモ
JamSketchのデモ（実演）
https://bit.ly/3zB2Tja
コードはGitHubに
（でもちょっと古い）
Groovyにて実装
Folder


# Page. 12

![Page Image](https://bcdn.docswell.com/page/2EV3665V7Q.jpg)

現状の課題（≒今後の展望）
●
制御性の向上
–
●
リアルタイム性、ユーザ体験の向上
–
●
例： 同じ概形でもおとなしいメロディ、攻めたメロディ
より楽器を弾いてる感じを。旋律概形以外の入力UIの検討も
人間とのセッション
–
理想的にはリアルタイムにコードとビートを認識して旋律生成
演者と観客の隔たりのない全員参加型セッションへ


# Page. 13

![Page Image](https://bcdn.docswell.com/page/57G3NN61JL.jpg)

まとめ
JamSketch: 旋律概形に基づく即興演奏支援システム
基本コンセプト
マクロな構造はユーザが、ミクロはシステムが
利用技術 畳み込みニューラルネット（CNN）
関連図書
『音楽情報処理』（コロナ社）
『音楽で身につける
ディープラーニング』
（オーム社）


