---
title: コミックのセリフと発話者対応付けデータセットの構築とその困難性
tags: 
author: [Nakamura Laboratory (Meiji University)](https://www.docswell.com/user/nkmr-lab)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/4VJPWG5LE8.jpg?width=480
description: コミックのセリフと発話者対応付けデータセットの構築とその困難性
published: September 18, 20
canonical: https://www.docswell.com/s/nkmr-lab/5441G5-ss-238529370
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/4VJPWG5LE8.jpg)

研究室でアーカイブするため
録画させていただきます
質疑部分は録画しない予定ですが
操作を忘れていたらすみません
コミックのセリフと発話者対応付け
データセットの構築とその困難性
明治大学 阿部和樹 中村聡史
Mail: satoshi@snakamura.org
Web: http://nkmr-lab.org


# Page. 2

![Page Image](https://bcdn.docswell.com/page/L2EV86P6EQ.jpg)

好きな漫画
• グロ系以外はほぼ全部好き
– 読んだ回数が多い漫画は、マスターキートン、
めぞん一刻、スラムダンク？
• 最近読んで好きだった漫画
– 葬送のフリーレン
– ヘテロゲニアリンギスティコ
– 波よ聞いてくれ
– ミステリと言う勿れ
– 国宝のお医者さん


# Page. 3

![Page Image](https://bcdn.docswell.com/page/Z57G5NP27L.jpg)

背景
• 検索、推薦、翻訳、要約、ネタバレ防止、
生成、教育、文化発信など様々な応用に向
けたコミックの理解技術の重要性
• コミックの内容理解のための認識技術
– 登場人物: 顔認識、表情認識、人物推定、骨格
認識、関係性推定、重要度推定など
– 文字情報: セリフ認識、順序推定、吹き出し形
状認識、話者推定、オノマトペ認識など
– 他: コマ推定、シーン推定、一般物体認識など
多種多様な認識・推定技術が必要！


# Page. 4

![Page Image](https://bcdn.docswell.com/page/V4EQZQ29EP.jpg)

関連研究: 発話者推定
• Speech balloon & speaker association
for comics & manga understanding [Rigaud2015]
しっぽ
©進藤ウニ「日常スープ」
• データドリブンなアプローチを用いた漫画画像中
の吹き出しの話者推定 [山本 2018]


# Page. 5

![Page Image](https://bcdn.docswell.com/page/DKJ43NPR71.jpg)

関連研究: 発話者推定
• Speech balloon & speaker association
for comics & manga understanding [Rigaud2015]
キャラクタの重心
しっぽの先端
©進藤ウニ「日常スープ」
• データドリブンなアプローチを用いた漫画画像中
の吹き出しの話者推定 [山本 2018]


# Page. 6

![Page Image](https://bcdn.docswell.com/page/PLE1159VEG.jpg)

認識推定の研究開発に必要なもの
• 膨大なデータセット
– 機械による学習に利用するため
– 認識・推定精度のフェアな数値化のため
• すでにあるデータセット
– Manga109 [Matsui 2017]
– eBDtheque [Guerin 2015]
– COMICS [Iyyer 2017]


# Page. 7

![Page Image](https://bcdn.docswell.com/page/8GEW85Q3J2.jpg)

Manga109 Dataset [Matsui 2017]
• 109冊の漫画をデータセットとして公開
– アノテーションデータは、コマ、登場人物、セ
リフに関する情報
Frame
Text
Face
Text
セリフと発話者の対応付けはない
©赤松健「ラブひな」


# Page. 8

![Page Image](https://bcdn.docswell.com/page/W47Z8NWGE3.jpg)

我々の過去の研究 [阿部 2019]
©赤松健「ラブひな」
機械による自動判定において
どんな要素を考慮する必要があるのか？
どこにヒントがあるか？なぜ難しいのか？
阿部 和樹, 中村 聡史. 漫画における台詞発話者の自動判定に向けた技術的困難性による整理とデータセット構築手法の検討,
第2回コミック工学研究会発表会, pp.7-14, 2019. https://dl.nkmr-lab.org/papers/208


# Page. 9

![Page Image](https://bcdn.docswell.com/page/KYJ6P8GQ7V.jpg)

セリフと発話者と情報デザイン
• 同じコマに複数のキャラクタとセリフが存
在している場合、ゲシュタルト心理学を考
慮するとセリフと発話者を近づけたい（近
接の法則）が、時間的な流れの表現も必要
©草水敏/恵三郎「フラジャイル 病理医岸京一郎の所見」


# Page. 10

![Page Image](https://bcdn.docswell.com/page/5GJ5K9V2E4.jpg)

吹き出しの「しっぽ」
• キャラクタが大勢いても、しっぽによって
だれの発言かわかる
©草水敏/恵三郎「フラジャイル 病理医岸京一郎の所見」


# Page. 11

![Page Image](https://bcdn.docswell.com/page/V9E2W2317R.jpg)

セリフとキャラクタの位置関係
B
B
A
A
発話者ごとに
交互に配置
B
A
B
©緑山のぶひろ「罠ガール」
A


# Page. 12

![Page Image](https://bcdn.docswell.com/page/5D7YLY14EM.jpg)

セリフの表現とキャラクタの特性
• 人のキャラクタとAIのキャラクタでフォン
トが違う（類同の法則）
©かっぴー/うめ「アイとアイザワ」


# Page. 13

![Page Image](https://bcdn.docswell.com/page/2VEN4P2678.jpg)

これまでの研究
機械判定の難易度に影響する要素
Easy
Hard
あり
なし
あり
なし
吹き出しの形
キャラクタ固有
同一
発話者の存在
コマ内
コマ外
1人
複数人 or 1人
1つ
複数
近い
遠い
台詞のフォント
キャラクタ固有
同一
台詞の方向
キャラクタ固有
同一
台詞の口調
キャラクタ固有
同一
台詞とキャラクタの
見た目の関係
同期
非同期
発話者のヒント
あり
なし
要素
吹き出しの有無
吹き出しの形状 吹き出しのしっぽ
台詞とキャラクタ コマ内のキャラクタ数
の位置関係
コマ内のセリフ数
発話者と台詞の距離
台詞の表現と
キャラクタの
特性


# Page. 14

![Page Image](https://bcdn.docswell.com/page/GY79Q31R73.jpg)

名探偵コナン問題
• 難易度激ムズ
©青山剛昌「名探偵コナン」


# Page. 15

![Page Image](https://bcdn.docswell.com/page/5G78GM4G7D.jpg)

漫画のデータセット
• セリフとその発話者の正解データが必要
• Manga109データセットを拡張！
– セリフの総数： 147,918件
Text
Character①
Character②
©赤松健「ラブひな」


# Page. 16

![Page Image](https://bcdn.docswell.com/page/ML7LG36XJR.jpg)

アノテーション付与システム
• 人は自然に発話者を判断できるため素早く
アノテーションが付与可能？
• 台詞とその発話者は近くにいることが多い
– 近くにいるキャラクタとの結びつきを簡単な操
作できるといい
©赤松健「ラブひな」


# Page. 17

![Page Image](https://bcdn.docswell.com/page/54EMQD537W.jpg)

どのタスクが難しいか [Fitts 1954]


# Page. 18

![Page Image](https://bcdn.docswell.com/page/ZPER843R79.jpg)

フィッツの法則
D
W
D
T = a + b log 2 ( + 1)
W
a はデバイス操作に必要な時間
b は目標の距離や大きさが所要時間に与える影響


# Page. 19

![Page Image](https://bcdn.docswell.com/page/NP7X824YJX.jpg)

発話者とセリフの関係
• セリフは発話者の近くに配置されることが
多いため、セリフを近くの発話者にドラッ
グアンドドロップ操作ができれば便利！
©赤松健「ラブひな」


# Page. 20

![Page Image](https://bcdn.docswell.com/page/637KKMZ47D.jpg)

アノテーション付与システム
©赤松健「ラブひな」
台詞をドラッグアンドドロップでキャラクタまで運ぶ
→ 👍 作業時間を短縮できる


# Page. 21

![Page Image](https://bcdn.docswell.com/page/4LJ3ZYDDJ5.jpg)

アノテーション付与システム
• 存在しないキャラクタへの付与
©赤松健「ラブひな」


# Page. 22

![Page Image](https://bcdn.docswell.com/page/V8JDR5P27G.jpg)

今回の成果
• データセットを構築
• データセットの基礎的な分析
– セリフと発話者の関係性と、困難性など
• 推定についての分析と考察


# Page. 23

![Page Image](https://bcdn.docswell.com/page/4VEPWGNL78.jpg)

データセットを構築しました
• 109冊の漫画に登場する147,918件のセリフ
に対して2名のアノテータが発話者となるキ
ャラクタとの対応付けを行なった
– https://nkmr.io/comic/speaker-dataset/
• ご自由にお使い下さい！


# Page. 24

![Page Image](https://bcdn.docswell.com/page/L27V86K67Q.jpg)

データセット構築
• 構築期間 2019.11.28-12.25
– 対象：109冊の漫画・147,918件のセリフ
– アノテータ：33名
– 1冊に対するアノテータ数：2名
– データ合計：297,706件


# Page. 25

![Page Image](https://bcdn.docswell.com/page/Z5JG5NQ2JL.jpg)

データの分析：一致度
• アノテータ2名の意見が一致していた数
– 全て 132,447件 / 147,918件（89.6%）
• 不一致は10.4%
– 人物 128,502件 / 147,918件（86.9%）


# Page. 26

![Page Image](https://bcdn.docswell.com/page/V47QZQK97P.jpg)

データの分析：困難性
•
•
•
•
•
ナレーションとモノローグが判別不可
アナウンスなどその場に発話者が不在
キャラクタが人形や他人に乗り移る
1コマに多数のキャラクタが存在
吹き出しが分割されていない
©加藤雅基「ARMS」


# Page. 27

![Page Image](https://bcdn.docswell.com/page/DKE43NKRJ1.jpg)

データの分析：困難性
• 途中から読んでもわからな
い（1巻がないものなど）
– マイクロタスク化するには
工夫が必要？
– https://justune.net/


# Page. 28

![Page Image](https://bcdn.docswell.com/page/PL7115XV7G.jpg)

分析推定のための正解データ設定
• 2名の意見が一致しており、発話者がキャラ
クタとして存在する128,502件のデータを正
解データとする
– ナレーションやモノローグ、ひとでも判断が分
かれた「より困難である」と考えられる計13.1%
のデータは今回は対象外とする
• 基礎的な分析と、自動推定における精度の
評価に利用


# Page. 29

![Page Image](https://bcdn.docswell.com/page/8G7W85N3E2.jpg)

基礎的な分析
• コマ内のセリフとキャラクタの関係性
– あるコマにセリフがあるときの分析
– 注：ナレーションなどは抜かれています


# Page. 30

![Page Image](https://bcdn.docswell.com/page/W4JZ8N3G73.jpg)

手法：距離
近いほど発話者の
可能性が高い
©島崎 譲, 鷹 司「花影戦記 妖魔降臨」


# Page. 31

![Page Image](https://bcdn.docswell.com/page/KYE6P8XQJV.jpg)

手法：同じコマ
セリフと同じコマ
に発話者がいる
©島崎 譲, 鷹 司「花影戦記 妖魔降臨」


# Page. 32

![Page Image](https://bcdn.docswell.com/page/5GE5K9X274.jpg)

手法：しっぽ方向
しっぽが向いた先
に発話者
©島崎 譲, 鷹 司「花影戦記 妖魔降臨」


# Page. 33

![Page Image](https://bcdn.docswell.com/page/V972W2X1JR.jpg)

手法：一人称・語尾
そのキャラクタの
属性を表す
©島崎 譲, 鷹 司「花影戦記 妖魔降臨」


# Page. 34

![Page Image](https://bcdn.docswell.com/page/5DJYLY847M.jpg)

発話者推定：手法
• 発話者を判断する4種類の手がかり
①距離
③しっぽ方向
②同じコマ
④一人称・語尾
©島崎 譲, 鷹 司「花影戦記 妖魔降臨」


# Page. 35

![Page Image](https://bcdn.docswell.com/page/2V7N4PQ6J8.jpg)

発話者推定：手法
正規化したスコアの合計で判断
・・・
対象のセリフ
距離
0.4
0.4
0.2
同じコマ
0.5
0.5
0.0
しっぽ方向
1.0
0.0
一人称・語尾
0.5
0.0
0.0
0.5
・・・
©島崎 譲, 鷹 司「花影戦記 妖魔降臨」


# Page. 36

![Page Image](https://bcdn.docswell.com/page/GYJ9Q3DRJ3.jpg)

発話者推定：設定
• 機械が予め知っている情報
– コマ・キャラクタ・セリフの座標情報
• キャラクタとセリフは中心座標を利用
– キャラクタの名前とセリフの文字列
• 発話者の推定（2パターンを用意）
– すべてのキャラクタを対象（全発話者）
• 121,364件のセリフが対象
– 5名/冊の主要キャラクタに限定（主要発話者）
• 88,297件のセリフが対象
• 発話者の正解率で精度を評価


# Page. 37

![Page Image](https://bcdn.docswell.com/page/5GJ8GM3GJD.jpg)

精度おかしくない？と問い合わせ
• 距離による精度が一致しないと問い合わせ
をいただいた（東京理科大学大学院の山口
理哉さんよりメール）
• 精査すると計算式が間違っていた！
– 顔との距離を計算する際、なぜか両方がX座標に
なってしまっていた
• データを公開していたからこそ、修正いた
だけるありがたさ


# Page. 38

![Page Image](https://bcdn.docswell.com/page/MLJLG3VXER.jpg)

全発話者推定：結果修正版
セリフ件数：121,364件
手法
単独の正解率
組み合わせの
寄与率
①距離
74.3 %
33.9 %
②同じコマ
34.5 %
2.8 %
③しっぽ方向
13.5 %
0.7 %
4.8 %
0.3 %
④一人称・語尾
組み合わせ
78.5 %


# Page. 39

![Page Image](https://bcdn.docswell.com/page/547MQDG3JW.jpg)

主要発話者推定：結果修正版
セリフ件数：88,297件
手法
単独の正解率
組み合わせの
寄与率
①距離
81.0 %
29.5 %
②同じコマ
46.1 %
1.9 %
③しっぽ方向
14.6 %
0.5 %
6.1 %
0.4 %
④一人称・語尾
組み合わせ
84.2 %


# Page. 40

![Page Image](https://bcdn.docswell.com/page/ZP7R84ZRJ9.jpg)

主要発話者推定：結果修正版
セリフ件数：88,297件
手法
組み合わせの
寄与率
単独の正解率
組み合わせることで
81.0
正解率がどれだけ上昇するか？
%
29.5 %
②同じコマ
46.1 %
1.9 %
③しっぽ方向
14.6 %
0.5 %
6.1 %
0.4 %
①距離
④一人称・語尾
組み合わせ
84.2 %


# Page. 41

![Page Image](https://bcdn.docswell.com/page/NPJX829YEX.jpg)

主要発話者推定：結果修正版
セリフ件数：88,297件
手法
単独の正解率
組み合わせの
寄与率
①距離
81.0 %
29.5 %
②同じコマ
46.1 %
1.9 %
③しっぽ方向
14.6 %
0.5 %
6.1 %
0.4 %
④一人称・語尾
組み合わせ
84.2 %


# Page. 42

![Page Image](https://bcdn.docswell.com/page/63JKKMP4JD.jpg)

一人称・語尾による推定
©南澤久佳「魔法使い養成専門
マジックスター学院☆☆☆」
一人称による推定が無いと左の女性で推定されていた
語尾「じゃ」により，遠くにいるキャラクタを推定できた
©八神 健「 密・リターンズ！」


# Page. 43

![Page Image](https://bcdn.docswell.com/page/4LE3ZYXDE5.jpg)

発話者推定：結果
一人称・語尾による推定
正解率：6.1%
寄与率：0.4%
5,408件のセリフが正解
組み合わせることで
新たに353件のセリフが正解
一人称や語尾から
「男性」っぽさ，「ジジイ」っぽさといった
キャラクタの属性を抽出できていた
一人称・語尾が含まれるセリフ数：7,364件（10%未満）
5,408件 / 7,364件 = 73.4%のセリフは正解


# Page. 44

![Page Image](https://bcdn.docswell.com/page/V8EDR522JG.jpg)

発話者推定：結果
一人称・語尾による推定
正解率：6.1%
寄与率：0.4%
5,408件のセリフが正解
組み合わせることで
新たに353件のセリフが正解
一人称や語尾から
「男性」っぽさ，「ジジイ」っぽさといった
キャラクタの属性を抽出できていた
一人称・語尾が含まれるセリフ数：7,364件（10%未満）
キャラクタの属性を
5,408件抽出可能な発話特徴が必要！
/ 7,364件 = 73.4%のセリフは正解


# Page. 45

![Page Image](https://bcdn.docswell.com/page/4V7PWG1LJ8.jpg)

考察
• 2人では、10.4%のセリフに不一致が発生
– 人を増やし、多数決などを検討するとともに、
どういったものは簡単でどういったものは難し
いかなどを明らかにする必要あり
– 名探偵コナン問題をどう解決するかの課題
• ナレーションなどを除いても、14.7%のセリ
フは、同じコマに発話者が不在
– 色々な手法により判定する必要性
– 作品による偏りなどを分析する必要あり


# Page. 46

![Page Image](https://bcdn.docswell.com/page/L2JV86Y6JQ.jpg)

発話者推定：考察
• 「距離」「同じコマ」「しっぽ方向」「一人称・
語尾」の推定を組み合わせると84.2%の精度
高精度ではないが手がかりを組み合わせる
ことの有用性は見られた
• 「一人称・語尾」による推定精度は6.1%，それらの
単語が登場するセリフに対しては73.4%の精度で
推定可能
セリフの内容から得られる手がかりは有用だが
より多様な手がかりが求められる


# Page. 47

![Page Image](https://bcdn.docswell.com/page/Z5EG5N92EL.jpg)

考察
機械判定の難易度に影響する要素
Easy
Hard
あり
なし
あり
なし
吹き出しの形
キャラクタ固有
同一
発話者の存在
コマ内
コマ外
1人
複数人 or 1人
1つ
複数
近い
遠い
台詞のフォント
キャラクタ固有
同一
台詞の方向
キャラクタ固有
同一
台詞の口調
キャラクタ固有
同一
台詞とキャラクタの
見た目の関係
同期
非同期
発話者のヒント
あり
なし
要素
吹き出しの有無
吹き出しの形状 吹き出しのしっぽ
台詞とキャラクタ コマ内のキャラクタ数
の位置関係
コマ内のセリフ数
発話者と台詞の距離
台詞の表現と
キャラクタの
特性


# Page. 48

![Page Image](https://bcdn.docswell.com/page/V4JQZQW9JP.jpg)

考察
機械判定の難易度に影響する要素
要素
吹き出しの有無
吹き出しの形状 吹き出しのしっぽ
Hard
あり
なし
あり
14.6%
なし
吹き出しの形
キャラクタ固有
同一
発話者の存在
コマ内
91.5%
1人
37.1%
コマ外
8.5%
複数人 or 1人
1つ
複数
近い
81.0%
遠い
19.0%
台詞のフォント
キャラクタ固有
同一
台詞の方向
キャラクタ固有
同一
台詞の口調
キャラクタ固有6.1%
同一
台詞とキャラクタ コマ内のキャラクタ数
の位置関係
コマ内のセリフ数
発話者と台詞の距離
台詞の表現と
キャラクタの
特性
Easy
台詞とキャラクタの
見た目の関係
同期
非同期
発話者のヒント
あり
なし


# Page. 49

![Page Image](https://bcdn.docswell.com/page/DK743N1RE1.jpg)

まとめと今後の課題
• 14.8万件のセリフに対して発話者を付与す
るデータセットを構築
– 10.4%のセリフはひとによる評価ブレあり
– コマ内に発話者がいるのは85.3%
– 頻度の高い5人に限定すると距離だけで精度は
66.981.0%、組み合わせで78.684.3%の精度
• 今後の課題
– ひとによる評価ブレは大きく、どういったもの
でどの程度ブレるかは今後要検証
– マイクロタスク化可能なセリフなどの検証


# Page. 50

![Page Image](https://bcdn.docswell.com/page/PLJ115GVJG.jpg)

アノテーションの重要性
• Manga109を中心としたアノテーション
– Manga109を修正可能な仕組み
– 各自が構築しているデータセットが効果的に利
用できていないため、Manga109を中心として有
機的に繋がる仕組みの重要性
– アノテーション付与システムの共有化？
• Manga109以外を対象としたアノテーション
– 各研究室がもつ漫画を、コンテンツを共有する
ことなくアノテーションだけ共有可能にしたい
• コンテンツ番号とページ番号、座標で紐付ける？
• 仕組みがほしいです！！