映像コンテンツ視聴における部分的英語字幕の遅延提示がリスニングに及ぼす影響

映像コンテンツ視聴における 部分的英語字幕の遅延提示が リスニングに及ぼす影響 鳩貝怜央，木下裕一朗，中村聡史（明治大学）

背景 英語学習 単語や文法ベースの学習は退屈になりがち [Yu 2022] 映像コンテンツを用いた学習方法は • 学習の動機づけを高め，語彙の習得やリスニング力向上に 効果的 [Webb 2015] • 学習者の興味のある映像で視聴できるため継続しやすい 映像コンテンツを第二言語で視聴する学習方法に着目 Yu, K.: A Research on College Students’ English Learning Methods through Mobile Phone-Based software, Proceedings of the 2022 3rd International Conference on Education Development and Studies,pp. 71–75 (2022). Webb, S.: Extensive Viewing: Language Learning through Watching Television, Language Learning Beyond the Classroom, pp. 159–168 (2015). 2

背景 字幕 字幕を表示することで聞き取りやすくなり，単語の意味を 知ることができる [Hsu+ 2013] [Montero+ 2013] 音声が英語の際 • 日本語字幕：映像ではなく字幕ばかり見てしまう • 英語字幕 ：そもそも意味の理解が難しい Hsu, C.-K. et al.: Effects of Video Caption Modes on English Listening Comprehension and Vocabulary Acquisition Using Handheld Devices, Journal of Educational Technology Society, Vol. 16, No. 1, pp. 403–414 (2013). Montero Perez, M., et al.: Captioned video for L2 listening and vocabulary learning: A meta-analysis, System, Vol. 41, No. 3, pp. 720–739 (2013). 3

提案手法 通常時は日本語で、特定のシーンにおいて英語に切り替える字幕 • 前後は日本語のため理解でき、映像の視覚的な情報や話の流れから 意味の類推が可能 • 能動的に意味を類推することで学習につながる 日本語字幕 英語字幕 日本語字幕 4

提案手法 5

これまでの研究（EC75） 実験 学習者に馴染みのあるシーンに着目 • あらかじめ知っている情報・共感できる要素が増える 比較手法：日本語と英語が同時に提示される字幕 [Kadoyama+ 1998] 2日間で2種類の字幕提示手法で視聴後に内容理解テストと 聞き取りテストを実施 Kadoyama, T.: Combined Use of English and Japanese Subtitles in Film Videos : An Attempt to Make Closed Captions More Accessible to Learners, (1998). 鳩貝 怜央, 木下 裕一朗, 中村 聡史. 学習者に馴染みのあるシーンの字幕英語化による意味類推を用いた英語学 習支援手法の提案, 情報処理学会 研究報告エンタテインメントコンピューティング（EC）, Vol.2025-EC-75, No.44, pp.1-8, 2025. 6

これまでの研究（EC75） 結果 全体としては有意差が見られなかった TOEICの点数順に3つの群に分類 • 高い群において、提案手法と馴染みのあるシーンの両方で 正答率が高い しかし、これまでの手法は字幕が音声と同時に提示される • 音声を聞き取る前に字幕を読むことが可能 →リスニングへの学習効果を十分に高めることができなかった 可能性 7

英語字幕の遅延提示手法 これまでの手法を改良し、英語で提示される字幕に遅延をかける • 字幕を遅延させることで、学習者はセリフと同時に字幕を 読めなくなるため、音声を集中して聴くようになると考えた 8

英語字幕の遅延提示手法 9

実験概要 字幕付きの映像を視聴し、書き取りを行う実験 • 大学生・大学院生40名 • これまでの手法と比較 映像作品選定 おさるのジョージ：使用されている英単語の難易度が高すぎず、 会話速度の早い作品 • パイロットテストより実験では遅延時間を2秒に設定 10

実験手順 事前テスト 本番テスト NASA-TLX回答 群分けのために実験前に事前テストを実施 • 音声のみのディクテーション（書き取り）を12問 • 各音声を最大3回ずつまで再生し、聞こえた英語を一語一句 書き取る 本番テスト： 20本の動画を手法で視聴し、それぞれのディクテーションを行う 11

実験手順 4回繰り返す 映像を5本視聴 5回ディクテーション 1つの映像内の字幕の流れ 日本語字幕 英語字幕 日本語字幕 英語字幕で提示された セリフを視聴 書き取り 3回まで視聴可能 1回まで視聴可能 12

仮説 仮説 1: 提案手法は比較手法よりも聞き取りへの 学習効果が高い 仮説 2: 遅延されることにより字幕が一時的に消える 提案手法は比較手法よりも認知負荷が高い 13

本番テストでの手法別の正答率 正答率(%) 結果 提案手法 比較手法 14

結果 推定正答率(%) 手法間のGLMMの結果 提案手法 比較手法 • 参加者の英語力の差と問題の難易度の差をランダム効果で考慮 15

結果 手法ごとのRaw-TLXの結果 提案手法 比較手法 平均 標準偏差 平均 標準偏差 知的・知覚的要求 82.00 10.56 73.50 21.65 身体的要求 25.25 27.07 23.75 23.89 タイムプレッシャー 60.25 25.00 44.00 27.84 作業成績 36.50 27.96 37.75 27.02 努力 85.50 12.02 71.75 19.28 フラストレーション 49.25 24.08 48.00 23.25 総合スコア 56.46 9.57 49.79 11.72 • NASA-TLXの6つの尺度項目(Raw-TLX)を使用 • 作業成績以外の項目で提案手法が高くなった 16

考察 本番テストで手法間の差はなかった • しかし、中央値は約10%、標準偏差は約7%の差とそれぞれ 大きくなってしまった 事前テストで手法間の標準偏差の差が大きくなってしまい、 ばらつきの差が本番テストにも反映されてしまった可能性 提案手法の偏差値が下がり、比較手法の偏差値が上昇した 提案手法で認知負荷が高くなりすぎた可能性 17

考察 Raw-TLXの作業成績以外の項目で提案手法が高いスコアを得た 英語字幕が表示されるまでに遅延が生じるため、 学習者への認知負荷が高くなった可能性 18

まとめ • 背景：映像コンテンツを用いた学習方法に着目 • 手法：英語字幕に切り替える際に遅延をかける • 実験：手法を用いた映像視聴後にディクテーション • 結果：差は見られなかった • 考察：群分けが適切でなかった可能性 19