SteamレビューのLLMを用いた分析

LLMを用いた 多言語ゲームレビューの多次元分析 李 佳欣 ／ 小山 友介 芝浦工業大学 1

研究対象と背景 『黒神話：悟空』をめぐる「文化発信」とプレイヤーの受け止め方 研究対象 研究背景 『黒神話：悟空』 発売後、中国内のメディアでは 「中国文化の海外発信」 「中国のソフトパワー」 中国神話・『西遊記』を背景に 中国のアクションRPG という文脈で取り上げられた Reuters (2024); ABC News (2024); SCMP (2024) 分析データ中国語 500件 ＋ 日本語 368件 ＝ 合計 868件（Steamレビュー） 研究上の問い メディアが「文化発信」と評価することと、 プレイヤー自身がそう受け止めることは同じなのか？ → 「何が語られるか」＋「中国文化をどう捉えるか」を中日レビューで分析 2

研究のポイント 同じ「文化への言及」でも、意味は同じではない 文化に触れる l 日本語レビュー 文化輸出として評価する 「西遊記を読んでからプレイするとさらにおい しい」 l 中国語レビュー 「一次有效的中国文化宣传」 （有効な中国文化の発信だった） → 文化には触れているが、「文化輸出」とは言 っていない → ゲームを中国文化の発信として評価している 本研究の考え方 「文化に触れたか」と「その文化をどう捉えたか」を、 別々の項目としてコード化する。 4

分析の考え方 文化については、3つの段階を分けて考える 2 1 作品内に中国⽂化の モチーフがある 神話・宗教・美術・建築など 3 レビューで文化に 触れる 「この表現は中国文化だ」 「文化輸出」として 評価する 文化発信・国家代表として評価 ②と③は同じではない 本研究では、②「文化への言及」と ③「文化輸出としての評価」を分けて分析する 4

研究課題 / Research Questions この研究で確認する3つのこと RQ1 LLMの判断は、人手の判断とどのくらい一致するか RQ2 中国語と日本語で、よく語られる話題は違うか RQ3 文化に触れたレビューは、その文化をどう捉えているか → この3点を順に見ていきます 5

データの選び方 中国語500件＋日本語368件＝868件 中国語レビュー 日本語レビュー クリーニング後 357,757 500 421 推奨／非推奨の比率 を保って無作為抽出 推奨474 / 非推奨26 − 53 非日本語 368 確認後の全件を使用 主分析 N = 868 中国語は多いため抽出、日本語は少ないため全件を使用 6

コードブック レビューを6つの観点で分類する 1 戦闘・操作 2 Combat 難易度・探索 技術性能 4 3 Audiovisual （AV） グラフィック・美術 音楽・映像演出 ローカライズ Localization（LOCAL） 翻訳・字幕 吹替・言語選択 0 = 言及なし 映像・音響 ｜ 5 文化 神話・宗教・建築 民俗・美学 1 = 短いが明確な言及 ｜ Narrative 人物・台詞 設定・世界観 6 Culture 物語 社会・公共 Social ゲーム産業・メディア 社会的評価 2 = 詳しい言及／主要テーマ 7

文化の捉え方 文化に触れたレビューを4タイプに分ける 文化への言及あり（1以上） 文化的読解タイプ：4分類 DOM｜主導的読解 NEG｜交渉的読解 OPP｜対抗的読解 OBS｜観察的読解 Oppositional Observational 文化輸出・国家代表を 明確に肯定 基本は肯定するが 留保・条件あり 文化輸出という見方を 拒否・批判 文化には触れるが 文化輸出とは捉えない Dominant Negotiated 重要なルール 「西遊記」という作品名だけでは「文化」としない 8

LLMの使い方と検証 検証用30件を、人手とGeminiが独立に判定 2 1 3 4 コードブック 検証用30件 独立に注釈 一致度 6項目＋文化4タイプ 中15＋日15 868件から抽出 人手・Gemini ラベル非共有 κwで確認 検証のポイント ・同じ30件を、人手とGeminiがそれぞれ判定 ・互いの結果を見せずに注釈し、その後で一致度を比較 LLM = Large Language Model（大規模言語モデル） ｜ 一致度確認後 → 同じコードブックで868件をGeminiが注釈 9

検証結果RQ1 6項目すべてで、人手とLLMの一致度を確認 検証用30件（中15／日15） 0.577 戦闘・操作 映像・音響 0.672 物語 0.681 0.620 ローカライズ 0.742 文化 0.868 社会・公共 0.0 0.2 0.4 0.6 0.8 1.0 κwの解釈：0.41–0.60＝中程度、0.61–0.80＝かなり⾼い⼀致、0.81以上＝ほぼ完全な⼀致（Landis & Koch, 1977） 10

結果 1｜よく語られる話題 RQ2 日本語は「戦闘・操作」が高く、中国語は「社会・公共」が相対的に高い 50.2 戦闘・操作 83.7 23.4 映像・音響 47.3 28.2 物語 39.9 0.4 ローカライズ 13.9 6.8 10.1 文化 中国語 28.6 社会・公共 日本語 21.5 0 出現率 = スコア1以上（%） 主分析用868件（中500/日368） 25 50 75 100 11

補足分析｜RQ2 100字以上では3項目で方向が反転 全体と「100字以上」を並べて比較 項目 全体（N=868） 100字以上 （中国語75・⽇本語223、N=298） 変化 中国語 日本語 中国語 日本語 戦闘・操作 50.2 83.7 88.0 98.7 方向維持 映像・音響 23.4 47.3 68.0 62.8 反転（p=.415） 物語 28.2 39.9 69.3 56.1 反転（p=.043） 文化 6.8 10.1 22.7 15.7 反転（p=.169） 社会・公共 28.6 21.5 53.3 29.6 方向維持 反転した3項目のうち、有意差が残ったのは「物語」のみ → 最初の差の一部はレビュー長の構成に左右される可能性 ※ 出現率 = スコア1以上（%） 同じ内容でも、⽇本語は中国語より⽂字数が多くなる傾向がある。例：中⽇平⾏コーパスでは平均17.35字（中国語）対28.16字（⽇本語）、約1.62倍（Ren & Liu, 2006）

結果 2｜文化の捉え方 RQ3 文化に触れた71件のうち、88.7%は「観察的読解」 文化の捉え方 文化への言及あり 71 中国語 34/日本語 37 文化に触れた割合の差 有意ではない（p=.084） 観察的読解 63 / 71 = 88.7% 観察的読解 63 文化には触れるが、文化輸出とは捉えない 主導的読解 7 文化輸出・国家代表として肯定 対抗的読解 1 その見方を拒否・批判 交渉的読解 0 基本は肯定するが留保あり 「文化への言及」 ≠ 「文化輸出としての評価」 13

結論 3つの研究課題（RQ）に対する答え RQ1 LLMの判断は、人手の判断とどのくらい一致するか。 6項目のκw = .577〜.868：項目差はあるが、一定の人手–LLM一致を確認 文化=.742／社会・公共=.868 → 同じコードブックで868件の主分析を実施 中国語と日本語で、よく語られる話題は違うか。 RQ2 日本語：「戦闘・操作」が顕著に高い（83.7% vs 50.2%） 中国語：「社会・公共」が相対的に高い（28.6% vs 21.5%） ローカライズ差は受容環境の影響も考慮 文化に触れたレビューは、その文化をどう捉えているか。 RQ3 文化に触れた71件（中34／日37）の88.7%が「観察的読解」 → 文化への言及 ＝ 文化輸出としての評価、ではない 結論：話題の違いと、文化の「言及」と「意味づけ」を分けて捉えることが重要 14

限界・今後の課題 現在の限界と、次に改善する点 データ構成 注釈の信頼性 一般化可能性 課題 課題 課題 レビュー長・表記体系 ・推薦比率の違い 人手参照1名・検証30件 ・単一LLM 単一作品・Steam投稿 者のみ・言語≠文化的ア イデンティティ 改善 改善 改善 レビュー長を共変量に した分析／長さのマッ チング／多重比較補正 複数人coder／検証サン プル拡大／複数LLM・反 復実行 他作品・英語レビュー ／他プラットフォーム ／質問紙との組み合わ せ ※ 100字以上の分析は「長さを統制した分析」ではなく、短いレビューの影響を減らすための補足分析 15

ご清聴ありがとうございました 1 6

APPENDIX 質疑用 補足スライド κの計算／サンプリング／文化コードの境界／統計結果 1 7

補足B｜データ選定と検証用30件 review ID重複を除去 空欄・10文字未満・数字／記号のみを除外 過度な反復・広告・求赞・ASCIIアート等を除外 URL・BBCode削除、Unicode正規化 中国語：推奨／非推奨比率を保持した比例層化無作為抽出（N=500） 日本語：421候補から非日本語53件を除外し、368件を全数使用 検証用：868件から30件（中15／日15）を抽出。文化・社会の判定ルールを確認。 1 8

如果是为了战斗爽，我十分的推荐，好玩好玩。我给差评的原因，一这不是我想要的 大圣，二剧情后面过于离谱…… 游戏本身是可行的，但扯到文化输出……我不认同。 ……结果告诉我这天上的神佛和地上的妖魔没有区别，大圣还是妖怪，不是什么斗战 胜佛也不是什么齐天大圣孙悟空…… language：zh（中国語） Steam评价：negative D_CULTURE = 2 D_SOCIAL = 2 reading_type = OPP 1 9

補足C｜「文化」と「社会・公共」の境界 文化（CULTURE）文化内容そのもの 社会・公共（D_SOCIAL） ゲームを取り巻く社会的な話題 中国神話、宗教、建築、伝統音楽、民俗、 美学など 「文化内容そのもの」への実質的な言及 メディア、SNS、配信者、受賞、論争、産業、 国家的・社会的評価など「公共的言説」 例： 「寺院建築や壁画の表現から、中国仏教文 化を感じる」 例： 「中国初のAAA（トリプルエー）として、 産業的に重要な作品だ」 ×「西遊記が原作だから」だけでは文化言 及としない × 文化内容に触れなければ D_CULTURE に はしない 2 0

補足E コードブックと4分類の理論的根拠 ① なぜ「6項目」なのか 先行研究＋パイロットデータによる整理 ゲーム レビュー研究 ゲームプレイ・物語・ローカ ライズなどの評価観点を参考 質的内容分析 既存概念からの演繹＋データ からの帰納を組み合わせる 本研究の調整 文化/社会・公共を追加し、6 項目としてコードブック化 → 1つの既成理論をそのまま転用した6分類ではない ② なぜ文化を「4タイプ」に分けるのか Hallの受容理論を基礎に、OBSを追加 Hall (1980) Encoding / Decoding Dominant（主導的） Negotiated（交渉的） Oppositional（対抗的） OBS｜Observational（観察的読解） 文化には言及するが、「文化輸出」という枠 組み自体を採用しないレビューを、データに 基づいて追加分類 質疑での回答：6項目＝「先行研究＋パイロットレビュー」、4タイプ＝「Hallの3類型＋本研究で追加したOBS」 参考：Hall (1980); Zagal & Tomuro (2013); Brückner et al. (2018); Elo et al. (2014) 23