BASE☆BLUE: 4つの問題で学ぶ、プロンプト設計

BASE☆BLUE: 4つの問題で学ぶ、プロンプト設計 株式会社ディー・エヌ・エー ソリューション本部エンタープライズ事業部スポーツプロダクト部開発グループ あるぱか © DeNA Co., Ltd. 1

０ 自己紹介 あるぱか - STAR GUIDE のバックエンドを中心に開発しています id: arupaka03254 © DeNA Co., Ltd. 2

目次 1 なぜAI解説「BASE☆BLUE」は生まれたのか 2 モデル選定の話 3 ４つの壁から学ぶプロンプト設計 4 まとめ © DeNA Co., Ltd. 3

目次 1 なぜAI解説「BASE☆BLUE」は生まれたのか 2 モデル選定の話 3 ４つの壁から学ぶプロンプト設計 4 まとめ © DeNA Co., Ltd. 4

11 なぜAI解説「BASE☆BLUE」は生まれたのか STAR GUIDE は、横浜スタジアムでの観戦を もっと快適に、もっと楽しくするための公式アプリです。 © DeNA Co., Ltd. ● チケット表示 ● 座席案内 ● グッズ・飲食情報 ● 試合日程の確認 ● ..etc 5

11 なぜAI解説「BASE☆BLUE」は生まれたのか BASE☆BLUE の紹介 「熱烈応援」 AI 全打席・全投球をリアルタイム解説 データ × 熱量で「観戦の文脈」を届ける © DeNA Co., Ltd. 6

11 なぜAI解説「BASE☆BLUE」は生まれたのか ハマスタで観戦を 思いっきり楽しむなら STAR GUIDE は、 「ハマスタで観戦を思いっきり楽しむなら」という考えのも と、横浜スタジアムでの観戦体験を豊かにする機能を提供し てきた © DeNA Co., Ltd. 7

ハマスタでも試合中継でも 観戦体験を届けたい © DeNA Co., Ltd. 8

11 なぜAI解説「BASE☆BLUE」は生まれたのか ハマスタでも試合中継でも。 試合状況を追うだけでは分からない「プレーの背景」を知る ことで、 観戦の面白さはもっと深まる 膨大なデータからリアルタイムでどんな逆境でもポジティブ なデータで勝利への希望を届ける それが、AI解説「BASE☆BLUE」の役割 © DeNA Co., Ltd. 9

目次 1 なぜAI解説「BASE☆BLUE」は生まれたのか 2 モデル選定の話 3 ４つの壁から学ぶプロンプト設計 4 まとめ © DeNA Co., Ltd. 10

21 1 モデル選定の話 Gemini 2.5 Flash モデルを採用した理由 ● 解説生成で重要なのは 正確性 と リアルタイム性 ○ 正確性: 試合状況、選手名を誤らず、毎打席の文脈に沿った解説を安定して 生成すること ○ © DeNA Co., Ltd. リアルタイム性: 生成速度が速く、ユーザーに素早く解説を届けられること 11

21 1 モデル選定の話 Gemini 2.5 Pro の課題 問題点 ● 選手名を誤って出力するケースが頻発 ● 例：藤浪晋太郎投手→ 蔤浪晋太郎投手 Unicodeエスケープ形式のまま出力される デコードすると誤った漢字になる 再生成を指示しても、同一リクエスト内で再発 © DeNA Co., Ltd. 12

目次 1 なぜAI解説「BASE☆BLUE」は生まれたのか 2 モデル選定の話 3 ４つの壁から学ぶプロンプト設計 4 まとめ © DeNA Co., Ltd. 13

４つの壁 1 解説が単調で「またこのパターンか」 2 良かれかと思った「例」の逆効果 3 空気が読めないAI 4 品質にばらつきがある © DeNA Co., Ltd. 14

問題１ 解説が単調で「またこのパターンか」 © DeNA Co., Ltd. 15

31 2 1 解説が単調で「またこのパターンか」と思われる 同じ試合状況が続くと、ほぼ同じ言い回しが連続 で出る 主語だけが変わり、文の表現が固定化されている 原因 ● AIによる表現力の問題ではなく、プロンプト に多様性を生むための具体的な指示が不足 していた © DeNA Co., Ltd. 16

31 2 1 解説が単調で「またこのパターンか」と思われる プロンプトで指定しても同じような表現を繰り返してしまう、、 © DeNA Co., Ltd. 17

解説が単調で「またこのパターンか」と思われる 31 2 1 プロンプトに明確な「型」を定義し、AIに選択させる方式を導入し、 思考を流れを「型」でガイドするようにした 【信頼・鼓舞型】 「〇〇投手、テンポ良くゼロで繋げ！」 【状況強調型】 「球数を抑えて流れを渡さない！」 【データ証明型】 「数字が示す、〇〇投手の優位！」 型は自由度を削るのではなく、道を誤らないように支える仕組み © DeNA Co., Ltd. 18

31 2 1 解説が単調で「またこのパターンか」と思われる 人間で例えてみる 「テストで良い点をとってください」 ……さて、何をしますか？ © DeNA Co., Ltd. 19

31 2 1 解説が単調で「またこのパターンか」と思われる 何も指示がないと、人はこう動く ● まずは教科書を最初から読もう → 基礎を押さえるのが一番無難だと思う ● 教科書より難しい問題が出たら不安 → でも他の学び方は知らない ● 点数は上がったし、失敗はしていない → 結局、前と同じやり方に戻る 結果、毎回「同じ勉強パターン」になる © DeNA Co., Ltd. 20

31 2 1 解説が単調で「またこのパターンか」と思われる AIでも、全く同じことが起きていた ● 紋切り型は最大の敵 ● 違う言葉でファンの心を揺さぶれ ● 退屈させることは断じて許されない でも「どこを変えればいいか」は書いていない 型 がないと、 AIは何を変えればいいか分からず、 同じ文章構造を繰り返す © DeNA Co., Ltd. 21

問題２ 良かれかと思った「例」の逆効果 © DeNA Co., Ltd. 22

31 2 1 「例の与えすぎ」が逆に多様性を失わせる罠 品質向上を狙い、プロンプトに生成例を30件追加したところ、逆に状況に合わ ない表現が頻発。多様性が失われてしまった 原因 © DeNA Co., Ltd. ● 例が多すぎて、重要な指示や試合データが埋もれてしまった ● 例をどのように参考にするべきかが明文化されていない 23

31 2 1 「例の与えすぎ」が逆に多様性を失わせる罠 Gemini 2.5 Flash の特性 © DeNA Co., Ltd. ● 高速性重視 → パターン認識が強い ● 例への依存度が高い ● 20個の似た例 → 「これが正解」と学習 24

「例の与えすぎ」が逆に多様性を失わせる罠 31 2 1 量ではなく質 少数の高品質な生成例だけを使い、5〜10個に厳選 同じ表現の繰り返しが起きない例のみ残す 生成例はスタイルの基準を示すだけ © DeNA Co., Ltd. 25

問題3 空気が読めないAI © DeNA Co., Ltd. 26

31 2 1 攻守や試合状況に合わない温度感の解説が出る リードしているのに「逆転のチャンス！」と出力されるなど、試合の文脈 や温度感を無視した解説が生成された 原因 ● 1つの巨大なプロンプトですべての状況に対応しようとしたため、AIが 文脈を把握しきれなかった © DeNA Co., Ltd. 27

31 2 1 攻守や試合状況に合わない温度感の解説が出る プロンプトを 攻守 と スコア状況 の組み合わせで 6パターンに分割した それぞれの状況に特化した指示と、参照すべき例も同じ軸 で分割して配置する 状況ごとに最適な例を参照し、 AI が文脈に合った温度感で生成できる © DeNA Co., Ltd. 28

問題４ 品質にばらつきがある © DeNA Co., Ltd. 29

31 2 1 出力品質にばらつきがある（中国語が混ざるなど） プロンプトで「日本語のみ使用」と指示しても、中国語が混入する また、禁止用語を避けてくださいと指示しても、出力されてしまう 原因 © DeNA Co., Ltd. ● LLMは確率的であり、プロンプトだけで制御することは100％不可能 ● 〜しないでくださいという指示は逆にその単語を意識させてしまう 30

出力品質にばらつきがある（中国語が混ざるなど） 31 2 1 プロンプトだけでは品質を安定させられないため、 アプリケーション側で多層的にチェックする仕組みを導入した 第一層: プロンプト設計 第二層: 出力検証 禁止語ではなく、推奨する表現や型を提示し ポジティブに誘導する(DO形式の指示) アプリケーション側で禁止語や不正な文 字が含まれていないかを自動チェック 第三層: 自己修正 問題を検出したら、「何が問題だったか」を具体的 にフィードバックしてAIに再生成を依頼する © DeNA Co., Ltd. 31

目次 1 なぜAI解説「BASE☆BLUE」は生まれたのか 2 モデル選定の話 3 ４つの壁から学ぶプロンプト設計 4 まとめ © DeNA Co., Ltd. 32

41 3 2 1 AIとの付き合い方 AIは魔法のようなものではない。優秀な対話相手である © DeNA Co., Ltd. 多様性 例の与え方 AIが勝手に生むものではな く、人間側が設計するもの 型を定義し状況に応じてAIに 選択させる 例は方向性を示すもの 最小限の質の高い例で、AIの 表現の自由度を守る 文脈の制御 品質の安定化 プロンプトを攻守とスコア状 況の組み合わせで 6パターン に分割した プロンプト設計・出力検証・ 再生成の3層構造でチェック し、誤字・混入のズレをアプ リ側で補正する 33

ぜひ「BASE☆BLUE」と共に、 野球観戦を楽しみましょう！ © DeNA Co., Ltd. 34

© DeNA Co., Ltd. 35