【DeNA QA Night 特別編】その検証、AIなら即日です 〜ストア審査・倫理審査の実践〜

その検証、AIなら即日です 〜ストア審査・倫理審査の実践〜 諸冨 弘樹 IT本部品質管理部ソーシャルQAグループ 株式会社ディー・エヌ・エー © DeNA Co., Ltd. 1

こんな課題はありませんか リリース直前のバグ発覚 テスト設計が「ベテランの勘」依存 テスト終盤でクリティカルな不具合が見つか 仕様の行間を読むテストや過去の障害観点が り、修正と再テスト（リグレッション）でリ 経験者の頭の中にしかなく、品質が属人化し リース予定が大きく狂う ている 開発スピードに追いつかない テストの運用保守が負担 アジャイル等で開発サイクルが高速化する 仕様変更が頻発する中、膨大なテストケース 中、テスト工数が削られ検証が形骸化してい や自動化スクリプトのメンテナンスに追われ く悪循環 手が回らない © DeNA Co., Ltd. 2

私たちの場合 リリース直前にNGで手戻り 判断が「熟練者頼み」になっている リリース予定日を控えストア審査は一発合格 低頻度の倫理観点やガイドライン解釈は経験 したいのにリジェクト、修正・再検証で予定 者の頭の中にしかなく、属人化が深刻 が大幅に狂う スピードと品質のトレードオフ 基準の更新と継承 リリースサイクルを早めるほど検証が形骸化 Apple・Googleの規約や審査OK/NGラインの し、致命的なリスクを見落とす懸念 知識のメンテナンス © DeNA Co., Ltd. 3

ガードレールの徹底 AI推進の絶対条件 ＝ 「他社IP・権利の保護」と「自社ブランドの守護」 攻めと守りを両立する独自のAI利用ガイドラインに沿った強固なガバナンス ・ツールの安全性 社外AIツールの利用規約（学習利用の有無等）に合せて用途を使い分ける ・インプットの保護 IPや個人情報を含むデータの取り扱いは厳格に運用し、基準をクリアしたものだけを利用 ・アウトプットの担保 他社の権利を侵害しないか、「最終判断は必ず人間が行う」プロセスを組み込む © DeNA Co., Ltd. 4

DAAQ ― DeNA AI Advanced Qualityとは ストア審査 倫理審査 ストア審査を専門に検証 表現の批判リスクと品質を検証 ∙ App Store / Google Play ガイドラインの適合 ∙ 倫理チェック（テキスト・画像・動画） ∙ メタデータ、アプリの操作動画をチェック ∙ 66項目マスタ × 多段検証 ∙ 345項目マスタ x 多段検証 ∙ 約600件の過去炎上事例を活用 ∙ 約1600件の過去審査事例を活用 ∙ 校正チェック（誤字・表記ゆれ 等） 「暗黙知」に頼っていたリスク判断を形式知化し、AIを活用 属人性を排除し、高い品質レベルで均質な検証を実現する仕組み © DeNA Co., Ltd. 5

ストア審査 © DeNA Co., Ltd. 6

ストア審査の課題 ✕ ✕ ✕ ✕ ✕ 38 ステップの手順 書で運用 ツール間の往復が 多い 各項目を 3 回手動 照合 固定値も AI に再 出力させる 資料が分散 複数のAIツールを使っ て、スプレッドシートを人 手で繋ぐ半自動 DL→リネーム→再アップ ロードを繰り返す 結果一致の確認を目視 で実施し、時間がかかる A〜H列（項目定義）まで 毎回出力させ、手戻りが 発生 プロンプト版・項目書・過 去リスクが複数のシート に散在し追えない 依頼受領 → AI検証 → 人レビュー → 報告 → 仕上げ の全工程が、ツール間の手作業で分断されている © DeNA Co., Ltd. 7

解決 ― 全工程を 1 つのワークフローに統合 1 依頼受領 案件を作成し、審査資料などを登録 ▼ 2 AI検証 項目ごとに検証x3回（並列） ▼ 3 人レビュー 「要確認」だけを人が見て、最終判定 ▼ 4 報告 NG抽出・件数集計を反映した報告書を自動生成 ▼ 5 © DeNA Co., Ltd. 仕上げ リスクランクを確定し、最終報告書を整える 案件ダッシュボード（実画面） 8

特徴 4種 ×3 ゼロ 自動 スライス対応 多数決で安定化 シート往復 報告書生成 iOS / Android × メタデータ / 動 画 を同一パイプラインで 項目ごとに3回並列、一致をコー ドで判定 DL→リネーム→再UPの 往復を撤廃 NG抽出・件数集計と リスクランクまで自動で作成 「マスタ＝DB ／ AI＝生成だけ ／ 集計＝コード ／ 判定＝人」で、正確さと速さを両立 © DeNA Co., Ltd. 9

倫理審査 © DeNA Co., Ltd. 10

目視チェックの限界 ✕ ✕ ✕ ✕ ✕ 大量テキストを目 視チェック 基準が属人化 見落とし（抜け漏 れ） 報告文の作成に手 間 媒体ごとに分断 行数が多いほど工数が 膨らむ 担当者ごとに観点や判 断がばらつく 人手では検出漏れが起 こりやすい 検出後の文章化に追加 の時間がかかる テキスト・画像・動画が 別作業 媒体をまたいだ表現チェックを人手で行うため、工数・基準ばらつき・抜け漏れが課題 © DeNA Co., Ltd. 11

解決 ― 全工程を 1 つのワークフローに統合 1 入力 テキスト直接入力 / Googleドライブ / ローカル から資料を アップロード ▼ 2 行ごとに並列で AI判定 1行＝1リクエストで判定 ▼ 3 懸念を検出 ＋ 理由 該当項目・問題箇所・根拠をセットで提 示 ▼ 4 リスクランク判定 「懸念あり」の件だけ S / A / B / C を判定 ▼ 5 © DeNA Co., Ltd. 報告文を自動生成 検出結果から報告文ドラフトを作成 倫理チェック（実画面） 12

特徴 32 S/A/B/C 並列でAI判定 リスクランク 1行＝1リクエストを 最大32本まで同時実行 「懸念あり」だけをランク判定 3種 自動 媒体を横断 報告文生成 テキスト / 画像 / 動画 を同じ基盤で 検出結果から報告文をドラフト自動作 成 © DeNA Co., Ltd. 13

おわりに 即日 ▲90% 以上 同等 検証完了 人の最終確認を削減 検証精度を維持 平均 5 営業日 → 即日で完了 人が確認する項目を大幅に圧縮 精度は従来と同水準を保つ AIは量（網羅）、人は質（最終判断） DAAQ詳細は こちら © DeNA Co., Ltd. 14

• https://dena-daaq.com/

おわりに 汎用AIモデルの性能が上がるほど、 最後に差を生むのは「自社の生きたデータ」です © DeNA Co., Ltd. AIが瞬時にドラフトを作り、 自分たちの「得意」を 人がレビューと承認を行う 言語化し、AIを育てる 15

当日頂いたご質問と回答① 参加者のご質問 登壇者の回答 最終判断は必ず人が行うとのことですが、具体的にどの工程で 人が介入しますか？ 以下の２段階で介入します。 【中間工程】 AIの出力をそのまま採用せず、評価のブレや後続作業の無駄を 防ぐために必ず人が確認します。 【最終工程】 報告結果の仕上げで過去の審査NG事例や炎上事例との比較、 バイアスの排除、妥当なリスクランクへの落とし込みを行いま す。また、社内決済済みの既知リスクを重複報告してノイズに ならないよう調整しています。 AIで検証が即日完了するようになっても、直前に手戻りが発覚 する課題自体は変わらないのではないでしょうか？ 【倫理審査・ストア審査】 ツールを活用することで即日検証が可能となり、不具合や問題 を早期指摘して修正のためのリードタイムを十分に確保できる ようになりました。 【ストア審査】 今後は動画撮影もAIで自動化し、検証時間をさらに短縮するこ とで手戻り影響の最小化を目指します。 © DeNA Co., Ltd. 16

当日頂いたご質問と回答② 参加者のご質問 登壇者の回答 平均５営業日から即日で完了とのことですが、案件規模やボ リュームによる検証時間の振れはありますか？ 【ストア審査】 アプリの機能ごとに確認ポイントの差はありますが、アプリ個 別の機能ではなく「審査ガイドライン」や「過去約１６００件 の社内外事例」を基準にチェックするため、サービスのジャン ルを問わないので大きな振れはありません。 【倫理審査】 医療倫理などナレッジ蓄積が少ない分野ではランク評価のため の調査に時間がかかる場合もありますが、リリーススケジュー ルを阻害する程の大きな影響はありません。 ツールの出力結果は同じ条件で実行すれば再現されますか？ それともばらつきが出ますか？ 項目ごとに傾向が異なります。一例として、ダイアログの有無 など明確な判定項目はブレませんが、性表現や暴力的な表現な ど人間の判断でも解釈が分かれる項目は、AIの判定にもばらつ きが生じます。 そのため最終的に人が、社内基準をもとに内容を精査、ばらつ きを調整して品質を担保しています。 © DeNA Co., Ltd. 17

当日頂いたご質問と回答③ 参加者のご質問 登壇者の回答 ツールを実運用に乗せられると判断するまでに、どれくらいの 期間がかかりましたか？ 対話型AIを活用した運用定着まで、倫理審査で足かけ約半年、 ストア審査で約３ヶ月を要しました。 この運用をAPIを活用したツールに反映する実装は、現在も継 続中です。報告書の出力自動化や動画撮影の自動化など、さら なる効率化に向けた改善を行っています。 © DeNA Co., Ltd. 18

© DeNA Co., Ltd. 19