ナレッジワークにおけるAI活用をベースとしたQAプロセスの最適化

QA Test Talk Vol.8 ナレッジワークにおける AI活用を ベースとした QAプロセスの最適化 2026/08/05(水) 19:35-19:50 ＠PKSHA Technology 様 河野哲也 / tettan（@TetsuayaKouno） 株式会社ナレッジワーク

発表のアウトライン ● 背景 ● 過去：QAプロセス最適化までの道のり ○ QA業務へのAI利活用 ○ シナリオベース自動テスト ● 現在：QAプロセスの最適化 ○ シナリオベース自動テスト＋探索的テスト ○ API自動テスト＋E2Eテスト © Knowledge Work Inc. 2

自己紹介：河野哲也 (𝕏:@TetsuayaKouno) ● 現職：株式会社 ナレッジワーク QA Engineer ○ ナレッジワーク ■ ○ 営業生産性の向上を実現する「セールスAIエージェント」の構築・運用 プロダクトのQA担当（マネージャではなくてICです） ■ 現在はプロダクトから離れて横断施策動かしてます ● 経歴 ○ 高校卒業後日本無線でハードウェアQA（約10年） →電気通信大学で社会人マスタ/ドクタ ＋ フリーのコンサルタント →日立製作所でストレージ管理ソフトウェアのQA(約6年) →DeNAでWeb・モバイルのQA(3年半) →メルカリでグローバル環境でQA →2023年5月ナレッジワークにジョイン ● プライベート ○ ○ ITスタートアップのためのQAの考え方 前編 ／ 後編 QAエンジニア転職戦記 © Knowledge Work Inc. 3

• https://amzn.to/3R6Iq0Q
• https://amzn.to/3SzxNUL
• https://amzn.to/4eLOOSS

背景：ナレッジワーク QAの特徴と課題 ● ナレッジワークQAの特徴 ○ ○ オフィシャルなQA組織がない → 仮想QA組織：QA Guildの運営 GM ソフトウェアエンジニア QAエンジニア 開発グループB PdM GM ソフトウェアエンジニア QAエンジニア 開発グループC PdM GM ソフトウェアエンジニア QAエンジニア 開発グループN PdM GM ソフトウェアエンジニア QAエンジニア QA領域では組織的なAI活用の 標準化が課題だった ■ ○ 開発グループA PdM 完全内製によるQA ● 起こっていた課題 ○ QA Guild 仮想の QA組織 基本的には個人の裁量で進めていた 2026年2月からテコ入れをスタート © Knowledge Work Inc. 4

発表のアウトライン ● 背景 ● 過去：QAプロセス最適化までの道のり ○ QA業務へのAI利活用 ○ シナリオベース自動テスト ● 現在：QAプロセスの最適化 ○ シナリオベース自動テスト＋探索的テスト ○ API自動テスト＋E2Eテスト © Knowledge Work Inc. 5

QA業務への AI利活用： Project QAX ● QA業務へのAI利活用のためのプロジェクトを発足（2026年2月） ○ 2025年12月くらいから別枠でAI機能QAのガイドラインと 品質チェックリストを細々と作成（SQiPシンポジムで発表します） ● Project QAX ○ 品質保証活動でAIの利活用を横断的に推進する ○ 具体的な施策 ■ Claude Codeの Skills の開発・提供とオンボーディング ■ 主要なQA業務に対して Skillsの利用により半自動化 © Knowledge Work Inc. 6

開発プロセスの概要 AT：Acceptance Testの略 QAによるテスト実施前に行う開発者テスト 計画 要件定義・デザイン 実装 A T テスト実 施 リリース テスト分析・テスト設計 （Test Design Doc） © Knowledge Work Inc. 7

施策の全体像 ATの設計Skill AT：Acceptance Testの略 QAによるテスト実施前に行う開発者テスト 計画 要件定義・デザイン 実装 A T テスト実 施 リリース テスト分析・テスト設計 （Test Design Doc） テスト設計Skill © Knowledge Work Inc. レビューSkill バグチケSkill 8

Project QAXの施策の効果検証 ● 利用率：発生した業務に対する利用は65% ○ ATの設計Skill：71%／テスト設計Skill：73%／レビューSkill：50% ● 削減工数：平均28%削減（試算ベース） ○ ATの設計は平均63%削減が見込める ○ Skillsの使い所は手探りであるものの、全体的に業務効率化ができそう ● QAEの利用率：一定の利用率が確認できた ○ Claude Codeの利用が当たり前になった © Knowledge Work Inc. 9

発表のアウトライン ● 背景 ● 過去：QAプロセス最適化までの道のり ○ QA業務へのAI利活用 ○ シナリオベース自動テスト ● 現在：QAプロセスの最適化 ○ シナリオベース自動テスト＋探索的テスト ○ API自動テスト＋E2Eテスト ● まとめ © Knowledge Work Inc. 10

Project QAXのその後 ● Project QAX によりSkillsの利用が広がった（と思う） ○ 1周遅れに挽回した印象 ● 開発スピードの加速に伴いQA業務がボトルネックになるかも ○ テスト実行以外はSkillsによる業務改善は見えてきた ● テスト実行の抜本的テコ入れに着手（2026年4月） ○ 回帰テストを目的としたE2Eテストではなく エピック開発内で実行するテスト自動化 ○ Claude Codeをベースとした Playwright MCP / CLIや Agent Browserを利用した自動テスト実行 ■ 実行の入力は自然言語で書かれたテストシナリオ ■ 一連のSkillsを作成：シナリオ作成・シナリオレビュー・テスト実行 © Knowledge Work Inc. 11

シナリオベース自動テストの全体像 Human レビュー PRD ・要求、要件 ・US：User Story ・機能仕様 ・画面仕様 ・操作仕様 Design Doc Figma Skill テスト シナリオ 作成 USでは抽象的 すぎるので 詳細化する シナリオの粒度 を調整する Skill テスト条件 の確認 ・US1 - シナリオ1-1 - シナリオ1-2 ・US2 - シナリオ2-1 ・US3 - シナリオ3-1 - シナリオ3-2 従来の Test Design Docなど テスト設計＋ 手動テスト実行 US3 US1, US2 自動 テスト 実行 テスト実行結果 ・US1 - シナリオ1-1→OK - シナリオ1-2→OK ・US2 - シナリオ2-1→OK ・US３ - シナリオ3-1→NG - シナリオ3-2→OK 更新 レビュー Skill Repo © Knowledge Work Inc. 12

テストシナリオと実行結果の例 サブUS = テストシナリオ © Knowledge Work Inc. 13

シナリオベース自動テストの施策の評価 ● 6月の一部の例外を除くすべてのエピック開発に導入 ○ どの程度のシナリオを自動実行できるのかを評価 ● 50%以上のシナリオが完全自動実行可能 ○ 完全自動率： 57.1% （Σ🤖 511 件 / Σ分母 895 件） ○ 一部自動実行率： 77.5% （Σ🤖+🤝 694 件 / Σ分母 895 件） ● アンケート結果（1〜5点で評価・N = 9） ○ 満足度：3.7点／満足度：3.8点／工数削減：2.8点／継続利用：3.3点 ■ 自動実行中は待ちが発生するので工数削減の貢献は少ない（期待値のズレ） 待ち時間は他業務をやれるので一定の生産性向上に寄与する ■ 課題もいくつか見えてきた © Knowledge Work Inc. 14

これまでの取り組みの振り返り ● それぞれの取り組みが既存プロセスの継ぎ足しになっている ○ 単純なSkills利用で既存業務が変わっていない ○ 自動テスト実行の最適な使い方が見いだせていない ○ 上記を通した課題：成果物のレビューが大変・Agilityが弱い ● 取り組みの裏で起こってきた変化 ○ ガードレール（自動テスト）が大事 ○ 開発の並列化やリードタイム短縮のために全員でQA 計画 要件定義・デザイン 実装 テスト分析・テスト設計 （Test Design Doc） © Knowledge Work Inc. A T シナ リオ ベー ス 自動 テスト テスト 実施 リ リー ス 15

発表のアウトライン ● 背景 ● 過去：QAプロセス最適化までの道のり ○ QA業務へのAI利活用 ○ シナリオベース自動テスト ● 現在：QAプロセスの最適化 ○ シナリオベース自動テスト＋探索的テスト ○ API自動テスト＋E2Eテスト ● まとめ © Knowledge Work Inc. 16

QAプロセスの最適化 ● 2つのテーマ ○ マニュアルテストのAgilityを上げる ○ エピック開発内で自動テストを実装をやり切る AI品質チェックリストは本発表では割愛します AI品質チェックリスト 探索的テスト テスト プラン シナリオベース自 動テスト テスト 完了 API自動テスト E2Eテスト © Knowledge Work Inc. 17

QAプロセスの最適化 ● テストプランで全体像をまとめアップデートし続ける テストプランのテンプレの抜粋 © Knowledge Work Inc. 18

QAプロセスの最適化 ● 探索的テストで的確なインサイトのフィードバックループを回す ○ ○ テスト分析・テスト設計で Skill 利用で起こる問題 ■ ノイズの多い重厚な成果物のレビューで疲弊する ■ 成果物の調査・分析であるため、あくまでの仮説に対してのインサイト →成果物インサイト 探索的テストによるプロダクトインサイトの獲得・分析・テストの見直しの フィードバックループを回す ■ 探索的なシナリオベースの自動テスト も検討中 ● Claude Codeをベースとした最適な探索的テストを模索している 探索的テスト © Knowledge Work Inc. プロダクト 19

QAプロセスの最適化 ● シナリオベース自動テストにより Agility を上げる ○ 基本的なテストがパスした状態で探索的テストが開始できる ○ 探索的テストで戦略的に手抜きができる AI品質チェックリスト 探索的テスト テスト プラン シナリオベース自 動テスト テスト 完了 API自動テスト E2Eテスト © Knowledge Work Inc. 20

QAプロセスの最適化 ● エピック開発内で自動テストを実装をやり切る ○ 自動テスト実装をエピック開発の管理対象にする： AI支援により十分可能 ○ 実装の際にAPIの仕様把握により他のテストの最適化につながる（特に QAE） AI品質チェックリスト 探索的テスト テスト プラン シナリオベース自 動テスト テスト 完了 API自動テスト E2Eテスト © Knowledge Work Inc. 21

まとめ ● 背景 ● 過去：QAプロセス最適化までの道のり ○ QA業務へのAI利活用 ○ シナリオベース自動テスト ● 現在：QAプロセスの最適化 ○ シナリオベース自動テスト＋探索的テスト ○ API自動テスト＋E2Eテスト © Knowledge Work Inc. 22

QA Test Talk Vol.8 ご清聴ありがとうございました ナレッジワークにおける AI活用をベースとした QAプロセスの最適化 河野哲也 / tettan（@TetsuayaKouno） 株式会社ナレッジワーク