QAが目指す良い品質〜手動テストと自動テスト、そして生成AIの三本矢〜
6.6K Views
September 05, 25
スライド概要
2025年9月5日(金)に実施された、ファインディ株式会社主催の「QAエンジニアの思考を映す テスト自動化事例」で発表したLT資料です。
https://findy.connpass.com/event/366000/
関連スライド
Meta XR SDK(V66-74)でQuestアプリを開発
あうぜん
1.1M
各ページのテキスト
QAが⽬指す良い品質 〜 ⼿動テストと⾃動テスト、そして⽣成AIの三本⽮ 〜 ⽊下 智弘 - Tomohiro Kinoshita ウェルスナビ株式会社 1
⾃⼰紹介 木下 智弘 (Tomohiro Kinoshita) ウェルスナビ株式会社 QAチーム / SET エンジニア 経歴/ウェルスナビでの業務 ● 2D/3Dコンテンツ制作会社で情シス担当 ● WNではQAチームで品質保証や⾃動化に関係する領域を担当 2 @2025 WealthNavi Inc.
資産運⽤ロボアドバイザー 「 WealthNavi 」 3 ※ ⼀般社団法⼈⽇本投資顧問業協会「契約資産状況（最新版）（2025年3⽉末現在） 『ラップ業務』『投資⼀任業』」を基にネット専業業者を⽐較 ウエルスアドバイザー 社調べ（2025年6⽉時点） ※ 画⾯はイメージです。
アジェンダ 1. 品質について 2. ⼿動テストの観点 3. ⾃動テストの観点 4. ⽣成AIの活⽤ 4 @2025 WealthNavi Inc.
1. 品質について 2. ⼿動テストの観点 3. ⾃動テストの観点 4. ⽣成AIの活⽤ 5 @2025 WealthNavi Inc.
品質を考える 💰 良い品質は収益を⽣み、悪い品質は損失を与える 良い品質が ⽣み出す好循環 悪い品質が ⽣み出す悪循環 ここが大事！ 6 @2025 WealthNavi Inc.
良い品質を⽬指して、QAが担保すべき品質 👤 良い品質とは、顧客が求めるプロダクト‧サービスの質を満たした状態 最低限の品質を 担保した上で ⽬指す品質 QAとして最低限 担保すべき品質 引用：及川卓也「ソフトウェア開発は『狩野モデル』で “品質の本質”を見直せ」in 日経book plus 7 @2025 WealthNavi Inc.
1. 品質について 2. ⼿動テストの観点 3. ⾃動テストの観点 4. ⽣成AIの活⽤ 8 @2025 WealthNavi Inc.
「当たり前品質」を担保するために、⼿動テストで向き合っているテスト 💡 ウェルスナビQAチームでは、「コンポーネント統合テスト」を重視 「システムテスト」以降で不具合が発⾒されると、⼤きな⼿戻りが発⽣ テストタイプ 機能テスト テ ス ト レ ベ ル ⾮機能テスト ホワイトボックステスト ブラックボックステスト (必要があれば実施) 常に実施 コンポーネントテスト コンポーネント 統合テスト 常に実施 (必要があれば実施) システムテスト 常に実施 (必要があれば実施) (必要があれば実施) (必要があれば実施) システム統合テスト 受け⼊れテスト コンポーネント統合テストが、 不具合の徹底的な検出で、 プロダクトの品質向上を狙える要所 9 @2025 WealthNavi Inc.
「コンポーネント統合テスト」で実施しているテストの観点 📘 テスト経験‧実績からテスト観点を整理し、テストケース作成に活⽤ テストタイプ 観点 説明 機能テスト 正常系 テスト対象画⾯への遷移確認 ‧画⾯遷移仕様を参考に、テスト対象画⾯への全遷移パターンを確認 ‧戻るキーや画⾯スワイプ操作による画⾯遷移も確認 機能テスト 正常系 テスト対象画⾯の機能確認 ‧ボタン、リンクの動作を全て確認 ‧分岐のパターンを全て確認（成功パターン、失敗パターン等） ‧デシジョンテーブルを活⽤し、状態を意識した動作確認 ‧数値の妥当性‧反映タイミングを確認 機能テスト 正常系 動作パターンの確認 ‧仕様に記載されているパターンを、同値分割法等を⽤いて効率的に網羅し確認 ‧テストパターンが多数の場合には、Allpair法で確認 機能テスト 正常系 繰り返し操作の確認 ‧再⼊⼒、再登録できるかを確認（初回と初回以降の違いも確認） 機能テスト 正常系 他サービスへの影響確認 ‧他のプロダクトやアライアンス、他端末への影響を確認 機能テスト 正常系 ユースケースの確認 ‧特定の条件を満たす場合に表⽰される画⾯や⽂⾔を確認 機能テスト 正常系 レイアウト‧⽂⾔の確認 ‧画⾯がデザイナーに設計された構成と同じかを確認 機能テスト 準正常系 ボタン連打の確認 ‧更新を伴うボタンを連打し、重複登録‧更新への影響を確認 機能テスト 準正常系 想定外⼊⼒の確認 ‧想定外の⼊⼒で、システムが適切にエラーを表⽰することを確認 機能テスト 異常系 仕様外の異常動作の確認 ‧想定外の状況でシステムがどのように振る舞うかを確認 ブラックボックステスト ⼊⼒要素の確認 ‧同値分割、境界値分析、デシジョンテーブルでの動作確認 10 @2025 WealthNavi Inc.
1. 品質について 2. ⼿動テストの観点 3. ⾃動テストの観点 4. ⽣成AIの活⽤ 11 @2025 WealthNavi Inc.
「当たり前品質」を担保するために、⾃動テストで向き合っているテスト 💡 ウェルスナビQAチームでは、「システムテスト」でデグレードを防⽌ テストタイプ 機能テスト テ ス ト レ ベ ル ⾮機能テスト ホワイトボックステスト ブラックボックステスト (必要があれば実施) 常に実施 コンポーネントテスト コンポーネント 統合テスト 常に実施 (必要があれば実施) システムテスト 常に実施 (必要があれば実施) (必要があれば実施) (必要があれば実施) システム統合テスト 受け⼊れテスト システムテストが、 改修範囲外の不具合検出で、 プロダクトの品質維持を狙える要所 12 @2025 WealthNavi Inc.
テスト⾃動化を⽬指す前に、テストの原点に⽴ち返る “自動化”のゴール ❌ テストがすべて⾃動化されること ⭕ ソフトウェアの品質を評価し、運⽤環境で ソフトウェアの故障が発⽣するリスクを低減すること 参照：「1.1 テストとは何か？」ISTQBテスト技術者資格制度 Foundation Level シラバス 日本語版 Version 2023V4.0.J02 “テスト ”の目的 ✔ 故障を引き起こし、欠陥を発見する ✔ 求められるテスト対象のカバレッジを確保する ✔ ソフトウェア品質が不十分な場合のリスクレベルを下げる ✔ 仕様化した要件が満たされているかどうかを検証する “自動化”で できる支援 反復する手動作業の 削減と時間の節約 欠陥の早期発見、迅速なフィードバック、市 場投入までの時間の短縮を実現 13 より深く効果的な新しい テスト設計の時間を確保 @2025 WealthNavi Inc.
テスト⾃動化ツールで実現する、品質コントロールに必要なこと ✅ 安定実⾏できるツール‧ライブラリを選定し、 テスト ツール 結果の信頼性を担保 ⾃動待機機能、リトライ機能、WAI-ARIAロールでのMatcher機能 ウェルスナビでは、Playwrightを採⽤！ 14 @2025 WealthNavi Inc.
「システムテスト」で実施しているテストの観点 📘 プロダクトの改修変更によって悪影響が⽣じていないかを確認 プロダクトの全業務を定期的に繰り返し確認するため、テストを⾃動化 プロダクト シナリオ総数 ロボアド 821 保険 5 ⾦融教育 46 CRM 2 15 @2025 WealthNavi Inc.
1. 品質について 2. ⼿動テストの観点 3. ⾃動テストの観点 4. ⽣成AIの活⽤ 16 @2025 WealthNavi Inc.
⽣成AIで実現する、品質コントロールに必要なこと ✅ カスタム指⽰を⼊⼒し、⽣成される結果の均⼀性と 生成AI 精度を担保 ⾏動の背景、役割、⽬的、状況や様式の⼊⼒ ウェルスナビでは、コンテキストを練磨！ 17 @2025 WealthNavi Inc.
[失敗例] ⽣成AIで、テスト⾃動化ツールのテストコード作成 (1/2) 👀 コンテキストを指定せず、テストケースの作成を依頼した場合 あなたは、PlaywrightのテストシナリオをPOM形式で⽣成、解説するアシスタントです。 ⾔語は、TypeScriptを使⽤してください。 HTMLの要素を特定するMatcherは、ariaロールに従って要素を取得できる`getByRole`を積極的に使⽤し てください。 以下のWeb画⾯に対して、テストケースを作成してください。 - URL - https://hogehoge.foo/signIn - HTML ``` <html><head> <meta charset="utf-8"> … ``` 18 @2025 WealthNavi Inc.
[失敗例] ⽣成AIで、テスト⾃動化ツールのテストコード作成 (2/2) 💫 ケース作成できるが、ケースが不⼗分で”テスト”の⽬的を達成できない 😢 ⽣成AIの出⼒結果が毎回変動し、⼀定品質のテストケースが作成されない 前⾴の例で、出⼒されたテストケース数は、4件のみ 19 @2025 WealthNavi Inc.
⽣成AIでテスト⾃動化を推進するために、重要な要素とは？ 20 @2025 WealthNavi Inc.
テストの明確化と細分化！ & コンテキストの練磨！ 21 @2025 WealthNavi Inc.
テストの明確化と細分化：「テキストタイプ」と「テストレベル」の決定 🌟「コンポーネント統合テスト」×「ブラックボックステスト」が最適 ケース設計の観点で属⼈性が少なく、⼊⼒値の数に⽐例するケース増加に有効 テストタイプ 機能テスト テ ス ト レ ベ ル ⾮機能テスト ホワイトボックステスト ブラックボックステスト コンポーネントテスト 同値分割法 境界値分析 デシジョンテーブルテ スト 状態遷移テスト ✅組み合わせテスト コンポーネント 統合テスト システムテスト ✅リグレッションテスト ⌛ビジュアルテスト [凡例：テスト自動化] ✅：対応完了 ：対応中 ⌛：検討中 💫：要検討 システム統合テスト 受け⼊れテスト 22 @2025 WealthNavi Inc.
コンテキストの練磨：「プロンプト」ではなく「コンテキスト」を重視 🌟カスタム指⽰やカスタムGemを指定し、安定かつ⾼品質な設計を担保 ⽣成AIは、コンテキストを練磨することで、タスクを理解し、上質な結果を出⼒ 参照：https://www.philschmid.de/context-engineering by Philipp Schmid, Google DeepMind 参照：https://x.com/tobi/status/1935533422589399127 by Tobi Lutke, Shopify CEO 23 @2025 WealthNavi Inc.
[成功例] ⽣成AIで、テスト⾃動化ツールのテストコード作成 (1/3) 👀 コンテキストを練磨し、カスタム指⽰やカスタムGemsに指定 以下、テストケース作成で⼊⼒しているコンテキストのタイトルと本⽂⼀部 # テストケース ## ⾔語 # 役割 あなたは、Webサービスの⽋陥を発⾒し、ソフトウェア アーティファクトの品質を評価できる、ベテランのQAシニアエン ジニアです。 あなたは、優秀なQAエンジニアとして、システムの元々の 仕様と国際的な標準規格で求められる仕様(ISOやRFC等)との間に 差異がある場合、重要な⽋陥を指摘できるテストケースを作成し ます。 テストケースは、TypeScriptを使⽤します。 ## テストツール テストツールは、Playwrightを使⽤します。 ### Matchers ### Locators ### Assertions ### test.step ## デザインパターン ## テストケースの説明 ### MECE ## ディレクトリ構成 # 注意点 # ⽬的 # 対象 ## テストレベル ## テストタイプ ## テスト技法 ### ブラックボックステスト技法 24 全部で 4,800字を入力！ @2025 WealthNavi Inc.
[成功例] ⽣成AIで、テスト⾃動化ツールのテストコード作成 (2/3) 💎 ⽣成予定のテストコードのテストケースの説明表を出⼒ Web画⾯の要素に沿ったケースだけでなく、問題箇所を指摘するケースも作成 25 @2025 WealthNavi Inc.
[成功例] ⽣成AIで、テスト⾃動化ツールのテストコード作成 (3/3) 💎 正しく動作するテストコードを出⼒ 記述ルールを指定することで、そのまま流⽤できるテストコードを⽣成 26 @2025 WealthNavi Inc.
ただし、⽣成された結果が本当に正しいかの確認は必要 27 @2025 WealthNavi Inc.
だからこそ、QAとしての知⾒や経験が重要 🧠 AIは万能ではない、ソフトウェアテストの基本的な考え⽅は⼤事な基礎 🔤 コンテキストを⼊⼒するための知識は必要 ✔ QAとしてのこれまでの経験が、コンテキスト作成時に活きる ✔ 過不⾜や間違いがあると、”テスト”の⽬的を達成できない 🔍 ⽣成結果に対して、ケースが必要⼗分か、間違いがないか、常に確認が必要 ✔ 不⾜がある場合は、カスタム指⽰やカスタムGemsに観点を追加し改善する ✔ 間違いがある場合は、ケースの間違い箇所を指摘し、作り直しを指⽰する 28 @2025 WealthNavi Inc.
そして⽣成AIの活⽤は、テスト⾃動化を推進するチーム全体の強化を加速 ⽣成AIで出⼒される テストコードは、 テスト⾃動化ツールの コーディング⽅法の習得に ⼤きな恩恵あり 29 @2025 WealthNavi Inc.
総括 ✅ QAが⽬指すべきは、⽣成AI以前と変わらず、「良い品質」を⽬指そう ✅ 良い品質を⽬指す過程で、テスト⾃動化や⽣成AIといった⼿段を活⽤しよう ✅ テスト⾃動化‧⽣成AI利⽤時であっても、ソフトウェアテストの基本的な考え⽅が重要である 30 @2025 WealthNavi Inc.
【重要な注意事項】 ● 本資料は、断定的判断を提供するものではなく、情報を提供することのみを⽬的としており、いか なる種類の商品も勧誘するものではありません。最終的な決定は、お客様⾃⾝で判断するものと し、当社はこれに⼀切関与せず、また、⼀切の責任を負いません。 ● 本資料には将来の出来事に関する予想が含まれている場合がありますが、それらは予想であり、ま た、本資料の内容の正確性、信頼性、完全性、適時性等を⼀切保証するものではありません。本資 料に基づいて被ったいかなる損害についても、当社は⼀切の責任を負いません。また、当社は、新 しい情報や将来の出来事その他の情報について、更新⼜は訂正する義務を負いません。 ● 本資料を利⽤することによりお客様に⽣じた直接的損害、間接的損害、派⽣的損害その他いかなる 損害についても、当社は⼀切の責任を負いません。 商号等：ウェルスナビ株式会社 金融商品取引業者 関東財務局長（金商） 第2884号 加入協会：日本証券業協会 一般社団法人日本投資顧問業協会 31 @2025 WealthNavi Inc.
PR 9⽉4⽇に実施した、ココナラ様とウェルスナビの共同企画イベントでの発表資料を宣伝します！ ぜひ、ご閲覧ください！！ https://www.docswell.com/s/kikkis/ZRE2R4-202509-04-191500 32 @2025 WealthNavi Inc.
ご清聴ありがとうございました 33 @2025 WealthNavi Inc.
Appendix 1 定期的にWealthNaviの開発（技術‧組織）に関する情報を発信しています。 開発者ブログ 技術広報に関する お問い合わせ先 https://zenn.dev/p/wn_engineering ブックマーク追加や記事への「いいね」していただけると嬉しいです ウェルスナビ 技術広報チーム（[email protected]） 34 @2025 WealthNavi Inc.
Appendix 2 ウェルスナビでは複数の開発系ポジションで採⽤を強化しています。 QAエンジニア SETエンジニア モバイル開発エンジニア エンジニアリングマネージャー バックエンド開発エンジニア 主な採⽤中職種 ● ● ● ● ● 採⽤情報詳細 下記URL（QRコード）よりご確認ください。 https://recruit.wealthnavi.com/ 採⽤に関する お問い合わせ先 ● ● 「カジュアルに話を聞いてみたい」という温度感でも構いません。 ウェルスナビ採⽤チーム（[email protected]）までご連 絡お待ちしております。 35 @2025 WealthNavi Inc.