AIエンジニア入門_3大要件とトレードオフ_初心者向け

AI ENGINEER TRAINING｜初心者向け AIシステムの「3大要件」と トレードオフをはじめて学ぶ 題材：問い合わせメールを自動で振り分けるAI（架空の例） うさうさ研修工房

01 | なぜAIは要件が難しいのか AIは「作って終わり」ではなく「学習させて確かめる」ものだから 動きが確率的 新しい品質の要求 現場の困りごと ISO/IEC 25059は、機械学習を使うAIシス テムは、あらゆる状況で正しい動作を保証 できるとは限らない、としています Vogelsang & Borg (2019)：データサイエン ティストへの聞き取りから、説明可能性や 差別のなさなど、新しい品質要求への配慮 が必要だと結論づけた Kalinowski ら (2023)：25か国188件の調査 で、顧客の期待の管理や、要件とデータの すり合わせが課題として挙がった だからこそ、「目的・機能・品質」を数字で整理する力が、AIエンジニアの基礎になります。

02 | AIの3大要件 題材：問い合わせメール自動振り分けAI（架空の例） 要件 問い AI版の書き方の例（仮） ビジネス要件 なぜ作る？ 問い合わせの一次対応時間を30%減らす 機能要件 AIは何をする？ メールを「請求」「障害」「その他」に分類し、担当部署へ送る。分類の精度目標（例： 正解率90%以上）を決める 非機能要件 どの品質で？ 1通あたり3秒以内に分類／重要メールの見落としを減らす／判断理由を担当者が確認でき る 機能要件には、AIの性能を測る指標（正解率など）を入れます。指標の意味を理解して書くことが大切、と Vogelsang & Borg は述べています。

03 | AIの非機能要件チェック ISO/IEC 25059が、ISO/IEC 25010に加えた観点 観点（追加された副特性） やさしく言うと 振り分けAIでの例（仮） 機能適応性 データや過去の結果から学んで、次の予測に生かせる 新しい種類の問い合わせにも、再学習で対応できる 正しさ（機能の正確性） 正しい結果を出す度合い。常に正しいとは限らない 正解率と誤りの種類（重要メールの見落とし）を分けて 測る ロバスト性 状況が変わっても性能を保てる 誤字や、いつもと違う書き方でも精度が落ちにくい 透明性 AIについて、関係者に十分な情報を伝える 分類の理由と、学習データの範囲を説明できる ユーザー制御性・介入可能性 利用者や運用者が、必要なときに介入できる 担当者が分類を直せる／問題があれば止められる ISO/IEC 25010の観点（性能・信頼性・セキュリティなど）も、引き続き必要です。

04 | AIのトレードオフ 精度・速さ・費用・説明のしやすさは、連動します 評価軸（重み） 案A 大きなモデル 案B 小さなモデル 案C ルール＋AI補助 目的への貢献 30% 5 3 3 精度 25% 5 3 3 応答の速さ 15% 2 5 5 運用費用 15% 2 4 5 説明のしやすさ 15% 2 3 5 加重スコア（例） 3.65 3.45 3.90 数値は、考え方を学ぶための仮のものです。実際は、データで測って決めます。Mustを満たさない案は、点数が高くても選びません。

05 | 演習 自分の題材で、AIの要件を3層に書いてみよう やってみよう（15分） 自分への問いかけ 1. 目的：何を、どれだけ良くしたい？（数字で） ・数字で言うと、いくつ？ 2. 機能：AIは何を入力として、何を出力する？精度の目標は？ ・間違えたら、誰がどう困る？ 3. 品質：速さ・間違えたときの影響・説明・人の介入を、数字や条件 で ・学習に使うデータは、手元にある？ 4. 案を2つ考え、どちらを選ぶか理由を書く ・ほかの案はないだろうか？ ・人が直せる仕組みはある？

06 | 学術的根拠① 査読研究が示したこと（事実） 研究 示したこと Vogelsang & Borg (2019) IEEE REW データサイエンティスト4名への聞き取り。性能指標を理解して機能要件を書くこと、説明可能性など新しい品質要求への配 慮が必要と結論づけた Kalinowski et al. (2023) PROFES 25か国188件の調査。非機能要件の中心はデータ品質・モデルの信頼性・説明可能性。課題は顧客の期待の管理と、要件とデ ータのすり合わせ Sculley et al. (2015) NeurIPS 実運用のMLシステムでは、大きな保守コストが生じやすいと論じた。データ依存、隠れたフィードバックループ、外部世界 の変化などを危険因子に挙げた Amershi et al. (2019) ICSE-SEIP Microsoftのチームの観察。データの発見・管理・版管理が通常のソフト開発より複雑で、AI部品は独立したモジュールとし て扱いにくいとした ISO/IEC 25059:2023 ISO/IEC 25010を拡張し、機能適応性・ロバスト性・透明性・ユーザー制御性・介入可能性を加えたAI向け品質モデル

07 | 学術的根拠② 初心者の学びへの反映（編集）と注意 研究の示唆 研修・演習への反映（案） 指標の理解（Vogelsang & Borg） 機能要件に、正解率などの指標と目標値を書く演習を入れる 期待の管理（Kalinowski ら） 最初に「AIは間違えることがある」ことと目標の数字を、依頼者と合意する練習をする 保守コスト（Sculley ら） トレードオフの評価軸に、運用・再学習の担当と費用を入れる データの複雑さ（Amershi ら） 要件定義の最初に「学習用データは手元にあるか」を確認する AI向け品質（ISO/IEC 25059） 非機能要件のチェックリストに、透明性・ロバスト性・介入可能性を加える 注意：調査の対象は企業のチームや実務者で、初心者研修の効果を直接示すものではありません。Vogelsang & Borg は4名への予備的研究です。反映内容 は設計意図で、受講者の反応で検証します。

08 | 根拠と出典 国際規格と査読研究に基づく ISO/IEC 25059:2023（解説：ISO 25000 Portal） https://iso25000.com/index.php/en/iso-25000-standards/iso-25059 Sculley et al. (2015) Hidden Technical Debt https://proceedings.neurips.cc/paper/2015/file/86df7dcfd896fcaf2674f757a2463eba-Paper.pdf https://iso25000.com/index.php/en/iso-25000-standards/iso-25059 https://proceedings.neurips.cc/paper/2015/file/86df7dcfd896fcaf2674f757a2463eba -Paper.pdf ISO/IEC 25010 Amershi et al. (2019) SE for ML: A Case Study https://www.iso.org/standard/35733.html https://www.microsoft.com/en-us/research/publication/software-engineering-for-machine-learning-a-case-study/ https://www.iso.org/standard/35733.html https://www.microsoft.com/en-us/research/publication/software-engineering-for-machine-learning-a-case-study/ Vogelsang & Borg (2019)（arXiv版） Atkinson (1999) IJPM 17(6) https://arxiv.org/abs/1908.04674v1 https://www.sciencedirect.com/science/article/abs/pii/S0263786398000696 https://arxiv.org/abs/1908.04674v1 https://www.sciencedirect.com/science/article/abs/pii/S0263786398000696 Kalinowski et al. (2023)（arXiv版） MoSCoW method https://doi.org/10.48550/arXiv.2310.06726 https://doi.org/10.48550/arXiv.2310.06726 https://en.wikipedia.org/wiki/MoSCoW_method https://en.wikipedia.org/wiki/MoSCoW_method ※題材・数値は学習用の仮の例です。ISO/IEC 25059の本文は有料のため、解説ページ経由で確認しています。Amershi らの論文は ICSE 2019 Best Paper。

• https://iso25000.com/index.php/en/iso-25000-standards/iso-25059
• https://www.iso.org/standard/35733.html
• https://arxiv.org/abs/1908.04674v1
• https://doi.org/10.48550/arXiv.2310.06726
• https://proceedings.neurips.cc/paper/2015/file/86df7dcfd896fcaf2674f757a2463eba-Paper.pdf
• https://www.microsoft.com/en-us/research/publication/software-engineering-for-machine-learning-a-case-study/
• https://www.sciencedirect.com/science/article/abs/pii/S0263786398000696
• https://en.wikipedia.org/wiki/MoSCoW_method