③AIエージェント設計の新常識_ハーバード×NASA

研究に基づく AI活用シリーズ AIエージェント設計の新常識 ハーバードの発見 × NASAの処方箋 なぜ「AIが賢いのに成果が出ない」現場があるのか。 Harvard Business Schoolの大規模実験とNASAの技術文書から、 プロンプト設計とAIエージェント構築の実践知を読み解く。 うさうさ研修工房 ｜ うさうさ先生 出典：Harvard Business School / NASA Technical Reports Server（詳細は巻末参照）

なぜ「AIが得意なこと」は予測しづらいのか キーワード：ジャギー・テクノロジー・フロンティア（ jagged technological frontier） 同じ難易度に見える作業でも、 AIの得意・不得意はギザギザに分かれる Harvard Business Schoolの研究チームは、758名のコンサルタントを対 象とした実証実験から、AIの能力には明確な「境界線」があることを発 見した。 境界の内側：AIは高品質な出力を安定して生み出す 境界の外側：もっともらしい誤り（ハルシネーション）を生みやす い 厄介なのは、人間には「今どちら側にいるか」を示す明確なサインがな 境界内（フロンティア内）＝ AIが力を発揮 AI 対応 力 • • 境界外＝人間の判断が不可欠 いこと。 難易度（人間の感覚）→ 出典：Dell'Acqua et al., "Navigating the Jagged Technological Frontier," Organization Science 37(2), 2026. DOI:10.1287/orsc.2025.21838 2

実験デザイン： 758名のコンサルタントで検証 Harvard Business School × Boston Consulting Group（BCG）による無作為化比較実験（ RCT） ① AIなし 通常どおり自力で 課題に取り組む統制群 ② GPT-4のみ ③ GPT-4＋研修 簡単なプロンプト 設計の手引き付き AIツールを提供、 使い方の指導なし 課題A：新商品の企画立案 課題B：ブランド戦略の難問 アイデア出し・分析・文章作成・説得力のある提案。 表計算データと、インタビュー記録に埋め込まれた 矛盾する手がかりを統合する必要がある。 → 後の分析で「フロンティアの内側」に該当。 → 後の分析で「フロンティアの外側」に該当。 出典：Dell'Acqua et al., "Navigating the Jagged Technological Frontier," Organization Science 37(2), 2026. DOI:10.1287/orsc.2025.21838 3

結果①：境界の内側で伸び、外側で崩れる 課題A（フロンティア内）｜ GPT-4利用群の変化 課題B（フロンティア外）｜正答率の変化 重要な発見： AIは表面的な数値は正しく処理できたが、インタビュー記録に埋もれた本質的な手がかりを見逃した。にもかかわらず利用者は AIの分析を 信頼し、誤った結論に従ってしまった。「知識不足」ではなく「 AIへの過信」が失敗の主因だった。 出典：Dell'Acqua et al., "Navigating the Jagged Technological Frontier," Organization Science 37(2), 2026. DOI:10.1287/orsc.2025.21838 4

結果②：恩恵が最も大きいのは「下位層」 ベースライン評価で下位 50%だった参加者ほど、 AI活用による伸びが大きかった AIは「平準化装置」になり得る AI活用によって、経験の浅い層と熟練層の成果差が縮小す る傾向が確認された。 一方で上位層にも一定の恩恵があり、「誰にとっても無意味」 ではない。 研修設計者にとっての示唆：新人・若手ほど AI活用支援の 投資対効果が高い可能性。 出典：Dell'Acqua et al., "Navigating the Jagged Technological Frontier," Organization Science 37(2), 2026. DOI:10.1287/orsc.2025.21838 5

「使い方任せ」から「設計された AI」へ ジャギー・フロンティアが示すのは、AI活用の成否がユーザー個人の勘に依存しているという現実。 この課題に対し、NASAの技術文書は「エージェントを工学的に設計する」方法論を提示する。 NASA/TM-20260000926 Collaborative Agent Reasoning Engineering（CARE） NASA Marshall宇宙飛行センター/アラバマ大学ハンツビル校の研究チームが発表した技術メモ。試行錯誤的なプロンプト調整に代えて、専門家 （SME）・開発者・AI補助エージェントの三者協働により、AIエージェントの振る舞いを「明文化された成果物」として段階的に設計する手法を提案する。 出典：Ramachandran, Jha & Ramasubramanian, NASA/TM-20260000926 "Collaborative Agent Reasoning Engineering (CARE)," NASA STI Program, 2026. 6

CAREメソッド： 5段階のステージゲート方式 各フェーズの終わりに、専門家と開発者が「成果物」をレビュー・承認してから次へ進む 1 2 3 4 5 スコープ定義と 分解 情報収集 （ツール/文脈/出力） 推論方針と ガードレール プロンプト設計と ツール連携実装 ベンチマークと 検証 対象ワークフロー・想定ユー ザー・制約を明確化 使用ツール・前提知識・期待さ れる出力形式を整理 不確実性や曖昧な質問への対 応方針を策定 承認済み成果物をプロンプトへ 翻訳・実装 現実的な質問セットで性能を継 続的に測定 4つの設計対象：① 対話方針・推論戦略 ② ドメイン知識の裏付け ③ ツール連携 ④ 評価と検証 ―― この4つを各フェーズで具体化する 出典：Ramachandran, Jha & Ramasubramanian, NASA/TM-20260000926 "Collaborative Agent Reasoning Engineering (CARE)," NASA STI Program, 2026. 7

効果検証： NASA地球科学データ検索エージェント 同一モデル・同一ツールで、 CARE設計版とシンプル版（ベースライン）を比較 Gate 1：合成ベンチマーク（ n=621）Recall@1 Gate 2：専門家作成ゴールドセット（ n=43）Recall@5 CARE設計版のエージェントは、合成ベンチマークと SME作成の高難度ゴールドセットの両方で、同一条件のベースラインを上回る検索性能を示した。 効果は「作り込みの丁寧さ」ではなく、「設計プロセスの構造化」に由来する点が重要。 出典：Ramachandran, Jha & Ramasubramanian, NASA/TM-20260000926 "Collaborative Agent Reasoning Engineering (CARE)," NASA STI Program, 2026. 8

研修・OJTの現場への示唆 2つの研究をつなぐと、 IT研修・新人育成の設計原則が見えてくる 「AIの言うことは正しい」を前提にしない 境界外のタスクでは過信が誤答を誘発する。受講者には検証習慣そのもの を教える。 プロンプトは「思いつき」でなく「設計」 CAREの4要素（対話方針・根拠・ツール連携・検証）を研修テンプレートに援 用できる。 新人・若手への投資対効果が高い AI活用支援は経験の浅い層ほど恩恵が大きい。サブ講師育成やOJTと相性 が良い。 検証基準を先に決めてから使う ステージゲート方式のように、演習でも「合格基準」を先に定義してから着手 させる。 出典：Dell'Acqua et al., "Navigating the Jagged Technological Frontier," Organization Science 37(2), 2026. DOI:10.1287/orsc.2025.21838 ／ Ramachandran, Jha & Ramasubramanian, NASA/TM-20260000926 "Collaborative Agent Reasoning Engineering (CARE)," NASA STI Program, 2026. 9

参照文献（ References） Harvard Business School Dell'Acqua, F., McFowland III, E., Mollick, E. R., Lifshitz, H., Kellogg, K. C., Rajendran, S., Krayer, L., Candelon, F., & Lakhani, K. R. (2026). Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of Artificial Intelligence on Knowledge Worker Productivity and Quality. Organization Science, 37(2), 403–423. https://doi.org/10.1287/orsc.2025.21838 NASA Technical Reports Server Ramachandran, R., Jha, N., & Ramasubramanian, M. (2026). Collaborative Agent Reasoning Engineering (CARE): A Structured Three-Party Design Methodology for Systematically Engineering AI Agents with SMEs, Developers, and Helper Agents. NASA/TM-20260000926. NASA Langley Research Center. Available: NASA STI Program, ntrs.nasa.gov/citations/20260000926 本資料の統計値・引用はすべて上記一次資料に基づく。数値の再利用時は出典明記のうえご活用ください。 うさうさ研修工房 10