AWS DevOps Agent製品化するためのLLMOps

AWS DevOps Agent製品化するためのLLMOps AI運用勉強会#2 2026.2.4 aki.ts@HedgehogPython

Ueda Syoitu ハリネズミ・aki.ts KDDIアジャイル開発センター KDDI Agile Development Center Corporation ‹#›

AWS DevOps Agentとは? KDDI Agile Development Center Corporation ‹#›

AWS DevOps Agentとは? AWS DevOps Agentを聞いたことがない方も多いと思いますが、 発表されたのは去年12月のAWS re:Inventです。 AIエージェントを作るサービス Agent Core Evaluations Agent Core Policy Strands Agents Typescript AWS DevOps Agentは新しいジャンルの AIエージェントサービスとして発表されました。 KDDI Agile Development Center Corporation ‹#›

フロンティアエージェント 人の介入を必要とせずに何時間も動作する、 大規模でスケーラブルな自律型 AI エージェント 特定のユースケースに特化した SaaS型のAIエージェントサービス https://aws.amazon.com/jp/ai/frontier-agents/ KDDI Agile Development Center Corporation ‹#›

• https://aws.amazon.com/jp/ai/frontier-agents/

AWS DevOps Agentの使い方 DevOps Agentを動かす前にエージェントスペースを作成する必要があります AWS Console の場合 Terraform Agentが動作する環境や権限 アクセス可能なツールとインフラを定義 CDK https://github.com/aws-samples/sample-aws-devops-agent-cdk https://github.com/aws-samples/sample-aws-devops-agent-terraform KDDI Agile Development Center Corporation ‹#›

• https://aws.amazon.com/free/
• https://github.com/aws-samples/sample-aws-devops-agent-cdk
• https://github.com/aws-samples/sample-aws-devops-agent-terraform

AWS DevOps Agentの使い方 エージェントスペース作成完了後 Web app機能から直接リソース の状態を確認することもできる Topology機能で管理中の AWSリソースを可視化可能 KDDI Agile Development Center Corporation ‹#›

• https://aws.amazon.com/free/

AWS DevOps Agentの使い方 エージェントスペース作成完了後 Web appから実装されてるLambda実行問題ないか？ と無邪気に聞くと、関連リソースを絞って調査開始 実行ログを徹底的に調べて、APIゲートウェイと 連携失敗してるLambdaを1個見つけてくれた KDDI Agile Development Center Corporation ‹#›

AWS DevOps Agentできること KDDI Agile Development Center Corporation ‹#›

AWS DevOps Agentでできること 自律的なインシデント調査 人間の指示がなくても自動的に調査を行うことができます。 関連するログ、メトリクス、トレースを収集し、タイムラインで状況を可視化します。 組み込みの統合 ServiceNow Slack Webhook 手動 PagerDutyチケット DevOps Agent Web app CloudWatchのアラーム Grafanaアラーム トリガーが豊富 https://docs.aws.amazon.com/devopsagent/latest/userguide/devops-agent-incident-response-starting-investigations.html KDDI Agile Development Center Corporation ‹#›

• https://docs.aws.amazon.com/devopsagent/latest/userguide/devops-agent-incident-response-starting-investigations.html

AWS DevOps Agentでできること 根本的な原因特定 インフラの状態だけでなく、GitHubやGitLabなどの コードリポジトリやCI/CDパイプラインも調査対象とします。 インシデント発生の15分前に行われた コード変更が原因である といった、コードレベルでの原因特定も可能です KDDI Agile Development Center Corporation ‹#›

AWS DevOps Agentでできること 具体的な修復案の提示 原因の特定だけでなく、どうすれば直るかという具体的な解決策まで提示する 修正用コマンド作った 承認しますか？ Web Appで適用すべき修正パッチ 実行すべきAWS CLIコマンド などを生成し人間の承認を求めます 代わりにサポートチケット作成 調査済みコンテキストが自動添付 KDDI Agile Development Center Corporation ‹#›

AWS DevOps Agentでできること Model Context Protocol (MCP)の対応 調査機能の拡張 サードパーティツールと連携し、それらのデータを読み込んで推論できる KDDI Agile Development Center Corporation ‹#›

パブリックプレビューの価格と制限 パブリックプレビュー期間中は、AWS DevOps Agent の使用料は発生しません 他のAWSサービスやサードパーティサービス の利用には別途料金が発生する場合があります。 https://docs.aws.amazon.com/ja_jp/devopsagent/latest/userguide/about-aws-devops-agent-public-preview-pricing-and-limits.html KDDI Agile Development Center Corporation ‹#›

• https://docs.aws.amazon.com/ja_jp/devopsagent/latest/userguide/about-aws-devops-agent-public-preview-pricing-and-limits.html

AWS DevOps Agent ベストプラクティス KDDI Agile Development Center Corporation ‹#›

AWS DevOps Agentのベストプラクティス エージェントスペースの設計に集約されます コンテキスト足りない場合、原因特定できない KDDI Agile Development Center Corporation コンテキスト多いとオーバーヘッド ‹#›

AWS DevOps Agentのベストプラクティス エージェントスペースの権限はオンコール担当の範囲に合わせる 人間が担当する場合と同じ権限を付与すべき Agent Space-Production Production環境 Agent Space-Staging Staging環境 Agent Space-Dev Agent Space-App1 App1 環境ごと、アプリごとの フルアクセス権限を エージェントスペースに与える Agent Space-App2 App2 Agent Space-App3 Dev環境 App3 KDDI Agile Development Center Corporation ‹#›

AWS DevOps Agentのベストプラクティス エージェントスペースの境界オンコール担当の範囲に合わせる 人間が担当する場合と同じ権限を付与すべき Agent Space-Production Production環境 Agent Space-App Group App1 マイクロサービス群の場合は、 サービスグループ単位で エージェントスペースを作成 Agent Space-Staging Staging環境 App2 Agent Space-Dev Dev環境 App3 KDDI Agile Development Center Corporation ‹#›

AWS DevOps Agentのベストプラクティス 共有リソースが存在する場合、アプリケーション専用のエージェントスペースを作成し 依存する共有リソースへの読み取りアクセス権限付与する Agent Space App1 フルアクセス App2 App3 読み取り 共有データベース 認証基盤 メッセージキュー https://aws.amazon.com/blogs/devops/best-practices-for-deploying-aws-devops-agent-in-production/ KDDI Agile Development Center Corporation ‹#›

• https://aws.amazon.com/blogs/devops/best-practices-for-deploying-aws-devops-agent-in-production/

AWS DevOps Agent 製品化するためのLLMOps KDDI Agile Development Center Corporation ‹#›

AWS DevOps AgentのLLMOps AIエージェントの開発自体は容易ですがプロダクトにするのは難しい DevOps Agentを プロトタイプから製品へ DevOps Agent開発チームでLLMOps 特に評価（Evaluations）のワークフロー の構築に注力することで、 この課題に取り組みました。 https://aws.amazon.com/blogs/devops/from-ai-agent-prototype-to-product-lessons-from-building-aws-devops-agent/ KDDI Agile Development Center Corporation ‹#›

• https://aws.amazon.com/blogs/devops/from-ai-agent-prototype-to-product-lessons-from-building-aws-devops-agent/

AWS DevOps AgentのLLMOps 評価シナリオの一例として、Amazon EKS上のマイクロサービス群あるとします ALBを介してRDSやS3と連携し、Lambdaでデータ変換を行う構成 障害を注入 S3 への書き込み権限を削除する というコード変更のデプロイです ユーザーが求める 正解は何でしょう？ DevOps Agent KDDI Agile Development Center Corporation ‹#›

AWS DevOps AgentのLLMOps 評価シナリオの一例として、Amazon EKS上のマイクロサービス群が ALBを介してRDSやS3と連携し、Lambdaでデータ変換を行う構成があるとします 障害を注入 S3 への書き込み権限を削除する というコード変更をデプロイする S3への書き込み 権限がない 権限変更不要です、 デプロイが悪いです！ DevOps Agent KDDI Agile Development Center Corporation ‹#›

AWS DevOps AgentのLLMOps 開発者たちはインシデント対応のドメイン知識があるため、ユーザーが求める結果がわかります その後、似た検証環境を複数作成し、評価の正解データも大量作成 正解！正解！ 大正解！ DevOps Agent 正解データ LLM-as-a-Judgeの手法で評価フローを自動化 精度が安定してきた段階で、コスト最適化に向けた評価も実施しました。 KDDI Agile Development Center Corporation ‹#›

AWS DevOps AgentのLLMOps まとめ 検証環境 今ここ AWS内部環境 ユーザー環境 AIエージェントの構築が容易になった今だからこそ、 TDD AIエージェント開発 何のために作るのかという目的を明確にすべきです。 開発に着手する前に、まずは評価ワークフローを構築し 維持すべき品質基準を定義しましょう。 KDDI Agile Development Center Corporation ‹#›

Be a Change Leader. アジャイルに力を与え 共に成長し続ける社会を創る