GitHub Copilotの可観測性 ― OpenTelemetryによるCLIの観測からSDKへの拡張まで

GitHub Copilotの可観測性 OpenTelemetryによるCLIの観測からSDKへの拡張まで Dev Days | Copilot CLI × DevOps - Avanade Japan 1

自己紹介 山田顕人（Kento.Yamada） @ymd65536 By the wayの人、404ニキなど呼び方はさまざま 仕事：DevSecOps、クラウドインテグレーション コミュニティ運営：.NETラボ、AI運用、AI駆動開発 受賞歴（10個、継続中の称号を掲載） ● 初代PagerDutyアンバサダー 2

課題 ― AIエージェントの内部動作が見えない 実行計画は？何を実行して何を取得した？成功/失敗したことはなに？ AIエージェント（GitHub Copilot）に処理を任せる範囲が広がる →実行経路や失敗原因を把握する必要がある！ 3

エージェントの可観測性とは AIエージェントの実行過程で生成されるログ、メトリクス、トレースなどの情報 を収集・分析し、エージェントの内部状態や振る舞いを理解できるようにするこ と。そのための標準的な技術としてOpenTelemetryを活用する 4

OpenTelemetryによるエージェントの可観測性 5

参考：検証記事 引用：https://zenn.dev/ymd65536/articles/github_copilot_aspire_grafana_prometheus 6

• https://zenn.dev/ymd65536/articles/github_copilot_aspire_grafana_prometheus

GitHub Copilot CLIをOpenTelemetryで観測する 7

GitHub Copilot SDKへの拡張 ● 内製開発のアプリケーションに組み込む ● GitHub Copilot CLIとの連携 ● テレメトリの計装 GitHub Copilotを使ってAIアプリケーションを拡張 OpenTelemetryを活用してアプリケーション全体の可 観測性を実装 8

補足：GitHub Copilot SDKでOpenTelemetryを導入 CopilotClientを作成する際、Telemetryを連携するURLを指定する。 ※アプリケーション側の処理を適切に計装することでTelemetryを連携できる 9

参考：GitHub Copilot CLIとSDKを使ったサンプル 引用：https://zenn.dev/ymd65536/articles/github_copilot_a2a_kubernetes GitHub Copilot CLIとSDKを使ってKubernetes上にエージェントを作成 AspireやGrafanaを活用してエージェントを観測する。 10

• https://zenn.dev/ymd65536/articles/github_copilot_a2a_kubernetes

未来 ― モデルルーティングの可観測性 現時点ではOpenTelemetryによってHydraFusionのモデル識別子を確認で きています。一方で内部のルーティング方式やモデル選択理由などの詳細 な観測は今後の課題です。 ※これはHydraFusionの概念図です。GitHub Copilot CLI標準のOpenTelemetryが図中のすべての情報を出力するとい う意味ではありません。また、HydraFusionとHydraFusion Maxの両方がResearch Preview 11

参考リンクを掲載、発表なし ● HydraFusion: emit per-phase model, verdict and credit attributes to OpenTelemetry ○ https://github.com/github/copilot-cli/issues/4825 12

• https://github.com/github/copilot-cli/issues/4825