AIエージェントの"見えない挙動"を可視化する

AIエージェントの"見えない挙動"を 可視化する Langfuseで始めるLLMオブザーバビリティ入門 KoTsuchi｜クラメソさっぽろIT勉強会 (仮) #13｜2026.05.22

自己紹介 KoTsuchi｜稼働率 99.995% の金融システムを作り続けて20年 過去 ⾦融の現場20年、技術で問題を解決してきた。FX取引・国債レポ・ステーブルコイン・債券。 事業会社で業務を理解してシステムを作れるエンジニア。 いま いま、AIでその経験が新しい価値に変わっている。 ⽣成AIを駆使し、LangChain / Langfuse でAIエージェント開発・LLMOps・MLOps をメ インに実践中。 未来 定年・研究者・私の3⼈で、その価値を届ける会社 2026年6⽉設⽴予定。 AI活⽤・ハード・育成・ニッチな趣味や困りごとのサービス化を軸にスタートアップを共 同創業。⽇本のエンジニアの未来に新しい提案を。 2

今日のテーマ AIエージェントは動くけど、中で何が起きてるか分からない。 その課題をLangfuseでどう解決したか、実体験をお話しします。 具体例 社外向けレポートの要約や質問に回答するチャットボット → 回答精度は？ 参照元は正しい？ コストは？ → …どう監視する？ 3

AIエージェント、中で何が起きてるか分かりますか？ 生成AI特有の「毎回異なる出力」と「見えない処理過程」が新たな監視のアプローチを必要とする 「決まった出力が返る」前提の監視から、「何が起きるか分からない」監視へ 従来のシステム監視（予測可能・定型的） 入力 → 処理 → 出力 ✓ • 稼働率・レイテンシ・エラーレートを監視 • 「決まった入力→決まった出力」が前提 生成AIシステム監視（予測困難・複雑で不透明） 入力 → 推論過程 → 検索/ツール/生成 → 反復 → 評価 → 出力 ? • 同じ入力でも回答が変化 → ハルシネーシ ョン検知 • 推論過程のトレースで問題特定 • プロンプト変更による精度ドリフトを監視 結論：「リソースの監視」から「AIの推論過程と出力品質の監視（LLM Observability）」への拡張が不可欠 4

Langfuseとは？ — OSSのLLMオブザーバビリティ (出力品質の監視)基盤 Langfuseは、 AIの思考プロセスを可視化し、安全で信頼性の高い運用を実現するための統合プラットフォームです。 公式デモで今すぐ体験 → langfuse.com/docs/demo 安全な自社環境での運用 コアプラットフォーム OpenTelemetryネイティブ セルフホストでデータを外部に出さな い安全な運用が可能です。オープンソ ースであり、自社のプライベートな環 境（VPC）に構築できます。 クラウドもTerraformテンプレートが あります。 トレース、評価、プロンプト管理の3 つのコア機能を統合。LLMアプリケー ションのライフサイクル全体をカバー します。LLMOpsを実現できます。 監視データの形式が統一されるため、 特定ベンダーに依存しない。 Datadog等の既存の監視ツールともそ のまま連携可能。 ※ログ・トレース収集の業界標準規格 5

Langfuse vs 類似ツール：なぜLangfuseを選んだか ツール 強み 弱み 選定の決め手 Langfuse OSS・セルフホスト可能。プロンプト管理と 評価の統合バランスが良い。 セルフホスト時のインフラ運用負荷 （ClickHouse等）。 データ統制とコスト効率 を重視。 LangSmith LangChainとの完璧な統合、オーバーヘッド ほぼ0%。 非OSS。セルフホストは高価なエン タープライズ版のみ。 LangChainに特化する場合 。 Braintrust 評価スコアに基づくデプロイ自動ブロック等 のCI/CD連携。 非OSS。SaaS利用が前提となりデー タの自己管理が困難。 厳格なリリース管理を重 視する場合。 Helicone プロキシ型で導入が最速（1行の変更）。 複雑なエージェントのステップ可視 化や評価機能が限定的。 導入コストとAPIキャッシ ュを重視。 ※AWS, Azure, GCPなどのクラウドサービスでは、いろいろなサービスを組みわせることで同様のことができます。 6

3つのコア機能：可視化 → 評価 → 改善 Langfuseは、AIエージェントの運用プロセスを「可視化」「評価」「改善」のシームレスなループへと根本か ら変革します。 1 可視化 (Trace)：振る舞いの解明 すべてのLLM呼び出し、検索（RAG）、API実行のステップを階 層的に記録し、コストと遅延をユーザー単位でリアルタイムに追 跡します。 2 評価 (Evaluate)：品質劣化の検知 LLM-as-a-Judge（AIによる自動評価）やユーザーフィードバック を活用し、非決定的な出力の品質（正確性、関連性など）を定量 的なスコアとしてトレースに紐付けます。 3 改善 (Prompt CMS)：迅速な修正とデプロイ 蓄積されたデータを基にプロンプトを改修。ソースコードからプ ロンプトを切り離し、UI上から安全にバージョン管理と本番反映 を行います。 ▲ Langfuse ダッシュボード 7

たった3⾏で始められる Python SDK の最⼩構成 from langfuse import Langfuse langfuse = Langfuse() @langfuse.observe(name="chat") def chat(question: str): return openai.chat(question) Langfuseコンテナ起動してキー発⾏ @observe デコレータを付けるだけ → 右の画像のようなトレースが⾃動取得される ▲ トレース結果の例 LangChainで使う場合はCallbackを定義して invokeするときに変数に⼊れるだけ

評価機能：AIの出力を自動で採点する 「動いてるけど、ちゃんと答えてる？」を人手に頼らず定量的に判定する仕組み LLM-as-a-Judge • GPT-4などが正確性・関連性・ ハルシネーションを自動採点 ユーザー＋専門家レビュー統合 • 高評価/低評価と専門家評価の ギャップをAI評価と比較 RAG品質の数値化 • 検索精度と生成品質を分離し 問題箇所を特定 (RAGSベース) ▲ 評価スコア⼀覧 スコアになっているから閾値の監視で性能劣化を通知できる 9

プロンプト管理：コード変更なしで本番更新 プロンプトをソースコードから切り離し、UI上でバージョン管理・即座にロールバック 再デプロイ不要 • コード変更・再デプロイ不要。 変更履歴も全て残る バージョン管理とロールバック • production/stagingラベルで安全リリース。 即ロールバック可能 非エンジニアも参加できる • 業務専門家がPlaygroundで直接プロンプトを テスト・改善可能 ▲ プロンプト管理UI 10

実践：Langfuse導入のBefore / After AIエージェント案件での実体験。2つの場面でBefore/Afterを振り返ります。 ① 障害調査：半日 → 数分 Before：ログを手動で掘る→再現できない、の繰り返し （原因特定に数時間） After：トレース画面で全ステップを階層表示→15分以 内に特定 ② プロンプト改善：PR/デプロイ → 即編集/即反映 Before：語尾修正でもPR→レビュー→デプロイ（更新 サイクル1〜2日） After：UIで編集→テスト→本番昇格→即日反映、コー ド変更ゼロ ③ おまけ：コスト可視化＋品質スコア自動付与 モデル/ユーザーごとのトークン消費量をリアルタイム 集計 v2.0 vs v2.1の品質スコアをLLM-as-a-Judgeで自動比較 ▲ トレース・コスト画⾯ 11

導⼊でハマったポイント セルフホスト版を本番運⽤するまでの道のり 課題 セルフホスト版はローカルのdocker compose前提。公式Terraformテンプレート活⽤(EKS前提) は 学習コスト⾼そう → 全リソースをECS（Fargate）で動かそうとしたら、DBマイグレーショ ン・環境変数・コンテナヘルスチェックなどで想定外の⼿間が発⽣。 解決策 パフォーマンスやセキュリティを考えるともう少しだったので、いろいろ強化した公式Terraform テンプレートをベースにESC版Terraformテンプレート作成しました。。。 注意 ⽣成AIモデルやフレームワークの更新に引きずられ、Langfuse⾃体のバージョンアップも頻繁。定 期的な追従を推奨。Langfuseのv3 から v4に上がりました（DatasetAPIに破壊的変更あり） 「動かす」だけでなく「運⽤に乗せる」までが勝負。クラウド化とコスト設計は事前に。 12

2026年のLangfuse — 進化が加速 直近半年で4つの⼤きなアップデート — 今がさらに使いやすい ① v3 → v4 v3 → v4 リリース（2026/3 Preview）。観測中⼼モデルに刷新（ClickHouse再設計）でスケール特 性が⼤幅向上。Dataset APIは破壊的変更あり、既存ユーザーは移⾏ガイドを要確認。 ② 東京 Langfuse Cloud 東京リージョン開設（2026/4/27）— 国内データ保管が可能に。⾦融・公共系で使 えるようになりました。 LLM-as-a-Judge が Boolean スコア対応（2026/4/8）— 「合否」「規約違反」など⼆値判定がカテ ゴリ定義なしで設定可能に。 ③ CI連携 Experiments × GitHub Actions（2026/5/5）。LLM品質の劣化をCIで⾃動検出（RegressionError） — プロンプト改修したらリリース前に⾃動テストが現実に。 Langfuseは2026年もまだまだ進化中。今が始めどきです。 13

まとめ：今日覚えて帰ってほしい3つのこと 今日のポイント 始めるなら今 ☑ 従来の監視では不十分。LLMオブザーバビリティ が必要 1. docker compose up で即起動 ☑ Langfuseでトレース・評価・プロンプト管理を 一元化 3. クラウド版もあり。まず試そう！ ☑ デバッグ半日→数分。コスト可視化で説明も容 易に langfuse.com/docs/demo 2. SDKは数行で組み込み可能 4. 公式デモで今すぐ体験 ↓ Langfuseは、AIエージェントの中身を「見える化」して安心運用するための必須インフラです。 14