---
title: AIエージェントの"見えない挙動"を可視化する
tags: 
author: [KoTschi](https://www.docswell.com/user/3773625487)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/VJNY6PKD78.jpg?width=480
description: Langfuseで始めるLLMオブザーバビリティ入門
published: May 24, 26
canonical: https://www.docswell.com/s/3773625487/ZX244R-2026-05-24-150343
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/VJNY6PKD78.jpg)

AIエージェントの"見えない挙動"を
可視化する
Langfuseで始めるLLMオブザーバビリティ入門
KoTsuchi｜クラメソさっぽろIT勉強会 (仮) #13｜2026.05.22


# Page. 2

![Page Image](https://bcdn.docswell.com/page/YE9PL3V8J3.jpg)

自己紹介
KoTsuchi｜稼働率 99.995% の金融システムを作り続けて20年
過去
⾦融の現場20年、技術で問題を解決してきた。FX取引・国債レポ・ステーブルコイン・債券。
事業会社で業務を理解してシステムを作れるエンジニア。
いま
いま、AIでその経験が新しい価値に変わっている。
⽣成AIを駆使し、LangChain / Langfuse でAIエージェント開発・LLMOps・MLOps をメ
インに実践中。
未来
定年・研究者・私の3⼈で、その価値を届ける会社 2026年6⽉設⽴予定。
AI活⽤・ハード・育成・ニッチな趣味や困りごとのサービス化を軸にスタートアップを共
同創業。⽇本のエンジニアの未来に新しい提案を。
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/GE8DXMPZED.jpg)

今日のテーマ
AIエージェントは動くけど、中で何が起きてるか分からない。
その課題をLangfuseでどう解決したか、実体験をお話しします。
具体例
社外向けレポートの要約や質問に回答するチャットボット
→ 回答精度は？ 参照元は正しい？ コストは？
→ …どう監視する？
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/LELM83117R.jpg)

AIエージェント、中で何が起きてるか分かりますか？
生成AI特有の「毎回異なる出力」と「見えない処理過程」が新たな監視のアプローチを必要とする
「決まった出力が返る」前提の監視から、「何が起きるか分からない」監視へ
従来のシステム監視（予測可能・定型的）
入力 → 処理 → 出力 ✓
• 稼働率・レイテンシ・エラーレートを監視
• 「決まった入力→決まった出力」が前提
生成AIシステム監視（予測困難・複雑で不透明）
入力 → 推論過程 → 検索/ツール/生成 →
反復 → 評価 → 出力 ?
• 同じ入力でも回答が変化 → ハルシネーシ
ョン検知
• 推論過程のトレースで問題特定
• プロンプト変更による精度ドリフトを監視
結論：「リソースの監視」から「AIの推論過程と出力品質の監視（LLM Observability）」への拡張が不可欠
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/4JMY6DW5JW.jpg)

Langfuseとは？ — OSSのLLMオブザーバビリティ
(出力品質の監視)基盤
Langfuseは、
AIの思考プロセスを可視化し、安全で信頼性の高い運用を実現するための統合プラットフォームです。
公式デモで今すぐ体験 → langfuse.com/docs/demo
安全な自社環境での運用
コアプラットフォーム
OpenTelemetryネイティブ
セルフホストでデータを外部に出さな
い安全な運用が可能です。オープンソ
ースであり、自社のプライベートな環
境（VPC）に構築できます。
クラウドもTerraformテンプレートが
あります。
トレース、評価、プロンプト管理の3
つのコア機能を統合。LLMアプリケー
ションのライフサイクル全体をカバー
します。LLMOpsを実現できます。
監視データの形式が統一されるため、
特定ベンダーに依存しない。
Datadog等の既存の監視ツールともそ
のまま連携可能。
※ログ・トレース収集の業界標準規格
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/PJR9P4YZ79.jpg)

Langfuse vs 類似ツール：なぜLangfuseを選んだか
ツール
強み
弱み
選定の決め手
Langfuse
OSS・セルフホスト可能。プロンプト管理と
評価の統合バランスが良い。
セルフホスト時のインフラ運用負荷
（ClickHouse等）。
データ統制とコスト効率
を重視。
LangSmith
LangChainとの完璧な統合、オーバーヘッド
ほぼ0%。
非OSS。セルフホストは高価なエン
タープライズ版のみ。
LangChainに特化する場合
。
Braintrust
評価スコアに基づくデプロイ自動ブロック等
のCI/CD連携。
非OSS。SaaS利用が前提となりデー
タの自己管理が困難。
厳格なリリース管理を重
視する場合。
Helicone
プロキシ型で導入が最速（1行の変更）。
複雑なエージェントのステップ可視
化や評価機能が限定的。
導入コストとAPIキャッシ
ュを重視。
※AWS, Azure, GCPなどのクラウドサービスでは、いろいろなサービスを組みわせることで同様のことができます。
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/PEXQ32G1JX.jpg)

3つのコア機能：可視化 → 評価 → 改善
Langfuseは、AIエージェントの運用プロセスを「可視化」「評価」「改善」のシームレスなループへと根本か
ら変革します。
1 可視化 (Trace)：振る舞いの解明
すべてのLLM呼び出し、検索（RAG）、API実行のステップを階
層的に記録し、コストと遅延をユーザー単位でリアルタイムに追
跡します。
2 評価 (Evaluate)：品質劣化の検知
LLM-as-a-Judge（AIによる自動評価）やユーザーフィードバック
を活用し、非決定的な出力の品質（正確性、関連性など）を定量
的なスコアとしてトレースに紐付けます。
3 改善 (Prompt CMS)：迅速な修正とデプロイ
蓄積されたデータを基にプロンプトを改修。ソースコードからプ
ロンプトを切り離し、UI上から安全にバージョン管理と本番反映
を行います。
▲ Langfuse ダッシュボード
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/3EK9YM4MED.jpg)

たった3⾏で始められる
Python SDK の最⼩構成
from langfuse import Langfuse
langfuse = Langfuse()
@langfuse.observe(name="chat")
def chat(question: str):
return openai.chat(question)
Langfuseコンテナ起動してキー発⾏
@observe デコレータを付けるだけ →
右の画像のようなトレースが⾃動取得される
▲ トレース結果の例
LangChainで使う場合はCallbackを定義して
invokeするときに変数に⼊れるだけ


# Page. 9

![Page Image](https://bcdn.docswell.com/page/L73W9YL275.jpg)

評価機能：AIの出力を自動で採点する
「動いてるけど、ちゃんと答えてる？」を人手に頼らず定量的に判定する仕組み
LLM-as-a-Judge
• GPT-4などが正確性・関連性・
ハルシネーションを自動採点
ユーザー＋専門家レビュー統合
• 高評価/低評価と専門家評価の
ギャップをAI評価と比較
RAG品質の数値化
• 検索精度と生成品質を分離し
問題箇所を特定 (RAGSベース)
▲ 評価スコア⼀覧
スコアになっているから閾値の監視で性能劣化を通知できる
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/87DKG5N6JG.jpg)

プロンプト管理：コード変更なしで本番更新
プロンプトをソースコードから切り離し、UI上でバージョン管理・即座にロールバック
再デプロイ不要
• コード変更・再デプロイ不要。
変更履歴も全て残る
バージョン管理とロールバック
• production/stagingラベルで安全リリース。
即ロールバック可能
非エンジニアも参加できる
• 業務専門家がPlaygroundで直接プロンプトを
テスト・改善可能
▲ プロンプト管理UI
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/VJPK3GNZE8.jpg)

実践：Langfuse導入のBefore / After
AIエージェント案件での実体験。2つの場面でBefore/Afterを振り返ります。
① 障害調査：半日 → 数分
Before：ログを手動で掘る→再現できない、の繰り返し
（原因特定に数時間）
After：トレース画面で全ステップを階層表示→15分以
内に特定
② プロンプト改善：PR/デプロイ → 即編集/即反映
Before：語尾修正でもPR→レビュー→デプロイ（更新
サイクル1〜2日）
After：UIで編集→テスト→本番昇格→即日反映、コー
ド変更ゼロ
③ おまけ：コスト可視化＋品質スコア自動付与
モデル/ユーザーごとのトークン消費量をリアルタイム
集計
v2.0 vs v2.1の品質スコアをLLM-as-a-Judgeで自動比較
▲ トレース・コスト画⾯
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/2EVV46KMEQ.jpg)

導⼊でハマったポイント
セルフホスト版を本番運⽤するまでの道のり
課題
セルフホスト版はローカルのdocker compose前提。公式Terraformテンプレート活⽤(EKS前提) は
学習コスト⾼そう → 全リソースをECS（Fargate）で動かそうとしたら、DBマイグレーショ
ン・環境変数・コンテナヘルスチェックなどで想定外の⼿間が発⽣。
解決策
パフォーマンスやセキュリティを考えるともう少しだったので、いろいろ強化した公式Terraform
テンプレートをベースにESC版Terraformテンプレート作成しました。。。
注意
⽣成AIモデルやフレームワークの更新に引きずられ、Langfuse⾃体のバージョンアップも頻繁。定
期的な追従を推奨。Langfuseのv3 から v4に上がりました（DatasetAPIに破壊的変更あり）
「動かす」だけでなく「運⽤に乗せる」までが勝負。クラウド化とコスト設計は事前に。
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/57GL1NQXEL.jpg)

2026年のLangfuse — 進化が加速
直近半年で4つの⼤きなアップデート — 今がさらに使いやすい
① v3 → v4
v3 → v4 リリース（2026/3 Preview）。観測中⼼モデルに刷新（ClickHouse再設計）でスケール特
性が⼤幅向上。Dataset APIは破壊的変更あり、既存ユーザーは移⾏ガイドを要確認。
② 東京
Langfuse Cloud 東京リージョン開設（2026/4/27）— 国内データ保管が可能に。⾦融・公共系で使
えるようになりました。
LLM-as-a-Judge が Boolean スコア対応（2026/4/8）— 「合否」「規約違反」など⼆値判定がカテ
ゴリ定義なしで設定可能に。
③ CI連携
Experiments × GitHub Actions（2026/5/5）。LLM品質の劣化をCIで⾃動検出（RegressionError）
— プロンプト改修したらリリース前に⾃動テストが現実に。
Langfuseは2026年もまだまだ進化中。今が始めどきです。
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/4EQYDQK5JP.jpg)

まとめ：今日覚えて帰ってほしい3つのこと
今日のポイント
始めるなら今
☑ 従来の監視では不十分。LLMオブザーバビリティ
が必要
1. docker compose up で即起動
☑ Langfuseでトレース・評価・プロンプト管理を
一元化
3. クラウド版もあり。まず試そう！
☑ デバッグ半日→数分。コスト可視化で説明も容
易に
langfuse.com/docs/demo
2. SDKは数行で組み込み可能
4. 公式デモで今すぐ体験 ↓
Langfuseは、AIエージェントの中身を「見える化」して安心運用するための必須インフラです。
14