ADK x Langfuse で実現する Observability 入門

ADK x Langfuse で実現する Observability ⼊⾨ Jagu'e'r オブザーバビリティ分科会 Meetup #4 ガオ株式会社 嘉⾨ 延親 (KAMON Nobuchika) Confidential

OUR SERVICES 吉積ホールディングスグループ We’re Hiring !!! GenAIOps / LLMOps Langfuse 代表取締役 嘉⾨ 延親 ⽣成 AI アプリケーションの利 Langfuse 国内/APAC 唯⼀の ⽤状況の可視化/改善 パートナー企業 ビジネスの ROI を最⼤化させ (Premier) ジアで唯一商用ライセンスの 販売・導入・サポートなど を取 るための⽣成 AI 運⽤ Google Cloud Sell パートナー 2024 年 10 月以降、日本とア り扱う 正規パートナー GenAI Professional Service アイデア創出 , PoC〜本番実装 そして運用まで、生成 AI 活用 の全フェーズをカバーするプロ フェッショナルサービス

https://langfuse.com/docs/evaluation/overview

• https://langfuse.com/docs/evaluation/overview

https://langfuse.com/docs/evaluation/overview

• https://langfuse.com/docs/evaluation/overview

[概要] ● グローバルの多くの企業‧開発者から圧倒的な⽀持をもつ LLM Enginering Platform ( OSS LLM observability No.1 のシェア) ● ⽇本国内でも実績多数、コミュニティが急成⻑中！スタートアップからエンタープライズまで拡⼤中 ● SaaS だけではなく、OSS の Self-hosted を使える魅⼒（しかもほとんどの機能が OSS で利⽤可能) ● ガオ株式会社が国内/APAC 唯⼀、再販‧サポートを提供 [主な機能] ● LLMOps に必要な全ての機能をカバー＋エンタープライズ向け管理機能 ○ 簡単に LLM アプリケーションの処理情報（Trace）を取得と保存、可視化や分析を実現 ○ アプリケーションの利⽤に関する統計を取得、ダッシュボードで確認 ○ プロンプト管理、評価（⼈間およびモデルベース）、データセット（テスト）などを 通して LLM アプリケーションを継続的に改善

[概要] ● グローバルの多くの企業‧開発者から圧倒的な⽀持をもつ LLM Enginering Platform ( OSS LLM observability No.1 のシェア) ● ⽇本国内でも実績多数、コミュニティが急成⻑中！スタートアップからエンタープライズまで拡⼤中 ● SaaS だけではなく、OSS の Self-hosted を使える魅⼒（しかもほとんどの機能が OSS で利⽤可能) ● ガオ株式会社が国内/APAC 唯⼀、再販‧サポートを提供 [主な機能] ● LLMOps に必要な全ての機能をカバー＋エンタープライズ向け管理機能 ○ 簡単に LLM アプリケーションの処理情報（Trace）を取得と保存、可視化や分析を実現 ○ アプリケーションの利⽤に関する統計を取得、ダッシュボードで確認 ○ プロンプト管理、評価（⼈間およびモデルベース）、データセット（テスト）などを 通して LLM アプリケーションを継続的に改善

Langfuse のプロダクトラインナップ Langfuse Cloud (SaaS) ● ● ● ● Langfuse 社が管理するプラットフォーム US + Europe リージョンで展開 *⽇本/APAC の予定無し Langfuse Self-hosted ● ⾃社の VPC 環境にインストールできる ● OSS 版は無償、Enterprise版は固定費⽤ ● ⾃社のセキュリティポリシー内で運⽤ ● 無償でまずは PoC をやりたい場合 or ⾼度なセキュリティや個⼈情報保護な どに注意が必要な場合に最適 固定費⽤＋従量課⾦ リソースは共有されているが、テナント は分離されている ⾼度セキュリティ要件がないケース、 スタートアップや PoC などに最適

Self-hosted のインストールの種類 ● [まずはコレ！] 最もシンプル、VM や PC で実⾏可能な Docker compose ● 各種クラウドプロバイダー対応 公式 Terraform (ただし Kubernetes 前提) ● Container ＋ Managed Service - コミュニティが作成 & GAO が⽤意 https://langfuse.com/self-hosting/deployment/

• https://langfuse.com/self-hosting/deployment/

Demo Agent (ADK) -> Langfuse

ADK + Gemini 構成イメージ https://langfuse.com/api/mcp MCP Server を tool call Tracing Gemini 呼び出し Vertex AI ‧ユーザーからの Langfuse に関連する質問を、MCP サーバを使って情報取得し、回答する ‧Input, Output, 中間処理は全て Langfuse 側で記録する

• https://langfuse.com/api/mcp

@observe というデコレーターで Langfuse に⾶ばすための設定追加

Key takeaways ● ⽣成 AI アプリケーションには LLMOps は必須 ● その第⼀歩として、可視化 & 分析を Tracing で実現しましょう ● Langfuse はその有⼒な選択肢で、OSS としても利⽤可能 （Enterprise 版あり） ● ADK とのインテグレーションも簡単！ ● Trace 以外の評価、監査、データセット管理、統計取得など LLMOps 全体をカバー

Langfuse 同好会 X アカウント