Langfuse: プロンプト管理

Langfuse: プロンプト管理 GAO, Inc. 嘉⾨延親 (KAMON Nobuchika) gao-ai.com

• http://gao-ai.com

ガオ株式会社 何をする会社か？ ⽣成 AI の本番運⽤ ( Gen AI Ops )の実現を通し、 お客様のビジネス価値の向上を共に実現する ビジネスゴールを前提とした⽣成 AI 導⼊の⽀援 - PoC 開始前から運⽤を⾒据えた設計 - 本番への移⾏と運⽤の⽀援 Gen AI Ops = GAO (ガオ) 概要 吉積ホールディングスのグループ会社として、 2024 年 10 ⽉ 21 ⽇ 設⽴。 Langfuse ⽇本‧アジアで唯⼀のパートナー 全てのクラウドに対応 Langfuse JP同好会 (@LangfuseJP) 情報発信中！

⽣成AIアプリケーションのライフサイクル管理

LLMアプリケーション 本番リリースに必要なステップ デバッグ用のTraceデータ収集 プロンプト管理 テスト用のデータセット環境の整備 ユーザーフィードバック収集・手動ラベリング LLMモデルを用いた自動評価 利用パターンの特定、レアケースの確認 レイテンシーやコストのモニタリング整備 ユーザ体験やリリース管理の管理 出典: Langfuse documentation 必要に応じたファインチューニング

• https://langfuse.com/docs

Langfuseによるプロンプト管理

他にもあるハードコード管理の弊害 ● 保守性の低下 : プロンプト変更のたびにアプリケーションと一緒に テスト, デプロイのパイプラインなどを回す ため、とにかく手間や時間ががかかる。 ● 再利用性の低下 : 他のアプリケーションやチームメンバーがプロンプトを再利用しにくい。 ● 可読性の低下 : コードとプロンプトが混在し、コード全体の読みやすさが下がる。 ● バージョン管理の困難 : プロンプトの変更履歴が追跡しにくく、問題発生時の原因特定が難しい。

Langfuse による プロンプト管理効果 通常のプロジェクト (As Is) Langfuse 導⼊する場合 (To Be) コードの⼀部として管理 コードと分離した管理が可能 管理する⼈ IT部⾨が管理せざるを得ない IT部⾨と業務部⾨が共同して管理できる 管理⽅法 コードの⼀部としてプロンプト作成、修正、世代管理を プロンプトだけでUI 上で作成、修正、世代管理、コメントの付与 コンセプト ⾏っていく テスト 品質管理 プログラムの CI/CD のワークフローに乗せてデプロイをす 事前に作成したテストケースで⾃動でテストなど可能 (⾮IT⼈材で る必要がある -> 時間のロス も確認可能)、待ち時間なし スプレッドシート管理でのプロンプトやテスト管理など、 Langfuse上で結果を確認 週単位で数時間程度

基本的なLLMアプリケーション（RAGの場合）

Langfuseを利用した場合（プロンプトを一箇所で管理、取得）

デモ画面

Python コードサンプル https://langfuse.com/docs/prompts/get-started

• https://langfuse.com/docs/prompts/get-started

Python コードサンプル (各種パラメータ)

参考Blog ● [LLMOps] プロンプト管理の課題 ● Langfuseによるプロンプト管理(前半) - 基本&管理編 ● Langfuseによるプロンプト管理(後半) - プロンプト開発&実験編

• https://www.gao-ai.com/post/llm-ops-プロンプト管理の課題
• https://www.gao-ai.com/post/llm-ops-langfuseによるプロンプト管理-前半
• https://www.gao-ai.com/post/langfuseによるプロンプト管理-後半-プロンプト開発＆評価編

󰏦🤝🪢 Langfuse Night #2 # #LangfuseNightJP コンパスで探してみてください！

• https://x.com/hashtag/LangfuseNightJP?src=hashtag_click