---
title: 20250312_LLM-Meetup-Fukuoka
tags: 
author: [Yuki Kawara](https://www.docswell.com/user/kawara-y)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/PJXVYGN8EX.jpg?width=480
description: 20250312_LLM-Meetup-Fukuoka by Yuki Kawara
published: March 13, 25
canonical: https://www.docswell.com/s/kawara-y/5R2ML1-2025-03-13-183619
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/PJXVYGN8EX.jpg)

CONFIDENTIAL
今日から始める LLMOps
～Langfuse を添えて～
LLM Meetup Fukuoka
2025.03.12
瓦祐希
@kawara_y
©Fusic Co., Ltd.
0


# Page. 2

![Page Image](https://bcdn.docswell.com/page/3JKQ34NLJD.jpg)

はじめに
自己紹介
株式会社 Fusic
事業本部 先進技術部門 機械学習チーム
瓦 祐希
Yuki Kawara
• 博士（情報科学）
• 2024 Japan AWS Jr. Champions
• 甲賀忍者検定初級
• ビール検定三級
@kawara_y
©Fusic Co., Ltd.
1


# Page. 3

![Page Image](https://bcdn.docswell.com/page/LE3PGLV6J5.jpg)

ところでみなさん
LLM を活用してますか？
@kawara_y
©Fusic Co., Ltd.
2


# Page. 4

![Page Image](https://bcdn.docswell.com/page/8EDL1N8MJG.jpg)

LLM アプリケーションの開発、運用どうしてますか？
プロンプト
エンジニアリング
セキュリティ
LLM アプリ
生成文の
評価
@kawara_y
ログ管理
©Fusic Co., Ltd.
3


# Page. 5

![Page Image](https://bcdn.docswell.com/page/V7P2Q58Q78.jpg)

というわけで、今日のお話は LLMOps
FMOps/LLMOps：生成系 AI の運用と MLOps との違い より引用
• LLMOps ⊂ FMOps（基盤モデルの運用）
• ざっくり言うとテキスト系のモデルを使ったアプリケーションの DevOps
@kawara_y
©Fusic Co., Ltd.
4


# Page. 6

![Page Image](https://bcdn.docswell.com/page/2JVD5PNPJQ.jpg)

LLM を使ったアプリのつらいところ
開発時のデバッグが大変
特にエージェントは複数回入出力があり、LLM の出力に依存する部分も
多く動作が追いづらい。
ユーザーがどう使用しているかが分からない
実際のログを見ないと（読まないと）ユーザーがどういう入力をしている
のか分からない。
生成したテキストの品質が分からない
定量的な評価が難しく、ユーザーの役に立っているかが確認しづらい。
@kawara_y
©Fusic Co., Ltd.
5


# Page. 7

![Page Image](https://bcdn.docswell.com/page/5EGY6PKQEL.jpg)

LLM を使ったアプリのつらいところ
開発時のデバッグが大変
特にエージェントは複数回入出力があり、LLM の出力に依存する部分も
その問題、LLMOps で楽にしましょう
多く動作が追いづらい。
ユーザーがどう使用しているかが分からない
実際のログを見ないと（読まないと）ユーザーがどういう入力をしている
のか分からない。
生成したテキストの品質が分からない
定量的な評価が難しく、ユーザーの役に立っているかが確認しづらい。
@kawara_y
©Fusic Co., Ltd.
6


# Page. 8

![Page Image](https://bcdn.docswell.com/page/4JQM42NW7P.jpg)

LLMOps 用のツール
LangSmith
… LangChain 系ツールの一つ。LangChain との連携が容易だが、
他のライブラリとの連携も可能。
Langtrace
… OpenTelemetry を活用したトレース。Vector DB との統合も
簡単に出来る。
Langfuse
… OSS として公開されていたり SaaS としても提供されている。
@kawara_y
©Fusic Co., Ltd.
7


# Page. 9

![Page Image](https://bcdn.docswell.com/page/K74VQLG1J1.jpg)

LLMOps 用のツール
LangSmith
… LangChain 系ツールの一つ。LangChain との連携が容易だが、
他のライブラリとの連携も可能。
Langtrace
使いたい機能やホスト環境でどれを使うべきかは変わるが、
… OpenTelemetry
を活用したトレース。Vector DB との統合も
簡単に出来る。
今日は個人的にハマっている Langfuse を紹介
Langfuse
… OSS として公開されていたり SaaS としても提供されている。
@kawara_y
©Fusic Co., Ltd.
8


# Page. 10

![Page Image](https://bcdn.docswell.com/page/LJ13PLD57G.jpg)

LLMOps ツールで出来ること
データ管理
• 人間によって作成されたデータの管理
• プロンプトのバージョン管理
監視
• アプリケーションがどれくらい呼び出されたのか
• 入出力の履歴（＝トレース）の遷移はどうだったか
評価の記録
• 生成したテキストの良さ（良い／悪いの二値分類、数値によるスコア付けなど）
@kawara_y
©Fusic Co., Ltd.
9


# Page. 11

![Page Image](https://bcdn.docswell.com/page/GJWP2VYW72.jpg)

Langfuse って？
… オープンソースの LLM エンジニアリングプラットフォーム
@kawara_y
©Fusic Co., Ltd.
10


# Page. 12

![Page Image](https://bcdn.docswell.com/page/4EZKD4X2E3.jpg)

Langfuse オススメポイント
• OSS で、セルフホストが出来る（ローカルでも AWS でも OK）
• SaaS としても提供されているので一旦試してみるまでがとても簡単
• LangChain やそれ以外のフレームワークとも統合が簡単に出来る
→ ベンダーに依存しないので拡張しやすい
@kawara_y
©Fusic Co., Ltd.
11


# Page. 13

![Page Image](https://bcdn.docswell.com/page/Y76Q13P67V.jpg)

Langfuse のダッシュボード
あ
@kawara_y
©Fusic Co., Ltd.
12


# Page. 14

![Page Image](https://bcdn.docswell.com/page/G75R4LK5E4.jpg)

Langfuse による最低限のトレース
@kawara_y
©Fusic Co., Ltd.
13


# Page. 15

![Page Image](https://bcdn.docswell.com/page/9J2DVLWGJR.jpg)

Langfuse による最低限のトレース
• obserse デコレータを一行追加するだけでその関数の入出力を記録する
ことが出来る
@kawara_y
©Fusic Co., Ltd.
14


# Page. 16

![Page Image](https://bcdn.docswell.com/page/DEY23QLGEM.jpg)

LangGraph と Langfuse の連携
•
LangGraph は invoke 関数で
呼び出すことが可能
•
invoke 呼び出し時に Langfuse の
コールバックを渡すだけで
トレースを記録してくれる
@kawara_y
©Fusic Co., Ltd.
15


# Page. 17

![Page Image](https://bcdn.docswell.com/page/VJN8VK4878.jpg)

LangGraph と Langfuse の連携
•
LangGraph は invoke 関数で
呼び出すことが可能
•
invoke 呼び出し時に Langfuse の
コールバックを渡すだけで
トレースを記録してくれる
デバッグがとても楽に出来る。
@kawara_y
©Fusic Co., Ltd.
16


# Page. 18

![Page Image](https://bcdn.docswell.com/page/YE9K6VQXE3.jpg)

Langfuse でのプロンプト管理
• コードと分離した環境で
プロンプトを管理できる。
コードが簡潔になる、
プロンプトが再利用できる。
• 例えばプロンプトを変えた
場合のユーザーの反応を、
スコアと合わせることで
簡単に A/B テストできる。
@kawara_y
©Fusic Co., Ltd.
17


# Page. 19

![Page Image](https://bcdn.docswell.com/page/GE8RZPG9JD.jpg)

Langfuse での評価
• 外部での評価結果 or Langfuse 上で
評価することで入出力のペアに
対してスコアを付けられる。
（カテゴリでも数値でも）
• 定期的にスコアを付けることで
ダッシュボードで生成文の
評価の推移の監視もできる。
@kawara_y
©Fusic Co., Ltd.
18


# Page. 20

![Page Image](https://bcdn.docswell.com/page/LELKD1GMJR.jpg)

Take-home Message
•
“LLMOps” という考え方があり、LLMOps を行うためのツールの
一つに Langfuse がある。
•
Langfuse を使うことで、LLM への入出力の可視化が簡単に出来る。
→ デバッグが簡単、開発の速度が上がる。
•
LLM を使ったアプリに必要な機能が一通り揃っているので、
Langfuse に限らずどれかを使ってみるのがオススメ！
@kawara_y
©Fusic Co., Ltd.
19


# Page. 21

![Page Image](https://bcdn.docswell.com/page/4JM2PWQ6JW.jpg)

Thank You
ご清聴いただきありがとうございました！
We are Hiring!
https://recruit.fusic.co.jp/
@kawara_y
©Fusic Co., Ltd.
21


