---
title: 【Paper&Hacks vol.102】医療特化型LLMを作るには - データ編【チームHOLON】
tags: 
author: [松尾研LLMコミュニティ](https://www.docswell.com/user/matsuo-lab_llm)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/PEXQZZRDJX.jpg?width=480
description: 【Paper&Hacks vol.102】医療特化型LLMを作るには - データ編【チームHOLON】 by 松尾研LLMコミュニティ
published: October 13, 26
canonical: https://www.docswell.com/s/matsuo-lab_llm/5L32LQ-Paper&HacksVol.102
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/PEXQZZRDJX.jpg)



# Page. 2

![Page Image](https://bcdn.docswell.com/page/3EK988RDED.jpg)

医療LLMプロジェクト
概要
患者情報を安全に管理できる環境で使える、最先
端の商用LLMに迫る性能を有する医療業務支援向け
日本語LLMの開発を行うプロジェクト
→ モデルをウェイト/APIで公開
今回はこのPJで行ったデータ作成についての発表に
なります。


# Page. 3

![Page Image](https://bcdn.docswell.com/page/L73W228P75.jpg)

チームHOLONとは
チームHOLONとは
チームHOLONはLLMコンペ2025の決勝チームで
ある小野チームが医療LLMに合流した時の名前で
す。
本チームとは別に性能向上を目指し、主に小型
モデルの作成やデータの作成を主軸に活動


# Page. 4

![Page Image](https://bcdn.docswell.com/page/87DKZZM3JG.jpg)

SDG-LOOMを用いたスケーラブルで高品質なデータ合成
ほーりーふぉっくす


# Page. 5

![Page Image](https://bcdn.docswell.com/page/VJPKDDRPE8.jpg)

SDG-LOOMとは
概要
LLMによる合成データをスケーラブルに作る
ことを目的に作成された
合成データフレームワーク
特徴
高い自由度・共有のやりやすさ・
スケーラビリティの高さ etc..


# Page. 6

![Page Image](https://bcdn.docswell.com/page/2EVV11RVEQ.jpg)

医療Instructデータの作成
LLMはデータが命
→ 高品質なデータがあるだけ欲しい！ = SDG LOOMの出番
何を作った？
・キュレーション済みReasoning付きデータ
・医学テスト汎用化データ
= これらをSDG LOOMを活用して作成


# Page. 7

![Page Image](https://bcdn.docswell.com/page/57GL22M1EL.jpg)

PIIベンチマーク用データの作成
きっかけ
匿名化処理を挟むことでプロプラエタリモデルを活用したい。
→ システムがちゃんと匿名化できるかを確認したい
無加工データ
匿名化データ
安全なモデルで匿名化
高度な回答
高度なモデルで回答を作成


# Page. 8

![Page Image](https://bcdn.docswell.com/page/4EQYPPRNJP.jpg)

PIIベンチマーク用データの作成
良いベンチマークデータを作成
保有していた匿名化してある医療データ（PII済みデータ）を活用し、それを元に
ベンチマークデータを作成
ロジック
匿名化をLLMを用いて仮想データで擬似的に解除した上でまた匿名化させること
で、システムの匿名化のうまさを測ることができる！


# Page. 9

![Page Image](https://bcdn.docswell.com/page/KJ4WYY8371.jpg)

PAPER & HACKS 102
医療PDFから、
AIが活用できる知識へ
構造化・原文確認・知識の再結合を、実際のPDFで見る
医療特化型LLMを作るには ― データ編
山本高史 ｜ チームHOLON
Paper&Hacks #102 / チーム HOLON / 山本高史
01 / 14


# Page. 10

![Page Image](https://bcdn.docswell.com/page/LE1Y662Z7G.jpg)

PDFを、検索・学習に使える知識へ変える
担当範囲
入力は医療PDF。ページを画像として読み取り、構造を保つ。
今回の中心
PDF
構造化
原文確認
再結合
活用
文字だけではなく、見出し・表の行列・注記との関係を取り出す。
公開PDFでの説明例。実開発の処理ログや精度測定とは区別する。
Paper&Hacks #102 / チーム HOLON / 山本高史
02 / 14


# Page. 11

![Page Image](https://bcdn.docswell.com/page/GEWGWWR6J2.jpg)

表は「文字」だけでなく、列との対応を読む
PDF実例｜列の対応
見出し＋文献 12の行（再配置）｜ p.82
この紙面で使う手法
列を保った構造化
対象・方法・結果を
同じ研究の行に対応付ける。
列を取り違えると、文字が読めても別の意味になる。
出典：日本糖尿病学会『糖尿病診療ガイドライン
2024』第4章 p.82／PDF 16ページ目（部分引用）
Paper&Hacks #102 / チーム HOLON / 山本高史
03 / 14


# Page. 12

![Page Image](https://bcdn.docswell.com/page/47ZL55RRJ3.jpg)

表全体を読めるなら、分割しなくてよい
分割の理由
できる
そのまま読む
全体を正しく読み取り、
最後まで出力できる？
読み取る範囲を調整
抜け・途中切れ
画像を入力できることと、全内容を出力できることは別。
Paper&Hacks #102 / チーム HOLON / 山本高史
04 / 14


# Page. 13

![Page Image](https://bcdn.docswell.com/page/YJ6W99R1JV.jpg)

CQ見出しと本文の関係を、先に確認する
PDF実例｜段階的な文書解析
第4章「運動療法」／ CQ4-1
ステートメント②の抜粋
先に「章 → CQ → ステートメント」の階層を整理する。
対話で確認した所属先を、切り出しと再結合へ引き継ぐ。
出典：日本糖尿病学会『糖尿病診療ガイドライン
2024』第4章 p.67／PDF 1ページ目（部分引用）
Paper&Hacks #102 / チーム HOLON / 山本高史
05 / 14


# Page. 14

![Page Image](https://bcdn.docswell.com/page/GJ5MNN8LJ4.jpg)

長いセルの途中ではなく、行の境界で分ける
PDF実例｜座標に基づく分割
文献12・13の行｜先頭 4列を抜粋
セルの高さが違う
等間隔で切ると、
同じ研究の説明が
途中で分かれてしまう。
行境界を見て切り出す。必要に応じて境界を重ねる。
出典：日本糖尿病学会『糖尿病診療ガイドライン
2024』第4章 p.82／PDF 16ページ目（部分引用）
Paper&Hacks #102 / チーム HOLON / 山本高史
06 / 14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/9E2955K37R.jpg)

途中の行にも、元の列見出しを添える
PDF実例｜ヘッダー補完
行だけを切り出した場合
同じ行に、元の見出しを補完
対象・方法・結果の区別を
列の意味を入力側に残し、
文面から推測する必要がある。
推測への依存を減らす。
※右側は説明のための再配置。原 PDFの連続した切り抜きではありません。
出典：日本糖尿病学会『糖尿病診療ガイドライン
2024』第4章 p.82／PDF 16ページ目（部分引用）
Paper&Hacks #102 / チーム HOLON / 山本高史
07 / 14


# Page. 16

![Page Image](https://bcdn.docswell.com/page/D7Y4KKN8EM.jpg)

小さな補足は、必要な領域を拡大して確認する
PDF実例｜局所拡大
文献コード欄を小さく表示
同じ領域を拡大表示
拡大して
元画像と照合
研究の種類・レベルなどの
小さな記載も確認対象。
※表示倍率の比較です。 OCRの精度改善を測定した結果ではありません。
出典：日本糖尿病学会『糖尿病診療ガイドライン
2024』第4章 p.82／PDF 16ページ目（部分引用）
Paper&Hacks #102 / チーム HOLON / 山本高史
08 / 14


# Page. 17

![Page Image](https://bcdn.docswell.com/page/VENYRRX9J8.jpg)

形式だけでなく、対象と結論の関係を照合する
PDF実例｜原文との照合
ステートメント②の実際の記載
対象
評価する項目
結論の範囲
1型糖尿病
血糖コントロール
有効性に一定の見解がない
「何に対する、どの結論か」を、元 PDFと突き合わせる。
出典：日本糖尿病学会『糖尿病診療ガイドライン
2024』第4章 p.67／PDF 1ページ目（部分引用）
Paper&Hacks #102 / チーム HOLON / 山本高史
09 / 14


# Page. 18

![Page Image](https://bcdn.docswell.com/page/Y79PMM83E3.jpg)

ページが変わっても、同じCQの文脈をつなぐ
PDF実例｜目次・見出しに沿った再結合
冊子 p.67 の末尾
冊子 p.68 の冒頭
第4章 → CQ4-1 → ページをまたぐ説明
ページ番号を保持し、文の続きを同じ知識のまとまりへ戻す。
出典：日本糖尿病学会『糖尿病診療ガイドライン
2024』第4章 pp.67–68／PDF 1–2ページ目（部分引用）
Paper&Hacks #102 / チーム HOLON / 山本高史
10 / 14


# Page. 19

![Page Image](https://bcdn.docswell.com/page/G78DLL8L7D.jpg)

整えた知識を、検索と学習の材料にする
後工程へ
用途に合わせて加工
RAGの検索へ
ナレッジベース
根拠と文脈をたどれる知識
本文・表・注記
目次項目 ＋ 出典
合成データ作成・学習へ
加工前のシードデータ
シードデータは、完成した学習用 Q&Aとは別の「材料」。
Paper&Hacks #102 / チーム HOLON / 山本高史
11 / 14


# Page. 20

![Page Image](https://bcdn.docswell.com/page/L7LMLLRQJR.jpg)

処理の完了と、正確さを分けて考える
結果と限界
確認できたこと
それだけでは保証できないこと
3分割
すべての文字・関係が正しい
出力上限に当たったページを
検索・回答が必ず正しくなる
再処理して、完了できた。
処理の完了と、データ・回答の品質を分けて評価する。
Paper&Hacks #102 / チーム HOLON / 山本高史
12 / 14


# Page. 21

![Page Image](https://bcdn.docswell.com/page/4EMYMMPKEW.jpg)

まとめ
読み取るために分け、
使うためにつなぎ直す
01
02
03
調べる
保って読む
確かめて戻す
目次・表・注記の関係
必要な分割と見出し補完
原文照合と再結合
モデルへ渡す前に、根拠と条件がつながるデータを整える。
Paper&Hacks #102 / チーム HOLON / 山本高史
13 / 14


# Page. 22

![Page Image](https://bcdn.docswell.com/page/PER9VV16J9.jpg)

PAPER & HACKS 102
知識を学習できる形式へ
医療関連PDFファイルから再結合された知識を学習データへの変換
医療特化型LLMを作るには ― QAセット作成編
池田新二 ｜ チームHOLON
Paper&Hacks #102 / チーム HOLON / 山本高史
01 / 14


# Page. 23

![Page Image](https://bcdn.docswell.com/page/P7XQZZYDEX.jpg)

学習データの作成
概要：高品質なOCRデータを最大限活かすしたい
1. OCRデータを元にしたSFTデータ（Think付き）
松尾研LLMコンペ2025での方法を発展的に活用
コンペのQiita
https://qiita.com/ikedachin/items/e73c5688587acd1227b8
2. Think無しSFTデータにThink付与
元の情報付きのQAセット→ データを辿れるので、Think追加が容易


# Page. 24

![Page Image](https://bcdn.docswell.com/page/37K9883D7D.jpg)

SFTデータの例
例
{
"question": "日本で一番高い山は何ですか？",
"thinking": "日本の山の標高を比較する。富士山は標高3,776mで、日本で最も高い山である。",
"answer": "日本で一番高い山は富士山です。標高は3,776mです。",
"messages": [
{
"role": "user",
"content": "日本で一番高い山は何ですか？"
},
{
"role": "assistant",
"thinking": "日本の山の標高を比較する。富士山は標高3,776mで、日本で最も高い山である。",
"content": "日本で一番高い山は富士山です。標高は3,776mです。"
}
]
}


# Page. 25

![Page Image](https://bcdn.docswell.com/page/LJ3W22GPJ5.jpg)

SFT用データ作成パイプライン


# Page. 26

![Page Image](https://bcdn.docswell.com/page/8JDKZZ13EG.jpg)

Think付与
ここを飛ばすだけ


# Page. 27

![Page Image](https://bcdn.docswell.com/page/VEPKDDQP78.jpg)

学習データ生成の難しい点１
ニュアンス維持
言い換えで意味が変わる（断定化、要約、数値の欠落など）→プロンプトで対応
OCRデータ
生成データ
Thinking/Answer
課題
Aの既往症がある患者に Bの症状
がある場合、方法Cを推奨する
Bの症状には方法Cを
実施する
1.条件の欠落
2.推奨から断定へ変化
近年の研究により、 Aの習慣が体内
の代謝機能を活性化させることが
分かってきました。腸内環境の改善
とともに自律神経のバランスが整う
ため、日中の倦怠感予防にも効果
的とされています
Aの習慣は倦怠感の予
防に効果的です。
要約のしすぎ
内容はダミーです


# Page. 28

![Page Image](https://bcdn.docswell.com/page/27VV115V7Q.jpg)

学習データ生成の難しい点２ ~OCRデータ由来の課題~
課題：記号や模様を文字として認識 する場合も → 繰り返しデータ
※この図はChatGPTで作
成したダミーです。実際
に存在しません。
実際にあったのは
「L」の連続や、10文字
前後の意味のある文字列
の繰り返し


# Page. 29

![Page Image](https://bcdn.docswell.com/page/5JGL22617L.jpg)

やり残した改善点１
課題：Batch処理で十分にGPUを使いきれなかった
Batch処理
Worker-Pool処理
引用：https://qiita.com/ikedachin/items/b42e79cb7887c3615250


# Page. 30

![Page Image](https://bcdn.docswell.com/page/47QYPP4NEP.jpg)

やり残した改善点２
解決策
状態の記録（完了、空出力、エラー、など）
欠落、重複のチェック
失敗したデータを再実行する仕組み
※ダミーです
※実際に実装できたのはデータ提出後（反省点）


# Page. 31

![Page Image](https://bcdn.docswell.com/page/KE4WYYQ3J1.jpg)

これから
これから（プロジェクトのあと・・・）
●
●
基礎固め → データ作りから学習、評価まで
日々の追究
○
○
●
●
普段から試行錯誤しておく
好奇心を忘れない
失敗を恐れない
次回のチャンスに向けて準備


# Page. 32

![Page Image](https://bcdn.docswell.com/page/L71Y66PZJG.jpg)

PAPER & HACKS #102
LLMにおけるGround Truthを求めて
LLMから事実を引き出すには？LLMが見ている事実とは？
医療特化型LLMを作るには ― データ編
田島逸郎 ｜ チームHOLON
Paper&Hacks #102 / チーム HOLON / 田島逸郎
01 / 14


# Page. 33

![Page Image](https://bcdn.docswell.com/page/G7WGWW26E2.jpg)

問題意識
● 医療LLMに関する合成データやベンチマークの評
価、実運用においては「LLMが何を事実とみなし
ている、みなせるのか」が課題となる
● 合成データ：「〜に関する問題を生成してくださ
い」と指示した場合ちゃんと理解しているのか？
● 生成：回答を生成する際に何を見ているのか？
● 推論過程：どんな言語世界の中で推論が走ってい
るのか？


# Page. 34

![Page Image](https://bcdn.docswell.com/page/4JZL55DRE3.jpg)

合成データ生成で取り組んだこと
● LLMにおける事実を明示的に与える、可視化する
● (1)合成データ生成基盤: ナレッジグラフ・シソーラ
スの活用
− 生成のための最低限の事実を与える
● (2)言語世界モデル(Language World Model)の可視
化と活用: World Tuning
− ある指示を与えられた時どんな状況を思いかべ
るか話してもらう


# Page. 35

![Page Image](https://bcdn.docswell.com/page/YE6W9911EV.jpg)

(1)ナレッジグラフ・シソーラスの活用
● 幅広いデータを生成するには
→専門語彙のリストが必要
− 例えば「〜科の疾病に関する問題を生成して」
と指示した場合、似たり寄ったりになる
● ナレッジグラフ、オントロジー、シソーラス…
− 語彙とその関係を体系化したメタデータ
● 医療分野で自由に使えるもの:
− Disease Ontology(https://disease-ontology.org/)


# Page. 36

![Page Image](https://bcdn.docswell.com/page/GE5MNN4LE4.jpg)

(1)ナレッジグラフ・シソーラスを活用した
合成データ生成
● あまり複雑な構造を作ると時間がかかる
→単純なJSONに変換し、条件を与えるとランダム
にシードデータを生成→合成データ
● ナレッジグラフとLLMを両方暴れ馬にしてはいけ
ない
● 高速に試行錯誤できる体制が必要


# Page. 37

![Page Image](https://bcdn.docswell.com/page/972955V3JR.jpg)

(2)World Tuning:
LLMはどんな世界を見て生成しているのか
● ある問題に対してLLMが間違える→原因を分析する
● LLMの中の世界では間違っていないのでは？
● 1つの分析方法: Mechanistic Interpretability
−
●
ある単語の「意味」がどのようにモデル内部で表現されているか
を探索する
もう1つの可能性: Language World Model
−
−
LLMを与えられた状況において振る舞い生成をしていくモデルとし
て捉える
例えば問題からどのような状況が現れるかを言語化させる


# Page. 38

![Page Image](https://bcdn.docswell.com/page/DJY4KK387M.jpg)

(2)World Tuningの動機
SOTA LLMの性能向上は難しい
● 新しい基軸を探る必要がある
● 動機: LLMでは生成もCoTも暴走したりハルシネー
ションを起こす
→そもそもLLMからこの世界はどう見えているの
か？
見え方を正してやれば性能向上できるのでは？
● World Tuning: LLMが見ている世界を可視化し、修
正する
●


# Page. 39

![Page Image](https://bcdn.docswell.com/page/V7NYRRV9E8.jpg)

(2)World Tuningの試み
● 当時試したこと
● ある問題を与え、その問題を取り巻く情景描写を小説の地
の文の形で生成させる。それに基づいて回答させる
● 再現実験(2026.10)
−
−
−
−
−
Qwen3.8-27B
扁桃炎が悪化した場合の治療について
質問が情景描写の中の活動の形になった
ある状況から変化しうるように時間を追って状況が変化した
直接回答と状況付与、それぞれ3回ずつ生成させたところ、
合計で状況付与の方がカバー率が高くなった(19項目のうち
直接回答14, 状況付与19)


# Page. 40

![Page Image](https://bcdn.docswell.com/page/YJ9PMM6373.jpg)

(2)World Tuningの試み
● とはいえ、質問回答と状況生成は「異なる形での生成」の
枠を超えなかった
● ではどうチューニングするか？→Instruction Tuningの限界
● フォローアップ: Language World Model(LWM)研究の系譜
● 代表例: Qwen-AgentWorld(arxiv:2606.24597)


# Page. 41

![Page Image](https://bcdn.docswell.com/page/GJ8DLLZLJD.jpg)

(2)World TuningからLanguage World Modelへ
● Qwen-AgentWorldの構想
● AIエージェントは言語で完結するタスクが多い
− 検索エンジン、開発環境、シェル、Android、Web、
OS、MCP…
● LLM自体をエージェントが動く環境のシミュレータに
− 前から、LLMにコマンドを与えるとそれっぽい出力が出
てくることは知られていた(「Linuxとして振る舞え」)
● 言語世界においては世界モデルを作れるのではないか
● しかし、Instruction-Tuned Modelとは世界観が違うため継
続事前学習からおこなった(Qwen-AgentWorld-35B-A3B)


# Page. 42

![Page Image](https://bcdn.docswell.com/page/LJLMLLDQER.jpg)

(2)Qwen-AgentWorldにおける実験
研究中のため、初期観察のみを述べます
行動に対してより状況の変化がリアルになった
より状況の一貫性が維持されるようになった
ばらつきは少なく、起こることが起こるべくして起こるよ
うになった
− Qwen3.8-27Bとの対比: 3.8はReasoning Traceを見ると
「より劇的に」などと意図的に揺らしていた
● これらの現象は、言語で閉じていない領域でも適切に状況
をシミュレーションしていた
●
●
●
●


# Page. 43

![Page Image](https://bcdn.docswell.com/page/47MYMMWK7W.jpg)

まとめ
● ナレッジグラフによる最低限の事実を含んだシードデータ
の注入
● ある指示を取り巻く状況の可視化
● 以上は、「LLMがどのようなものを参照して生成を行って
いるか」を改善することに関わる
● LLMにGround Truthを与えるだけでなく、LLMにとっての
Ground Truthを捉える必要→World Modelへ
● Acknowledgements:
− この成果は、NEDO（国立研究開発法人新エネルギー・
産業技術総合開発機構）の委託業務（JPNP25006）の結
果得られたものです。


# Page. 44

![Page Image](https://bcdn.docswell.com/page/P7R9VVY6E9.jpg)

参考文献
出典：日本糖尿病学会『糖尿病診療ガイドライン2024』第4章 p.82／PDF 16ページ目（部分引用）
コンペのQiita：https://qiita.com/ikedachin/items/e73c5688587acd1227b8
引用：https://qiita.com/ikedachin/items/b42e79cb7887c3615250
参考文献：
Zuo, Yuxin, et al. "Qwen-AgentWorld: Language World Models for General Agents." arXiv preprint
arXiv:2606.24597 (2026).