【Paper&Hacks vol.102】医療特化型LLMを作るには - データ編【チームHOLON】

医療LLMプロジェクト 概要 患者情報を安全に管理できる環境で使える、最先 端の商用LLMに迫る性能を有する医療業務支援向け 日本語LLMの開発を行うプロジェクト → モデルをウェイト/APIで公開 今回はこのPJで行ったデータ作成についての発表に なります。

チームHOLONとは チームHOLONとは チームHOLONはLLMコンペ2025の決勝チームで ある小野チームが医療LLMに合流した時の名前で す。 本チームとは別に性能向上を目指し、主に小型 モデルの作成やデータの作成を主軸に活動

SDG-LOOMを用いたスケーラブルで高品質なデータ合成 ほーりーふぉっくす

SDG-LOOMとは 概要 LLMによる合成データをスケーラブルに作る ことを目的に作成された 合成データフレームワーク 特徴 高い自由度・共有のやりやすさ・ スケーラビリティの高さ etc..

医療Instructデータの作成 LLMはデータが命 → 高品質なデータがあるだけ欲しい！ = SDG LOOMの出番 何を作った？ ・キュレーション済みReasoning付きデータ ・医学テスト汎用化データ = これらをSDG LOOMを活用して作成

PIIベンチマーク用データの作成 きっかけ 匿名化処理を挟むことでプロプラエタリモデルを活用したい。 → システムがちゃんと匿名化できるかを確認したい 無加工データ 匿名化データ 安全なモデルで匿名化 高度な回答 高度なモデルで回答を作成

PIIベンチマーク用データの作成 良いベンチマークデータを作成 保有していた匿名化してある医療データ（PII済みデータ）を活用し、それを元に ベンチマークデータを作成 ロジック 匿名化をLLMを用いて仮想データで擬似的に解除した上でまた匿名化させること で、システムの匿名化のうまさを測ることができる！

PAPER & HACKS 102 医療PDFから、 AIが活用できる知識へ 構造化・原文確認・知識の再結合を、実際のPDFで見る 医療特化型LLMを作るには ― データ編 山本高史 ｜ チームHOLON Paper&Hacks #102 / チーム HOLON / 山本高史 01 / 14

PDFを、検索・学習に使える知識へ変える 担当範囲 入力は医療PDF。ページを画像として読み取り、構造を保つ。 今回の中心 PDF 構造化 原文確認 再結合 活用 文字だけではなく、見出し・表の行列・注記との関係を取り出す。 公開PDFでの説明例。実開発の処理ログや精度測定とは区別する。 Paper&Hacks #102 / チーム HOLON / 山本高史 02 / 14

表は「文字」だけでなく、列との対応を読む PDF実例｜列の対応 見出し＋文献 12の行（再配置）｜ p.82 この紙面で使う手法 列を保った構造化 対象・方法・結果を 同じ研究の行に対応付ける。 列を取り違えると、文字が読めても別の意味になる。 出典：日本糖尿病学会『糖尿病診療ガイドライン 2024』第4章 p.82／PDF 16ページ目（部分引用） Paper&Hacks #102 / チーム HOLON / 山本高史 03 / 14

表全体を読めるなら、分割しなくてよい 分割の理由 できる そのまま読む 全体を正しく読み取り、 最後まで出力できる？ 読み取る範囲を調整 抜け・途中切れ 画像を入力できることと、全内容を出力できることは別。 Paper&Hacks #102 / チーム HOLON / 山本高史 04 / 14

CQ見出しと本文の関係を、先に確認する PDF実例｜段階的な文書解析 第4章「運動療法」／ CQ4-1 ステートメント②の抜粋 先に「章 → CQ → ステートメント」の階層を整理する。 対話で確認した所属先を、切り出しと再結合へ引き継ぐ。 出典：日本糖尿病学会『糖尿病診療ガイドライン 2024』第4章 p.67／PDF 1ページ目（部分引用） Paper&Hacks #102 / チーム HOLON / 山本高史 05 / 14

長いセルの途中ではなく、行の境界で分ける PDF実例｜座標に基づく分割 文献12・13の行｜先頭 4列を抜粋 セルの高さが違う 等間隔で切ると、 同じ研究の説明が 途中で分かれてしまう。 行境界を見て切り出す。必要に応じて境界を重ねる。 出典：日本糖尿病学会『糖尿病診療ガイドライン 2024』第4章 p.82／PDF 16ページ目（部分引用） Paper&Hacks #102 / チーム HOLON / 山本高史 06 / 14

途中の行にも、元の列見出しを添える PDF実例｜ヘッダー補完 行だけを切り出した場合 同じ行に、元の見出しを補完 対象・方法・結果の区別を 列の意味を入力側に残し、 文面から推測する必要がある。 推測への依存を減らす。 ※右側は説明のための再配置。原 PDFの連続した切り抜きではありません。 出典：日本糖尿病学会『糖尿病診療ガイドライン 2024』第4章 p.82／PDF 16ページ目（部分引用） Paper&Hacks #102 / チーム HOLON / 山本高史 07 / 14

小さな補足は、必要な領域を拡大して確認する PDF実例｜局所拡大 文献コード欄を小さく表示 同じ領域を拡大表示 拡大して 元画像と照合 研究の種類・レベルなどの 小さな記載も確認対象。 ※表示倍率の比較です。 OCRの精度改善を測定した結果ではありません。 出典：日本糖尿病学会『糖尿病診療ガイドライン 2024』第4章 p.82／PDF 16ページ目（部分引用） Paper&Hacks #102 / チーム HOLON / 山本高史 08 / 14

形式だけでなく、対象と結論の関係を照合する PDF実例｜原文との照合 ステートメント②の実際の記載 対象 評価する項目 結論の範囲 1型糖尿病 血糖コントロール 有効性に一定の見解がない 「何に対する、どの結論か」を、元 PDFと突き合わせる。 出典：日本糖尿病学会『糖尿病診療ガイドライン 2024』第4章 p.67／PDF 1ページ目（部分引用） Paper&Hacks #102 / チーム HOLON / 山本高史 09 / 14

ページが変わっても、同じCQの文脈をつなぐ PDF実例｜目次・見出しに沿った再結合 冊子 p.67 の末尾 冊子 p.68 の冒頭 第4章 → CQ4-1 → ページをまたぐ説明 ページ番号を保持し、文の続きを同じ知識のまとまりへ戻す。 出典：日本糖尿病学会『糖尿病診療ガイドライン 2024』第4章 pp.67–68／PDF 1–2ページ目（部分引用） Paper&Hacks #102 / チーム HOLON / 山本高史 10 / 14

整えた知識を、検索と学習の材料にする 後工程へ 用途に合わせて加工 RAGの検索へ ナレッジベース 根拠と文脈をたどれる知識 本文・表・注記 目次項目 ＋ 出典 合成データ作成・学習へ 加工前のシードデータ シードデータは、完成した学習用 Q&Aとは別の「材料」。 Paper&Hacks #102 / チーム HOLON / 山本高史 11 / 14

処理の完了と、正確さを分けて考える 結果と限界 確認できたこと それだけでは保証できないこと 3分割 すべての文字・関係が正しい 出力上限に当たったページを 検索・回答が必ず正しくなる 再処理して、完了できた。 処理の完了と、データ・回答の品質を分けて評価する。 Paper&Hacks #102 / チーム HOLON / 山本高史 12 / 14

まとめ 読み取るために分け、 使うためにつなぎ直す 01 02 03 調べる 保って読む 確かめて戻す 目次・表・注記の関係 必要な分割と見出し補完 原文照合と再結合 モデルへ渡す前に、根拠と条件がつながるデータを整える。 Paper&Hacks #102 / チーム HOLON / 山本高史 13 / 14

PAPER & HACKS 102 知識を学習できる形式へ 医療関連PDFファイルから再結合された知識を学習データへの変換 医療特化型LLMを作るには ― QAセット作成編 池田新二 ｜ チームHOLON Paper&Hacks #102 / チーム HOLON / 山本高史 01 / 14

学習データの作成 概要：高品質なOCRデータを最大限活かすしたい 1. OCRデータを元にしたSFTデータ（Think付き） 松尾研LLMコンペ2025での方法を発展的に活用 コンペのQiita https://qiita.com/ikedachin/items/e73c5688587acd1227b8 2. Think無しSFTデータにThink付与 元の情報付きのQAセット→ データを辿れるので、Think追加が容易

• https://qiita.com/ikedachin/items/e73c5688587acd1227b8

SFTデータの例 例 { "question": "日本で一番高い山は何ですか？", "thinking": "日本の山の標高を比較する。富士山は標高3,776mで、日本で最も高い山である。", "answer": "日本で一番高い山は富士山です。標高は3,776mです。", "messages": [ { "role": "user", "content": "日本で一番高い山は何ですか？" }, { "role": "assistant", "thinking": "日本の山の標高を比較する。富士山は標高3,776mで、日本で最も高い山である。", "content": "日本で一番高い山は富士山です。標高は3,776mです。" } ] }

SFT用データ作成パイプライン

Think付与 ここを飛ばすだけ

学習データ生成の難しい点１ ニュアンス維持 言い換えで意味が変わる（断定化、要約、数値の欠落など）→プロンプトで対応 OCRデータ 生成データ Thinking/Answer 課題 Aの既往症がある患者に Bの症状 がある場合、方法Cを推奨する Bの症状には方法Cを 実施する 1.条件の欠落 2.推奨から断定へ変化 近年の研究により、 Aの習慣が体内 の代謝機能を活性化させることが 分かってきました。腸内環境の改善 とともに自律神経のバランスが整う ため、日中の倦怠感予防にも効果 的とされています Aの習慣は倦怠感の予 防に効果的です。 要約のしすぎ 内容はダミーです

学習データ生成の難しい点２ ~OCRデータ由来の課題~ 課題：記号や模様を文字として認識 する場合も → 繰り返しデータ ※この図はChatGPTで作 成したダミーです。実際 に存在しません。 実際にあったのは 「L」の連続や、10文字 前後の意味のある文字列 の繰り返し

やり残した改善点１ 課題：Batch処理で十分にGPUを使いきれなかった Batch処理 Worker-Pool処理 引用：https://qiita.com/ikedachin/items/b42e79cb7887c3615250

• https://qiita.com/ikedachin/items/b42e79cb7887c3615250

やり残した改善点２ 解決策 状態の記録（完了、空出力、エラー、など） 欠落、重複のチェック 失敗したデータを再実行する仕組み ※ダミーです ※実際に実装できたのはデータ提出後（反省点）

これから これから（プロジェクトのあと・・・） ● ● 基礎固め → データ作りから学習、評価まで 日々の追究 ○ ○ ● ● 普段から試行錯誤しておく 好奇心を忘れない 失敗を恐れない 次回のチャンスに向けて準備

PAPER & HACKS #102 LLMにおけるGround Truthを求めて LLMから事実を引き出すには？LLMが見ている事実とは？ 医療特化型LLMを作るには ― データ編 田島逸郎 ｜ チームHOLON Paper&Hacks #102 / チーム HOLON / 田島逸郎 01 / 14

問題意識 ● 医療LLMに関する合成データやベンチマークの評 価、実運用においては「LLMが何を事実とみなし ている、みなせるのか」が課題となる ● 合成データ：「〜に関する問題を生成してくださ い」と指示した場合ちゃんと理解しているのか？ ● 生成：回答を生成する際に何を見ているのか？ ● 推論過程：どんな言語世界の中で推論が走ってい るのか？

合成データ生成で取り組んだこと ● LLMにおける事実を明示的に与える、可視化する ● (1)合成データ生成基盤: ナレッジグラフ・シソーラ スの活用 − 生成のための最低限の事実を与える ● (2)言語世界モデル(Language World Model)の可視 化と活用: World Tuning − ある指示を与えられた時どんな状況を思いかべ るか話してもらう

(1)ナレッジグラフ・シソーラスの活用 ● 幅広いデータを生成するには →専門語彙のリストが必要 − 例えば「〜科の疾病に関する問題を生成して」 と指示した場合、似たり寄ったりになる ● ナレッジグラフ、オントロジー、シソーラス… − 語彙とその関係を体系化したメタデータ ● 医療分野で自由に使えるもの: − Disease Ontology(https://disease-ontology.org/)

• https://disease-ontology.org/

(1)ナレッジグラフ・シソーラスを活用した 合成データ生成 ● あまり複雑な構造を作ると時間がかかる →単純なJSONに変換し、条件を与えるとランダム にシードデータを生成→合成データ ● ナレッジグラフとLLMを両方暴れ馬にしてはいけ ない ● 高速に試行錯誤できる体制が必要

(2)World Tuning: LLMはどんな世界を見て生成しているのか ● ある問題に対してLLMが間違える→原因を分析する ● LLMの中の世界では間違っていないのでは？ ● 1つの分析方法: Mechanistic Interpretability − ● ある単語の「意味」がどのようにモデル内部で表現されているか を探索する もう1つの可能性: Language World Model − − LLMを与えられた状況において振る舞い生成をしていくモデルとし て捉える 例えば問題からどのような状況が現れるかを言語化させる

(2)World Tuningの動機 SOTA LLMの性能向上は難しい ● 新しい基軸を探る必要がある ● 動機: LLMでは生成もCoTも暴走したりハルシネー ションを起こす →そもそもLLMからこの世界はどう見えているの か？ 見え方を正してやれば性能向上できるのでは？ ● World Tuning: LLMが見ている世界を可視化し、修 正する ●

(2)World Tuningの試み ● 当時試したこと ● ある問題を与え、その問題を取り巻く情景描写を小説の地 の文の形で生成させる。それに基づいて回答させる ● 再現実験(2026.10) − − − − − Qwen3.8-27B 扁桃炎が悪化した場合の治療について 質問が情景描写の中の活動の形になった ある状況から変化しうるように時間を追って状況が変化した 直接回答と状況付与、それぞれ3回ずつ生成させたところ、 合計で状況付与の方がカバー率が高くなった(19項目のうち 直接回答14, 状況付与19)

(2)World Tuningの試み ● とはいえ、質問回答と状況生成は「異なる形での生成」の 枠を超えなかった ● ではどうチューニングするか？→Instruction Tuningの限界 ● フォローアップ: Language World Model(LWM)研究の系譜 ● 代表例: Qwen-AgentWorld(arxiv:2606.24597)

(2)World TuningからLanguage World Modelへ ● Qwen-AgentWorldの構想 ● AIエージェントは言語で完結するタスクが多い − 検索エンジン、開発環境、シェル、Android、Web、 OS、MCP… ● LLM自体をエージェントが動く環境のシミュレータに − 前から、LLMにコマンドを与えるとそれっぽい出力が出 てくることは知られていた(「Linuxとして振る舞え」) ● 言語世界においては世界モデルを作れるのではないか ● しかし、Instruction-Tuned Modelとは世界観が違うため継 続事前学習からおこなった(Qwen-AgentWorld-35B-A3B)

(2)Qwen-AgentWorldにおける実験 研究中のため、初期観察のみを述べます 行動に対してより状況の変化がリアルになった より状況の一貫性が維持されるようになった ばらつきは少なく、起こることが起こるべくして起こるよ うになった − Qwen3.8-27Bとの対比: 3.8はReasoning Traceを見ると 「より劇的に」などと意図的に揺らしていた ● これらの現象は、言語で閉じていない領域でも適切に状況 をシミュレーションしていた ● ● ● ●

まとめ ● ナレッジグラフによる最低限の事実を含んだシードデータ の注入 ● ある指示を取り巻く状況の可視化 ● 以上は、「LLMがどのようなものを参照して生成を行って いるか」を改善することに関わる ● LLMにGround Truthを与えるだけでなく、LLMにとっての Ground Truthを捉える必要→World Modelへ ● Acknowledgements: − この成果は、NEDO（国立研究開発法人新エネルギー・ 産業技術総合開発機構）の委託業務（JPNP25006）の結 果得られたものです。

参考文献 出典：日本糖尿病学会『糖尿病診療ガイドライン2024』第4章 p.82／PDF 16ページ目（部分引用） コンペのQiita：https://qiita.com/ikedachin/items/e73c5688587acd1227b8 引用：https://qiita.com/ikedachin/items/b42e79cb7887c3615250 参考文献： Zuo, Yuxin, et al. "Qwen-AgentWorld: Language World Models for General Agents." arXiv preprint arXiv:2606.24597 (2026).

• https://qiita.com/ikedachin/items/e73c5688587acd1227b8
• https://qiita.com/ikedachin/items/b42e79cb7887c3615250