【DL輪読会】TRINITY: An Evolved LLM Coordinator

DEEP LEARNING JP DEEP [DLLEARNING Papers] JP [DL Papers] “Trinity: An Evolved LLM Coordinator” Presenter: Sayaka Yamashita, Matsuo Lab M2 http://deeplearning.jp/

• http://deeplearning.jp/

論文情報 ── コーディネータで複数LLMを実行時に協調させ、LiveCodeBenchで新SOTAに達した論文。 論文名 “Trinity: An Evolved LLM Coordinator” 著者 Jinglue Xu · Qi Sun（equal）· Peter Schwendeman · Stefan Nielsen · Edoardo Cetin · Yujin Tang 所属: Sakana AI（Japan） / University of Michigan / Institute of Science Tokyo Link arXiv:2512.04695v3 [cs.LG]（27 Apr 2026） https://arxiv.org/pdf/2512.04695 キーワード LLM Coordination · Test-time Model Fusion · sep-CMA-ES · Tri-role Protocol 2

• https://arxiv.org/pdf/2512.04695

選定理由 ── 先進性と、自分の修論の関係性の大きさから選んだ。 • 小規模モデルでもSOTAを達成する先進性 ⚫ Routingの困難な領域となる小パラメータモデルをうまくまとめて精度とコストの両立を達成させるのは革命的 ⚫ うまくコーディネータの入力と学習を工夫してることでの達成 • 研究との直接的な関連性 ⚫ 自身の修論テーマ「Web エージェントにおける LLM ルーティング／Meta-Agent Router」と最も近い先行研究。 「どのモデルに・どの役割で振り分けるか」という同一の問題設定を扱い、TRINITY はその隠れ状態ベースの解を与える。 • Fugu からの遡上 ── 再現可能な粒度への到達 ⚫ Sakana Fugu は、フロンティアモデルを RL で束ねる非公開の産業システムで、個人では再現不可能だった。 その土台にあたる本論文（0.6B＋進化計算＝学習パラメータ < 20K）まで降りることで、再現でき、かつ自研究に直接乗る粒度に到達した。 3

論文概要 ── 重み統合なしの実行時合成で、20k以下のパラメータのコーディネータが単体フロンティアモデルを超えることを示す。 論文の概要 • 単一巨大モデルのスケーリングでも、重みをマージする model merging でもなく、複数 LLM を「実行時に協調させる」マクロレベルの合成。 • 約0.6B の小型 LM ＋ 約1万パラメータの軽量ヘッドからなるコーディネータが、各ターンで「呼ぶ LLM」と「担わせる役割」を選ぶ。 主要な貢献（3点） • ① 軽量で効果的な協調機構：SLM の隠れ状態には多様な LLM を束ねるのに十分な文脈信号がある（学習パラメータ総計 < 20K）。 • ② 極めて効率的な学習法：予算制約下で sep-CMA-ES が RL・模倣学習・ランダム探索より優れることを理論・実験で示す。 • ③ SOTA と汎化：LiveCodeBench で新記録。未知タスクにもゼロショット転移し、創発的な協調戦略を獲得。 4

背景・動機 ── 重みマージ（micro）でなく、実行時にLLMと役割を動的に振り分けるmacro協調を狙う立場。 • Model fusion（複数モデルの統合）には大きく2つの水準がある。 • micro：パラメータ空間でのマージ（model merging）。重みへのアクセスと互換性が必須で、オープン重みに限定される。 • macro：データフロー空間での合成（routing / scaffolding）。クローズドの強モデルも取り込めるが、静的・人手設計や高コスト多モデル推論に依存しがち。 • 単体モデルには明確な得手不得手があり、タスクごとに最適な単体が入れ替わる（コード・数学・知識・推論で王者が異なる）。 • → ならば「重みを触らず、実行時にクエリごとへ適した LLM と役割を動的に割り当てる」学習型コーディネータが有望。これが本研究の立場。 • 中心的な課題：この振り分けを、巨大な追加学習なしに、しかも限られた評価予算の下で獲得できるか？ • 本論文の答え：小型 LM の内部表現（隠れ状態）から十分な信号が取り出せる、という仮説に賭ける。 5

中心仮説 ── 『小型LMの隠れ状態（penultimateトークン）に、どのLLMへ振るべきかの情報が含まれる』という仮説。 • 仮説：約0.6B の小型 LM（SLM）が会話全体を処理して得る隠れ状態には、多様 な LLM を束ねるのに十分な文脈信号が含まれる。 隠れ状態 → 軽量ヘッド → 選択 • なぜ penultimate（最後から2番目）トークンか • 自己回帰型 Transformer では、この位置が系列全体へ注意を張った安定・文脈豊富な 表現になる。 … obs act obs act penultimate • 最終トークンは意味の薄い EOS を拾いやすく崩れる（後のアブレーションで実証）。 • 帰結：軽量な線形ヘッド＋極小パラメータでも、タスクを分離して的確に振り分けられる 。 SLM 0.6B → h(s) • さらに「生成テキストは捨て、ロジットだけ使う」ことで、各ターンの判断が早期に確定し、 評価が軽くなって進化計算での学習が現実的になる。 軽量ヘッド（<20K） L 個: LLM を選択 3 個: 役割を選択 ※ 生成テキストは捨て、ロジットのみ使用 → 早期決定 6

問題設定①：方策 ── 状態＝会話・行動＝(LLM×役割)・方策π_θはヘッドのロジットのsoftmaxで各ターンの行動を選ぶ、と定式化。 • s ∈ 𝒮：状態＝これまでの会話（マルチターンの文脈）。 • θ ∈ 𝒫 ⊂ ℝ^n：コーディネータの学習パラメータ（約1万次元）。 • h(s) ∈ ℋ ⊂ ℝ^d：SLM が s を処理して得る penultimate トークンの隠 れ状態ベクトル。 • f_θ(h(s))：ヘッドが出す L 個のロジット（LLM 選択）。 • a ∈ 𝒜：行動＝「どの LLM に・どの役割で」の組。 • π_θ(a|s) ∝ exp(f_θ(h(s))_a)：ロジットの softmax で各ターンの行動を 確率的にサンプル。 7

問題設定②：目的関数 ── 終端の二値報酬R(τ)の期待値J(θ)を、厳しい評価予算の下で最大化する問題として定義。 • 軌跡 τ=(s₀,a₀,…,s_T)：各ターンで方策が行動を選ぶ多ターン過程。ホライズン T ≤ B_turn（固定ターン予算）。 • 終端報酬 R(τ)∈{0,1}：最後にだけ明かされる二値（タスク成功=1）。途中の密な報酬はない ＝ 勾配法に不利。 • 目的 J(θ)=𝔼_{τ∼π_θ}[R(τ)]：方策 π_θ の下での成功率の期待値そのものを直接最大化。 • θ* ∈ argmax J(θ) を、原子評価予算 B_env（Bernoulli 呼び出し回数）の制約下で探す。→ 勾配ではなく進化計算で解くのが肝。 8

手法①：パラメトリゼーション ── 軽量ヘッド＋SVFのみを学習し本体は凍結、生成テキストは捨ててロジットだけ使う。 • 学習するのは2つの軽量部品だけ。 Figure 2（原典）：軽量ヘッド＋SVF • ① 軽量ヘッド：LM ヘッドと並列の単層線形。SLM の penultimate 隠れ状態から 、L 個（LLM 選択）＋ 3 個（役割選択）のロジットを出す（約1万パラメータ）。 • 学習パラメータの総計は20k以下になる。 • ② 特異値ファインチューニング（SVF）：Transformer²（Sun 2025）由来。重 み行列を SVD し、特異値のスケールのみ学習。ヘッド信号を活かすため SLM を極 小コストで適応。 • 生成テキストは使わずロジットのみ → 各ターンの決定が早く、進化計算での多数評 価が現実的に。 出典: Xu et al., TRINITY (arXiv:2512.04695v3), Fig.2｜CC BY 4.0 9

手法②：三役プロトコル ── 各ターンThinker/Worker/Verifierを割り当て、VerifierのACCEPTで停止する協調を回す。 Thinker（T） Worker（W） Verifier（V） 計画・分解・部分解の批評を与え、次に誰がどの役割を担う かも方向づける。 課題に直接作用。導出・コード・数値計算などで具体的な前 進を生む。 出力 uₖ∈{ACCEPT, REVISE} と診断 δₖ を返す。 ACCEPT かつ K 到達で停止、さもなくば継続。 • トランスクリプト 𝒞ₖ は (Q, O₁,…,Oₖ₋₁) を累積。停止規則は「Verifier が ACCEPT を返し、かつ最大ターン K に達したら終了、そうでなければ継続」。 • 役割はプロンプト注入で切替え、同じ LLM でも担う機能を変えられる。役割の選択自体もヘッドが出す 3 ロジットで決まる。 10

手法③：協調の実例 ── 減価償却問題を、分解→計算→検証の3ターンで役割を替えながら解く具体例。 複雑な減価償却問題を、役割を切り替える3ターンで解く例。役割ごとに異なる LLM を選ぶ点にも注目。 出典: Xu et al., TRINITY (arXiv:2512.04695v3), Fig.1｜CC BY 4.0 → 役割の切替と適切なターン数により、単純なルーティングを超えた協調が生まれる（後の実験で、ターン予算を増やすほど性能が伸びることを確認）。 11

手法：全体像 ── 全会話をコーディネータに渡してLLM＋役割を選び、出力を追記して次ターンへ回す循環型アーキテクチャ。 各ターン、全会話をコーディネータに渡し、ヘッドが「LLM＋役割」を選び、役割別プロンプトを注入して選択 LLM を呼ぶ。出力を追記して次ターンへ。 出典: Xu et al., TRINITY (arXiv:2512.04695v3), Fig.1｜CC BY 4.0 3 つの役割（各ターンで 1 つを割当） T Thinker（思考） 高レベルの計画・分解・部分解の批評。次エージェントの 役割も指定可。 W Worker（実行） 課題に直接作用し、導出・コード・数値など具体的な前 進を生む。 V Verifier（検証） 解の正しさ・完全性を判定。ACCEPT/REVISE と診断 を返し、停止を制御。 12

手法④：なぜ進化計算か ── 目的がblock-ε分離可能で、弱結合・高コスト・二値報酬の地形にsep-CMA-ESが適すると論じる。 • 学習対象は「隠れ状態 → 選択」の写像。報酬は終端二値・評価は高コスト・パラメータ結合は弱い、という特殊な地形。 1 2 3 パラメータ結合が弱い 各評価が高コスト ブロックε分離可能性 各パラメータのスカラー勾配が小さく、REINFORCE の勾配 は SNR が低い。終端二値・スパース報酬では方策改善が 非効率。 1ステップごとに協調エピソード（複数 LLM 呼び出し・複数タ ーン）を回す必要。勾配のためのサンプル数を稼げない。 目的が block-ε separable（付録 A.1）。ブロック間の 干渉が小さく、対角共分散を持つ sep-CMA-ES に理想的 。 13

手法⑤：更新式と理論保証 ── sep-CMA-ESの更新式と、小T域で優位・定常域でO(1/n)収縮という2命題で理論的に裏づける。 サンプリング（対角スケーリング付きガウス摂動） 本研究の予算レジーム • 次元 n ≈ 10,000（約1万次元のヘッド） • 母集団 λ ≈ 32 = ⌈4+3 ln n⌉ • 複製回数 m_CMA=16 / m_RS=32（候補あたり評価数） • 評価予算 1.5k – 40k（極めてタイト） 母集団サイズと優位比 2 つの命題（付録 A.1） • 命題1（小 T 域）：予算を揃えると優位比は T/ln(16T)·η² で振る舞い、小さな T でも 1 を超える。 • 命題2（定常域）：約 n 反復の較正後、各ステップが O(1/n) の割合で残差を削 減（率定数 κ̄≈Θ(1)）。RS は多ラウンドでも対数改善のみ → T 増大で差が拡大 。 14

実験：セットアップ ── Qwen3-0.6B＋7モデルで、in-dist4タスクとheld-out4タスクを多数のベースラインと比較する。 コーディネータとプール • コーディネータ SLM：Qwen3-0.6B。ヘッドは 10K パラメータの単層線形、SVF は 0.6B の後ろから2層目に適用。 • プール＝7 モデル。クローズド3：GPT-5 / Gemini-2.5-pro / Claude-4-Sonnet。オープン4：Gemma-3-27B-It / DeepSeek-R1-Distill-Qwen-32B / Qwen3-32B(direct) / Qwen3-32B(reasoning)。 タスクとプロトコル • In-distribution（学習＋評価）：MATH500 / MMLU / RLPR / LiveCodeBench。LiveCodeBench は V1（400問）で学習、V6 の新規175問（2025/1– 4）で評価。 • 公平化：全 LLM の最大生成トークン=4096、reasoning は最小、協調ターン上限=5。 • 汎化評価（held-out）：AIME2025 / BigCodeBench / MT-Bench / GPQA-D。 ベースライン • 多エージェント・ルーティング：MasRouter / RouterDC / Smoothie / MoA / ランダム選択 ｜ 単体 LLM：4K と 20K(=5×CTX) トークンで • 自己反省・多数決：5ターン self-reflection(5×SR) / 5サンプル多数決 / LLM をコーディネータに 15

実験①：In-distribution ── 4ベンチすべてで既存手法を一貫して上回り、2番手比で平均相対誤差を21.9%削減した。 Trinity vs 単体モデル（正解率 %／Table 2 の単体行） 平均相対誤差：−21.9% 2番手の手法に対する削減（in-dist 4ベ ンチ平均）。MATH500 単体では 2位比 −11.76%。 Per-Question-Best に肉薄 • 4タスク中3つで、7モデルの正解和集合 （上界）に接近。LCB v6 は 0.61 で 全手法を凌駕。 出典: Xu et al., TRINITY (arXiv:2512.04695v3), Fig.3｜CC BY 4.0 • 多エージェント法は不安定：MoA は LCB=0.39、RouterDC の RLPR=0.28 はランダム(0.32)以下。 16

実験②：ゼロショット転移 ── 学習に使わない未知4タスクでも、平均54.21で全単体モデルを上回った。 平均スコア最高：54.21 4タスク各々で全ベースラインを上回る（ BigCodeBench は同点首位）。 含意 出典: Xu et al., TRINITY (arXiv:2512.04695v3), Table1 • 単なる「最良エージェント選択」ではな い。 • 各単体は専門特化の強弱を持つが、 Trinity は全ドメインで一貫。プール 全体の能力を統合し、どの単体をも 超える創発的性能を示す。 17

実験③：SOTA ── 出力長制約を外すだけで、LiveCodeBenchでpass@1=86.2%の新SOTAを達成した。 出力長制約を外すだけ（再学習なし）。学習後、コーディネータの選択はクローズド3モデルに収束していた。 LiveCodeBench V6（pass@1, %） LiveCodeBench V6（2025/1–4 の新規問 題）で新 SOTA 86.2 ± 0.5% GPT-5=83.8 / Gemini=67.2 / Claude=46.5 を上回る。 ターン予算を増やすほど伸びる 2 ターン 6 ターン 82.3% 86.3% → 性能は複雑な協調に由来し、ナイーブなルー ティングを超える。 出典: Xu et al., TRINITY (arXiv:2512.04695v3), Fig.4｜CC BY 4.0 18

実験④：アブレーション ── SVF・三役・penultimate・エージェント選択のどれを外しても低下し、全要素が必要と確認した。 出典: Xu et al., TRINITY (arXiv:2512.04695v3), Table2 SVF を除去 一貫して低下。内部表現の直接適応がヘッドへ良い信号。 三役選択を除去 複雑推論に打撃：MATH500 −6.0pt、RLPR −4.57pt。 最終トークンに変更 意味の薄い EOS を拾い崩壊：LCB で 10pt 超の低下。 エージェント選択除去 単一固定エージェントでは性能が大きく損なわれる。 19

実験⑤：表現の分離可能性 ── 隠れ状態は線形SVMでほぼ完全分類（chance0.25）でき、軽量ヘッドで振り分けられる根拠を示した。 コーディネータの隠れ状態は、タスク種別で分離可能か？ 線形 SVM と t-SNE で検証（概念図）。 Figure 5（原典）：表現空間の分離可能性 線形 SVM の分類精度: ほぼ完全 chance = 0.25 （4クラス）を大きく上回る penultimate 隠れ状態＋タスクメタデータのラベルで評価。 なぜ効くのか • 線形 SVM がほぼ完全分類＝ほぼ線形分離可能。t-SNE も 明瞭なクラスタ＝強い非線形分離も示す。 出典: Xu et al., TRINITY (arXiv:2512.04695v3), Fig.5｜CC BY 4.0 • この高い分離可能性が、軽量な線形ヘッドで極小パラメータでも 有効な協調判断を可能にする（付録 A.3：性能と正相関） 。 20

実験⑥：目的の分離可能性 ── ヘッド構造を比較し、目的がblock-ε分離可能（linearが最良）であることを実験的に裏づけた。 Table 3：出力変換は既定 softmax、block-diagonal-10 のみ argmax。linear が総合最良。 block-ε 分離可能性の証拠 • linear が総合最良（MMLU のみ sparse が僅差で上）。 • block-diagonal-10 は d_h 重みのみ＝linear の約1/10（例 1,024 vs 10,240）だが中位性能を維持。1エージ ェント/役割=1ブロックでロジット間の独立性を最大化。 • argmax は softmax の単体制約を外し独立性をさらに強化：非最大ブロックの摂動が確率質量を再配分しない → 推論・適応度帰属の両面でブロック間干渉を低減。 • → 目的が block-ε separable。sep-CMA-ES が効く理由と直結。 21

実験⑦：学習法の比較 ── 同一予算下でsep-CMA-ESがREINFORCE/RS/SFTを全タスクで上回ることを示した。 Table 4：同等予算での4学習法比較。REINFORCE は高分散・進捗弱。 Figure 6（原典）：LLM 選択分布の進化 ※ RS はしばしば単一エージェント/役割へ collapse し多様性を損なう。SFT は健闘 するがラベル生成コストが高くマルチターン協 調に不向き（付録 A.2）。 出典: Xu et al., TRINITY (arXiv:2512.04695v3), Fig.6｜CC BY 4.0 22

関連研究 ── Model fusionをmicro/macroに整理し、隠れ状態から動的に選ぶ学習型として差別化される。 Model fusion＝複数モデルをより有能な系に統合する手法群。本論文は 2 つの階層に大別して整理する（本文 §5 の順序）。 • ① micro-level（パラメータ空間でのマージ） • 重み平均やタスク均衡補間などの静的レシピ（MergeKit, Goddard 2024）。 より最近は最適化ベース＝進化的にマージレシピを探索し、手設計を超える汎化を示す（Akiba 2025）。 限界：重みへのアクセスと互換性が必須 → オープン重みに限定され、フロンティアのクローズド強モデルを取り込めない。 • ② macro-level（データフロー空間での合成） • 層／トークン単位の stitching、および scaffolding・routing で強い単一系を作る。 scaffolding 系：MoA、Multi-Agent Debate。／ routing 系：Smoothie、RouterDC、MasRouter。 限界：高コストな多モデル推論、または静的・人手設計の協調パターンに依存。 • Trinity の差別化 • 重みに触れず（macro 側）、かつ静的ルーティングでもなく、SLM の隠れ状態から動的に「LLM × 役割」を選ぶ、軽量・学習型のコーディネータを導入する点で一 線を画す。 ※ RouterDC / MasRouter / Smoothie / MoA との定量的な性能比較は、§5 ではなく §4 の実験（ベースライン）側にある。 23

考察 ── 性能は『隠れ状態の豊かな文脈化』と『地形に適したsep-CMA-ES』の2要因で駆動される。 1 2 隠れ状態が入力を豊かに文脈化 コーディネータの隠れ状態表現が、入力の豊かな文脈化を与える。penultimate トークンは系列全体に注意を張り安定した文脈を担うため、軽量な線 形ヘッドでもタスクを分離して的確に振り分けられる（§4.6：SVM ほぼ完全分類、t-SNE 明瞭クラスタ）。 高次元・低結合・高コスト下で sep-CMA-ES が優位 約1万次元・弱いパラメータ結合・厳しい評価予算・二値報酬という地形は block-ε separable。対角共分散の sep-CMA-ES はこの地形に最適で 、RL・模倣学習・RS を理論（命題1・2）と実験（§4.8）の両面で上回る。 24

結論・限界 ── 軽量コーディネータでSOTAに到達。限界は抽象推論と接地実行の間のギャップ（まだ行動はできない）。 結論 • 軽量なコーディネータが多様な LLM を統率し SOTA に到達できることを示した。 • 三役プロトコル＋効率的な進化戦略学習という組合せが鍵。 • 含意：巨大な単一モデルをスケールさせるより、協調的な AI エコシステムを設計する道が有望。 限界と今後 • 主要な限界：抽象的推論と接地された実行の間にギャップ 。ツールを含む計画は立てられても、まだ実際に行動（実行 ）できない。 • 今後の方向：コードインタプリタや API を含む、より異種な エージェントプールの統合。このギャップを埋め、より汎用で有 能な問題解決系へ。 • 再現性：ソースコードと学習済み重みを補足資料で提供、 使用モデル・データは公開と宣言。 • ① 軽量で効果的な協調機構（学習パラメータ総計 < 20K） • ② 予算制約下で sep-CMA-ES が RL・模倣学習・RS より優れる（理論＋実験） • ③ LiveCodeBench 新 SOTA・未知タスクへの汎化・創発的協調戦略 25

付録①：ヘッド構成 ── 各ヘッド構成のパラメータ数を比較。block-diagonal-10はlinearの約1/10でも中位性能を保つ。 出典: Xu et al., TRINITY (arXiv:2512.04695v3), Table 6｜CC BY 4.0 ▪ linear は d_h·n_a、block-diagonal-10 は d_h のみ＝約1/10（例 10,240 vs 1,024、d_h=1024・n_a=10）。極小 でも中位性能を保つ＝目的の block-ε 分離性の証拠（§4.7 と対応）。 ▪ ヘッドは Qwen3-0.6B の最終隠れ層に並列、SVF は後ろから2層目に適用。初期化は Glorot。 26

付録②：理論（正式版） ── block-ε分離可能性の定義と、優位・O(1/n)収縮を保証するProposition 1・2の正式な式。 Definition 1（block-ε 分離性） Proposition 1 / 2（正式版） Proposition 1（小T域）：予算整合で優位比 ≈ T/ln(16T)·η²（η∈[0,1]）＝小Tでも1超。 Proposition 2（定常域）：約 n 反復の較正後、各ステップが O(1/n) で残差収縮（κ̄_{μ,λ}=Θ(1)）。RS は多ラウンドで も対数改善のみ。 ▪ Definition 1：g:=−J、H(θ):=∇²g(θ) のブロック分割 {B₁,…,B_M} に対し、正の対角スケーリング後のブロック間結 合を ε で抑える条件（本文S13の平易版に対する正式版）。 sep-CMA-ES サンプリング式 出典: Xu et al., TRINITY (arXiv:2512.04695v3), Definition 1・Proposition 1,2・A.1.1 Notations｜CC BY 4.0 27

付録③：実験詳細 ── タスク別エージェント分布・追加ベースライン・トークン使用量など実験の詳細設定。 出典: Xu et al., TRINITY (arXiv:2512.04695v3), Table 9（平均出力トークン数） 出典: Xu et al., TRINITY (arXiv:2512.04695v3), A.7.2 Fig. ▪ A.7.4：Trinity は協調手法の中でトークン効率が上位（§4.2 の裏づけ）。 ▪ A.7.3：LLM-as-coordinator 等の追加ベースラインと比較。 ▪ A.7.1：全 LLM 出力4096・reasoning最小・協調ターン5 等の公平化設定。 出典: Xu et al., TRINITY (arXiv:2512.04695v3), Table 7 28

付録④：SFT/学習法/データ ── SFTのラベルコスト・学習アルゴリズム詳細・データとエージェントの選定原則。 A.2 ― SFT ▪ SFT はマルチターンでラベル生成コストが法外＝スケールしない（§4.8 と対応）。 学習設定（既知値） ▪ 学習パラメータ < 20K（ヘッド~10K＋SVF） ▪ n≈10,000 ／ λ≈32=⌈4+3ln n⌉ ▪ fitness averaging 付き RS 等、学習法比較の詳細設定（sep-CMA-ES を含む）。 ▪ m_CMA=16 ／ m_RS=32 A.6 ― データ選定 ▪ 評価予算 1.5k–40k ▪ LLM・タスクの選定原則（多様性・難易度・評価の公平性）。 ▪ block-diag-10 ≈ linear の1/10（1,024 vs 10,240） A.5 ― 学習アルゴリズム 29