【DL輪読会】Multi²: Hierarchical Multi-Agent Decision-Making with LLM-Based Agents in Interactive Environments

DEEP LEARNING JP [DL Papers] Multi²: Hierarchical Multi-Agent Decision-Making with LLM-Based Agents in Interactive Environments Presenter: Tsogbadrakh Khangai, Matsuo-Iwasawa lab, M1 http://deeplearning.jp/

• http://deeplearning.jp/

書誌情報 紹介論文 ✓ Multi²: Hierarchical Multi-Agent Decision-Making with LLM-Based Agents in Interactive Environments ✓ ICML 2026 (PMLR 306) ／ Sangeun Park・Minhae Kwon（Sungkyunkwan University） 一言で ✓ 長期対話で目標がずれる objective drift を「計画」ではなく「実行」の失敗として捉え直した ✓ 上位プランナーを SFT・下位実行器を offline-to-online RL で学習する階層フレームワーク ✓ 3ベンチマーク15条件のうち14条件で既存手法を上回り 推論トークン効率も最良

概要 背景 ✓ どうすれば長期タスクを確実かつ効率的に解ける対話エージェントを作れるか 課題ー LLM エージェントは長期対話で劣化する ✓ objective drift ー エージェントが元の意図を徐々に失う ✓ token 非効率 ー 意図を保つために履歴が膨らみ続ける 主張 ✓ drift は計画の失敗だけではなく 小さな実行誤差が蓄積して起こる実行の失敗である 提案 ✓ 役割ごとに異なる目的関数で学習する2つの方針を用意する ✓ Planner は SFT ／ Executor は offline-to-online RL

背景ー長期対話が壊れる2つの失敗ー closed-loop 対話では行動が世界状態を変え次の判断は新しい観測に依存する ✓ objective drift 意図がcontext から外れ目標が徐々にずれていく ✓ token 非効率 意図を保つために長い履歴を毎ターン送り続ける 本論文の主張 ✓ drift は planning の失敗ではなく interaction レベルの現象である → 分解だけでは足りず 実行器そのものを学習させる必要がある Figure 1(a) ScienceWorld ／ Llama-3.1 8B

背景ー先行研究の課題ー 階層的に分解する先行研究 ー ADaPT ／ Glider ✓ 課題1 ー 計画の失敗は減るが実行の失敗が残る 長い rollout で誤差が蓄積し 制約の多い行動で破綻する ✓ 課題2 ー 役割分離が prompt レベルにとどまる 単一の LoRA adapter を共有し prompt で「あなたは planner」と指示するだけ → パラメータ上では planner と executor が区別されず context 蓄積で役割が曖昧になる 主張 ー ALFWorld の失敗要因 split sub-goal 起因の失敗 失敗エピソード総数 比率 ID 2 54 3.70% OOD 4 68 5.88% → 失敗の大半は sub-goal ではなく下流の実行側にある

長期対話に必要な3要件と本論文の貢献 必要な3要件 1. 意図を保つ明示的なタスク分解 2. 環境との相互作用で改善する実行 3. トークン効率 4つの貢献 1. 計画と実行を別の最適化問題として分離する役割特化フレームワーク 2. offline-to-online の目的関数 ー policy-anchored offline ＋ KL 正則化 online 3. 階層データセット3種の公開 4. 性能・トークン効率・horizon 頑健性で既存手法を上回る

手法①ー問題設定ー 部分観測マルコフ決定過程（POMDP）として定式化 ⟨ 𝒮, 𝒜, 𝒪, 𝒯, Ω, ℛ, γ ⟩ ✓ 真の状態 st は Markov に遷移するが agent は観測 ot しか見られない ✓ 異なる状態が同じ観測を生むため ot だけでは最適に行動できない ✓ 本論文では group_action（実行済みコマンド列）と現在観測を連結し状態要約とする ✓ 近似的な信念状態にあたる ー ReAct は全履歴を保持しトークンを浪費する actor-critic の枠組み Qω( ot, at ) 行動価値 Vψ( ot ) 状態価値 A( ot, at ) = Qω( ot, at ) − Vψ( ot ) ✓ advantage は その行動が自分の平均よりどれだけ良かったかを表す ✓ actor は critic の価値推定で方針を更新し critic は TD 誤差を最小化する

手法②ー階層構造と実行フローー System 1（上位 planner） ✓ 入力 タスク記述 Kn と観測 ot ✓ 出力 sub-goal gh System 2（下位 executor） ✓ 入力 観測 ot と sub-goal gh ✓ 出力 atomic action at と完了フラグ true／false Figure 2 Multi² の全体像 実行フローとトークンコスト ✓ 完了フラグが true になった時点で System 1 を再呼 び出しする ✓ System 1 は sub-goal 数 H 回だけ、 step 数 T 回 ではない コスト ≈ H × c1 + T × c2 毎 step 両方を呼ぶ T × ( c1 + c2 ) より小さい c1 = System 1 の 1 回あたりトークン c2 = System 2 の 1 回あたりトークン

手法③ー学習パイプラインと役割別データセットー 学習は役割ごとに別の問題として解く System 1 System 2 SFT のみ → 以後は凍結 SFT warmup → offline RL 役割別データセット → 1 件の中身 索引の単位 𝒟sys1 タスク記述・観測 → sub-goal タスク 𝒟sys2 sub-goal・観測・行動・報酬・次観測 sub-goal online RL ✓ 上位は意味的な計画なので安定した教師信号を与える ✓ 下位は環境との相互作用で誤差を直す必要があるので RL ✓ AgentGym 公開の GPT-4-Turbo 軌跡を規則ベースで再処理し たもの ✓ 新規収集データではなく 貢献は再現性の担保にある System 1 の学習ー SFT ℒφ = − 𝔼 [ log πφ ( gh | ot ; Kn ) ] ✓ 期待値は 𝒟sys1 上でとる ー 中身は cross-entropy つまり負の対数尤度 ✓ 上位に価値関数を置かないため sub-goal の良否そのものは学習しない

手法④ーSystem 2 の目的関数ー offline ー critic は IQL で学習し advantage A = Qω − Vψ を actor に渡す ℒθoffline = − 𝔼 [ λ A( ot, ât ; gh ) + exp( β A( ot, at ; gh ) ) log πθ( at | ot ; gh ) ] 第 1 項 policy-anchored（新規） 第 2 項 AWR（既存） ✓ ât は方針自身がサンプルした行動 ー データ外へ出る手段を与える一方 OOD 参照でもある online ー offline 方針から出発し buffer に新しい軌跡を足していく ℒθonline = − 𝔼ℬ [ wt log πθon( at | ot ; gh ) ] + η 𝔼ℬ [ DKL( πθon ‖ πθoff ) ] wt = exp( A( ot, at ; gh ) / α ) 第 1 項 AWAC（既存） 第 2 項 KL 正則化（新規） 段 既存手法から借りた部分 本論文の追加 critic IQL ー TD 誤差 ＋ expectile 回帰 ー actor offline AWR ー advantage 重み付き模倣 policy-anchored 項 actor online AWAC ー buffer 混合 ＋ 重み付き模倣 KL 正則化項 ✓ 追加項はどちらも「データの外へ出る／出すぎない 」の制御 ✓ offline loss の寄与は −4.30 点で ablation 中最小 （Table 8） ✓ 係数 λ = 7 β = 10 α = 7 η = 0.02

実験ー設定ー 3つの問い 1. 長期タスク性能は向上するか 2. 推論時のトークン効率はどうか 3. どの要素が効いているか ベンチマーク 内容 報酬 指標 ScienceWorld 状態変化が豊富な理科実験 25 の行動テンプレート 密 スコア ALFWorld 家事タスク 物体は番号付きで識別される 疎 成功率 TextCraft レシピの再帰的分解 依存の深さ 2〜4 疎 成功率 backbone と評価 ✓ Qwen-2.5 3B ／ Mistral 7B v0.3 ／ Llama-3.1 8B ／ LoRA は r = 16 α = 32 ✓ 凍結 backbone を共有し 役割ごとに別 adapter を切り替えて使う ✓ strict pass@1 ー 1 rollout のみ 再試行も再サンプリングもしない ✓ Reflexion は多試行前提の手法なので pass@6 で報告 ✓ ID と OOD は goal template 単位で分割 ID でもエピソードは毎回生成し直す ✓ fine-tuning 手法は zero-shot ／ prompt 手法は few-shot で評価 ✓ 比較対象 ー ReAct ／ Reflexion ／ ADaPT ／ GRPO ／ Glider

結果① backbone 手法 SW ID SW OOD ALF ID ALF OOD TextCraft Qwen-2.5 3B Glider 54.69 17.75 52.86 41.43 18.50 Qwen-2.5 3B Multi² 60.68 29.04 61.43 49.29 28.50 Mistral 7B Glider 58.33 28.22 45.00 45.71 28.50 Mistral 7B Multi² 69.97 31.32 56.43 50.71 44.50 Llama-3.1 8B Glider 60.48 34.36 43.57 37.86 9.50 Llama-3.1 8B Multi² 67.61 30.68 57.86 56.43 35.60 ✓ 15 条件のうち 14 条件で最良 ー Glider に対する平均改善は約 +10 点 ✓ 唯一の負けは Llama-3.1 8B の ScienceWorld OOD（Glider 34.36 対 提案 30.68） ✓ 伸びが最大なのは TextCraft の平均 +17.4 点 ー 再帰的分解ほど役割分離が効く ✓ backbone のサイズ順に性能が並ぶわけではない ー ScienceWorld ID は Mistral 7B が最良 ✓ prompt 手法は全体に低く ADaPT が GRPO を上回る場面もある この 1 敗の解釈（発表者の推測） ✓ 単一 rollout ＋ temperature 0.7 ＋ 誤差棒なし ー 3.68 点差は誤差の範囲にある可能性がある ✓ OOD は未知の goal template ー System 1 は SFT 後に凍結され新しい分解を学べない 一方 Glider は planner を online 更新する ✓ 8B は 3 モデル中最強 ー prompt による役割分離が効きやすく パラメータ分離の優位が最も小さくなる条件にあたる

結果②ー定性分析とトークン効率ー 失敗の型（ScienceWorld Find-a-plant） ✓ ReAct ー 無効コマンドの連発 ✓ Reflexion ー 同一行動の非生産的ループ ✓ ADaPT ー 計画は妥当だが無効な移動を繰り返す ✓ GRPO ー 正しい部屋に着いた後ループに入る ✓ Glider ー 手順は正しいが無効な操作コマンドで破綻 効率の定義（正規化トークン効率） TE = ( P / N ) ÷ ( PReAct / NReAct ) P = 性能 [%] N = 平均トークン数 トークン効率（ScienceWorld ID ／ Llama-3.1 8B） 手法 性能 [%] tokens 効率 ReAct 23.23 18971 1.000 GRPO 33.20 11145 2.433 Glider 60.48 14717 3.356 Multi² 67.61 12315 4.483 ✓ GRPO は 11145 tokens で提案手法より少ない → 効率の勝ちは分母ではなく分子（性能）による Figure 3 灰＝有効な行動 青＝環境に拒否された無効な行動 黄＝進捗のないループ (a) ReAct (b) Reflexion (c) ADaPT (d) GRPO (e) Glider (f) Multi²

結果③ーAblation（Table 8 ScienceWorld）ー 変種 外した要素 ID [%] OOD [%] 役割別 adapter 45.57 22.93 RL-SFT 役割特化学習（入替） 52.05 18.15 Only SFT 役割特化学習 53.72 18.35 階層構造 56.02 26.39 提案 offline loss 56.38 27.25 Only RL 役割特化学習 57.32 28.93 Proposed ー 60.68 29.04 Shared Adapter Single Vanilla-IQL ID 低下幅 役割別 adapter −15.11 点 階層構造 −4.66 点 提案 offline loss −4.30 点 ✓ 寄与が最大なのは役割別 adapter ー パラメータ分離そのものが効いている ✓ adapter 分離は3ベンチマークすべてで有効 ー TextCraft は 11.10 → 35.60（Table 10） ✓ 学習割当も全ベンチマークで提案配置が最良 ー 入替の RL-SFT が最も悪い（Table 9） ✓ backbone 規模の影響は ID では小さく OOD では単調に増加する（Table 11 Figure 8）

結果④ーオンライン適応（ScienceWorld ／ Qwen-2.5 3B）ー 難易度 ID 前 [%] ID 後 [%] ID 改善率 OOD 前 [%] OOD 後 [%] OOD 改善率 Easy 76.09 81.04 +6.51% 36.96 42.19 +14.15% Medium 63.12 68.21 +8.06% 27.44 27.46 +0.07% Hard 58.41 59.21 +1.37% 16.19 17.11 +5.68% ✓ ID では easy と medium が改善し hard は同程度を維持する → online 更新は実行を洗練し 分布内の挙動を崩さずに誤差蓄積を減らす ✓ OOD では改善がより大きい ー sub-goal と環境動態のずれを実行側で修正できる ✓ 学習時間 +20% で ScienceWorld は 60.68／29.04 → 69.30／30.12（Appendix G.3） ✓ 学習曲線は offline から online へ滑らかに続き 崩壊は見られない（Figure 20） ✓ Appendix G.4 ー 失敗の 3.70〜5.88% のみが sub-goal 起因 → System 1 を凍結し System 2 だけ online 適応させる設計判断の裏づけになる

結論 ✓ 計画と実行を役割特化で分離することで長期対話の安定性を高めた ✓ policy-anchored offline RL と KL 正則化 online refinement を組み合わせ 継続的な自己改善の機構を 与えた ✓ 3つの対話ベンチマークで性能・トークン効率・objective drift 頑健性を同時に改善した ✓ 処理済みの階層データセットとコードを公開した

感想・疑問 面白かった点 ✓ 凍結 backbone に役割別 LoRA adapter を載せる設計が良く効いている ✓ 数式の新規性よりパラメータ分離が性能を決めている ✓ 参照方針を adapter 切り替えで持てるため KL 項のメモリ増がほぼない 疑問・議論したい点 ✓ 新規データセットではなく AgentGym の GPT-4-Turbo 軌跡の再処理である ✓ 無効行動率やループ率が数値で測られていない ー 診断した機構自体が未計測