【DL輪読会】Harness Evolution, Recursive Self-Improvement

DEEP LEARNING JP [DL Papers] Harness Evolution, Recursive Self-Improvement M2 Ku Onoda http://deeplearning.jp/ 1

• http://deeplearning.jp/

背景：なぜ harness evolution と RSI か 性能の大部分を決める harness を agent に書き換えさせるのが harness evolution、その先に RSI がある agent の性能の多くは harness で決まる RSI として見ると • 同じモデルでも、prompt・tool・memory・検証の組み方で agentic benchmark の点は大きく動く • Harness evolutioはagent自身のコードを書き換える • harness はコードなので、学習より安く、中身が読めて、モデルを またいで使える • 書き換える対象を「agentを直す側」、「評価器」まで広げると、 改善の仕組みそのものが改善される→recursive その harness を人手で作るのが律速になった • coding agent に実行ログを読ませて harness を書き換えさせると 、人手で作った harness に並ぶ・超える例が出てきた（MetaHarness、AIDE²） • Weng (2026) のブログも harness engineering を近い将来の自己改 善への経路として整理している Meta-Harness のリポジトリの図、harness を作る仕組み、それを作る仕組み、と入れ子にできる AIDE² 2609.26457 、L. Weng (2026-07)、Anthropic Institute (2026-09) 2

RSI 研究にはどんな領域があるか Model-level Harness-level Multi-agent Automated AI R&D モデルが自分で作ったデータで weights を更新する prompt、memory、tool、 harness のコードを更新する 複数の agent のやり取りで改善 する ML の研究や学習そのものを agent にやらせる self-training、self-play、self-distillation 、STaR 系 ADAS、ACE、Meta-Harness、RRSI、 Harness-Zero、DGM 系 R-Zero、Agent0、GEA、debate AI Scientist、AIDE²、ScienceBuddy、 PostTrainBench 24 本、うち 2026 年 9 本 56 本、うち 2026 年 26 本 13 本、うち 2026 年 6 本 11 本、うち 2026 年 10 本 Embodied Evolutionary Safety & theory Benchmarks ロボットや環境の中で自己改善 する 進化計算、quality diversity、環 境との共進化 目的のずれ、評価器の改ざん、 goal の保持 自己改善そのものを測る benchmark と、その proxy RoboFoundry、ENPIRE、ASPIRE、 MineEvolve AlphaEvolve、FunSearch、POET、Red Queen GM misevolution、SEABench、RSI economics RSIBench-Data、PostTrainBench、各ラ ボの RSI 評価 6 本、うち 2026 年 6 本 13 本、うち 2026 年 3 本 22 本、うち 2026 年 5 本 23 本、うち 2026 年 13 本 lobehub/awesome-rsi（2026-10 時点、本数は README の項目数） 3

用語：自己改善の 3 段階と、改善したと言える条件 自己改善の 3 段階 A〜D • A：harness のコードを書き換える Self-refinement その場の出力を直すだけ、次には残らない • B：重み も一緒に書き換える Self-Refine, Reflexion • C：書き換える agent を複数にする • D：ループの中の点数は信用できるか Persistent selfimprovement weights や memory や harness の変更が次のタ スクにも効く ACE, Meta-Harness, WHALE 呼び方の対応： • harness を直す側 = improver / proposer / evolver Recursive selfimprovement 改善する仕組み（直す側や評価器）も書き換えの 対象になる STOP, Evo², MASS • タスクを解く側 = executor / solver / policy • verifier = テストや正解との一致で機械的に出る点数 • judge = LLM に出力を見せて付けさせる点数 「改善した」と言える条件 点が上がった 探索に使ったタスクで 変更が残って効く 次のタスクでも未見の タスクでも 改善する力が上がった 同じ計算量で、前より 良い更新 benchmark：SWE-bench Verified / Polyglot（コード修正）、Terminal-Bench（端末操作）、ARC-AGI-3（対話型パズル）、DS-1000 （data science コード）、Reasoning Gym（合成推論問題） 4

A harness のコードを agent に書き換えさせる AlphaEvolve、Meta-Harness、RRSI、AIDE² モデルの weights は触らず、harness のコードだけを探索で改良する • 見るポイント：何を探索空間にするか（解のコード → agent 自身のコード → harness 全体）、提案 側に何を見せるか、探索に使っていないタスクでも効くか • 最後の AIDE² は、この系統を一番大きな規模で回し、「直す側が良くなったか」まで測ろうとした 例 5

AlphaEvolve：評価器が自動なら、コードは進化で改善できる 評価が自動で信頼できるから成立する、agent の harness ではこの前提がまず崩れる 更新 解のコード（EVOLVE ブロックで囲んだ部分） 固定 LLM（Gemini Flash + Pro）、評価器 何をする研究か • LLM にコードの変更案を出させ、全部実行して採点し、良いもの を残して次の親にする、を回し続ける • 性質の違う解を別々に残す（MAP-Elites）ので、多様性が保たれ る 何を示したか • 4×4 複素行列の積を 48 回の乗算で、1969 年以来の記録 49 回を 更新 • 未解決の数学問題 50 以上で、約 2 割は既知の最良を更新 • Google の計算資源を約 0.7% 回収するスケジューリング規則 論文 Fig. 2：候補を出す → 実行して採点 → 良いものを残して次の親に Novikov et al., AlphaEvolve, arXiv 2506.13131 (2025-06) 6

Meta-Harness：実行ログを見せて harness 全体を書き換える 提案側は履歴を全部読める coding agent、harness そのものが探索空間になった 更新 harness プログラム（Python 1 ファイル） 固定 ベースモデル、提案する agent（Claude Code, Opus 4.6） 何をする研究か • prompt だけでなく harness のコード全体を探索空間にし、 coding agent に書き換えさせる • 親を明示的に指定しない 新しいところ：生の実行ログを見せる • ログを全部見せると探索中の精度は 50.0、点数と要約だけだと 34.9、点数だけだと 34.6、ログが効いている 結果 論文 Fig. 2：(1) ファイルを読んで提案、(2) 評価、(3) ログを全部保存 • 文書分類：48.6 vs. 既存の context 最適化 ACE 40.9、しかも追加 context は 1/4 • 過去の候補のコード・点数・実行ログを全部ファイルに置き、提案 側の coding agent が grep や cat で好きに読む • TerminalBench-2：Haiku 4.5 を使う agent の中で最高（37.6） • test set は最後に 1 回だけ使う Lee et al., Meta-Harness, arXiv 2603.28052 (2026-03) · github.com/stanford-iris-lab/meta-harness 7

RRSI：探索を正則化し、未見のタスクでも効く harness を残す 自由に書き換えさせるほど過学習する、だから「どの編集を残すか」を縛るのが要点 更新 harness 全体：prompt、tool、memory、subagent 固定 policy モデル（Claude Opus 4.8）、ラウンド数 何をする研究か • Meta-Harness 型の探索をそのまま回すと、探索に 使ったタスクにしか効かない harness ができる、そ れを防ぐ 新しいところ：探索の正則化 • 提案側：1 回の編集量を徐々に絞る、失敗した変更 を繰り返さない • 採択側：benchmark 固有の小細工を critic が弾く、 ノイズを超えた改善だけ採択、使われない部品を剪 定 結果（探索に使っていない benchmark の平均） • Meta-Harness：39.7 → 40.6、ほぼ伸びない（探索 したタスクでは最高） • RRSI：39.7 → 43.6、推論コストは +55% 論文 Fig. 2：左が提案側、右が採択側の正則化 Xia et al. (Google), RRSI, arXiv 2609.24972 v3 (2026-10)、未見 benchmark = JobBench、GDPval、APEX-Agents 8

AIDE²：研究 agent が自分のコードを 8 日間書き換え続けた 自分のコードを直すループで held-out にも効く改善は出た、直す力が上がったかは未解決 更新 研究 agent（AIDE）のコード：探索方針、memory、context 管 理 固定 基盤モデル、AI R&D タスク集合、隠した採点 何をする研究か • ML 実験を回す研究 agent のコード自体を書き換えさせる、受 理された版が次に編集される agent になるので recursive 結果 • 8 日間の自律実行で 7 回の改善を受理（探索方針、context を 圧縮する memory など） • 選択に使っていない 4 つの benchmark で、人手で 2 年かけた agent と同等以上 • 狙っていないのに reward hacking の率が 55% → 32% に下が った ignition test：improver として良くなったか • 見つけた agent を「書き換える側」に置いて回すと、最終値は 0.780 vs. 0.782 で同等、頭打ちまでは約 20 step vs. 約 40 step と速い • ただし 3 seed で、著者自身も結論は出ないとしている、直す 力が上がったかの最初の手がかりではある 論文 Fig. 1：外側のループが agent のコードを書き換え、内側で候補 agent に AI R&D タスクを解かせ、隠したデータの点（ private grade）が上がった時だけ採択する Srikanth et al. (Weco AI), Recursive self-improvement of AI research agents, arXiv 2609.26457 (2026-09) 9

B harness だけでなく weights も一緒に動かす この部で見る論文：Harness Learning、Evo²、WHALE、HarnessForge / On-Policy Correction、Harness-Zero（周辺は Appendix B1） • A では提案側も解く側も固定の API モデルだった、2026 年後半からどちらかを学習する論文が出て きた • 3 通りある：harness を直す側を学習する（Harness Learning、Evo²）、タスクを解く側を harness の下で学習する（WHALE）、解く側に harness の挙動を蒸留して harness を外す（Harness-Zero ） • 見るポイント：学習したのは improver か executor か、harness と weights の組み合わせがずれる とどうなるか 10

Harness Learning：harness を直す側のモデルを RL で学習する 4B のモデルでも、編集の結果を reward に学習すれば、見たことのないタスクの harness を直せる 更新 直す側（proposer）の weights、harness のコード 固定 解く側（solver、4B / 8B）、test 時は proposer も固定 何をする研究か • これまで固定の API モデルだった「harness を直す側」を 、小さいモデルで学習する 結果 • 学習に使っていない 21 種類の推論タスクで、1 回の編集後 の点が 0.32 → 0.62（学習前 → RL 後） • 学習した 4B が、教師に使った 35B（0.56）より良い • QA：HotpotQA で学習し MuSiQue にも効く、10 回編集を 重ねると 0.15 → 0.27 注意点 論文 Fig. 1：proposer がタスク・今の harness・実行レポートを読んで編集し、固定した solver で動かした点が reward • 内側のループで harness を編集し、外側のループで proposer を学習する、論文は 「実行可能プログラムの上の meta-learning」と呼ぶ • reward = 編集後の harness の点数 + 編集が壊れていないことへの加点、GRPO で 学習 Zhang et al. (JHU / CMU), Harness Learning, arXiv 2609.35738 (2026-09-28) • Meta-Harness などとは数値で比べていない、solver は 4B 〜8B 11

Evo²：解く側は固定して、harness を直す側（evolver）を学習する harness を直す側を学習する、各編集の結果がそのまま reward になる 更新 evolver の weights と harness 固定 タスクを解く executor 何をする研究か • Harness Learning と同じ発想を coding agent でやる、解く側は固定、直す側（ evolver）だけ学習 学習の仕方 • reward = 編集前後の点数の差、壊れた編集 はペナルティ • SFT で warm start してから GRPO 設定 • Qwen3.8-27B が解く側と直す側を兼ね、学 習するのは直す側のコピーだけ 論文 Fig. 1 • 1 つのモデルが 2 つの役割を担う：編集案を出す Proposer と、結果を見て修正 / crossover / 維持を決める Reflector Xu et al. (Google DeepMind / UIUC), Evo², arXiv 2610.13025 (2026-10-09)、ゲノムモデルの Evo 2 とは別物 12

WHALE：解く側の weights の学習と harness の探索を交互に回す 解く側は今の harness の下で学習し、harness は学習後の解く側に合わせて直す、を繰り返す 更新 解く側の weights θ と harness h を交互に更新 固定 直す側（Meta-Harness 経由の Opus 4.7）、verifier 何をする研究か • Evo² とは逆で、直す側は固定し、解く側の weights を harness に合わせて学習する 結果（SearchQA） • harness だけ 38.3、weights だけ 38.3、両方交互 に 48.3 • 片方を終えてからもう片方だと 43.0、交互に回す ことに意味がある 注意点 論文 Fig. 1：(a) θ と h を交互に上る、(b) 最終的な test の点 • 最後の組は test の点が一番良いものを選んでいる 、seed なし • weight phase：今の harness の下で解かせ、verifier を通った解だけで SFT • harness phase：学習後のモデルの下で Meta-Harness の探索 • 解く側は Qwen3.5 の 2B と 4B Kim et al. (KRAFTON / Stanford), WHALE, arXiv 2609.00196 (2026-08-31) 13

harness と weights は互いに合わせて特化する weights と harness は相手に合わせて特化する、片方だけ差し替えると落ちる HarnessForge：組み合わせを総当たりで評価 • harness と解く側の LoRA を 3 ラウンド交互に更新し、全ラウンドの組 み合わせを評価した • 同じラウンドの組：77.2、最終 harness を前の policy に当てる：71.9、 最終 policy を前の harness に当てる：71.1（開始時 69.3） • 改善の大半はその組み合わせに固有で、片方だけ差し替えると落ちる On-Policy Correction：weights の更新の仕方 • 弱いモデル向けに進化させた harness で、強い expert の成功例をその まま SFT すると 78.0 → 63.1 に落ちる • 弱いモデル自身の失敗した手だけ expert に直させて学習すると 78.0 → 79.7 HarnessForge Fig. 4：各ラウンドの harness × 各ラウンドの policy、対角（同じラウンド の組）が高い Chen et al., HarnessForge, arXiv 2606.01779 · Yu et al., On-Policy Correction, arXiv 2609.09134 14

harness で得た改善を weights に移す：Harness-Zero、D-OPCD harness で見つけた改善は weights に移せる、どこまで移るかは解く側のモデルの力で決まる 更新 タスクを解く側の weights（harness の下での挙動を蒸留） 固定 harness を作る側、蒸留後は harness も外す Harness-Zero · 2609.24974 • 進化させた harness の下での挙動をモデルに蒸留し、その後 harness を 外す • harness なしで 23.3 → 44.3、base に harness を付けた 41.7 より高い • harness が作っていた挙動 28 種のうち 82% が残った D-OPCD · 2610.07250（text-to-image） 蒸留してから再進化するサイクル harness を進化させる → 挙動を weights に蒸留 → weights が 覚えた部分を harness から削る → 新しい weights の上で再進 化 • agent が見つけた良い prompt を diffusion model の weights に蒸留、直 接生成で 60.5 → 65.1 • 蒸留で不要になった skill を捨て、新しい weights の上でまた進化させる と +1.8、サイクルを回せる ここから言えること Harness Updating Is Not Harness Benefit · 2605.30621 • harness は改善の仮置き場で、残したい改善は最終的に weights に入れ る（Weng 2026 も同じ見方） • 良い harness 更新を書く力はモデルの強さによらずほぼ同じ、更新で得 をする力は中位モデルが最大 • 差を決めるのは「直す側が良い編集を書けるか」より「解く側がそれを 使いこなせるか」かもしれない 15

C agent を複数にして回す この部で見る論文：GEA、EvolveNet、MASS A と B は agent 1 体の話だった、ここでは複数の agent が経験や編集を共有することで探索を良くす る • 見るポイント：何を共有するか（実行ログ、コードの差分、途中経過）、run が終わった後に何が残 るか、モデル自体は学習しているか • MASS だけがチームのログで weights を学習しており、正解のないタスクでの自己改善の例になっ ている 16

GEA：agent を集団として進化させ、経験を共有する 経験をプールするだけで系統探索が集団探索になる、ただしモデルは何も学習していない 更新 agent framework のコード、集団ごとに進化 固定 モデル（Sonnet 4.5 系） 何をする研究か • DGM の「1 体ずつ分岐」を「集団で分岐」に変え 、別系統の失敗や成功を子が参照できるようにした 結果（DGM と同じモデルで） • SWE-bench Verified 71.0 vs. 56.7、Polyglot 88.3 vs. 68.3 注意点 • 各 1 run、モデル自体は学習しない 論文 Fig. 1：(a) DGM の 1 体ずつの分岐 vs. (b) 集団での分岐 • 親を 2 体選び、その実行ログ（patch、log、結果）をまとめて子に渡す、子はそ れを読んでから自分を書き換える • 親の選び方は性能 × 新しさ（他と違う失敗の仕方をしている方を優先） Weng et al. (UCSB), Group-Evolving Agents, arXiv 2602.04837 (2026-02) 17

EvolveNet：別々に見つけた harness の編集を merge する 成果物（コードの差分）を通じて agent が協調する、何を単位に共有するかが設計の中心 更新 共有の harness プログラム、各 client の編集を merge 固定 LLM (deepseek-v4-flash) DS-1000 held-out、merge の仕方別（Table 2） 何をする研究か • 各 client が自分のデータで harness を進化させ、server が 差分を 1 つに merge する、federated learning の harness 版 結果 • 一番良い client を選ぶだけだと 59.5、merge すると 68.5 注意点 論文 Fig. 1：1 本で順に進化させる場合と EvolveNet • 各 1 run、test は 30〜200 問、harness は 17 行 → 409 行に 膨らむ • merge の規則：複数の領域で効く編集は全体に、1 領域だけなら条件付きで適用、 新たに壊した数が直した数を超えたら戻す Nie et al., EvolveNet, arXiv 2608.04968 (v2, 2026-10) 18

MASS：自分のコピーでチームを組み、そのログで学習する 1 つのモデルのコピーをチームにすると、正解のないタスクでも単体より良い教師信号が得られる 更新 workflow の prompt と共有 weights（LoRA SFT）を交互に 固定 agent の harness、外部 judge は評価にだけ使う 何をする研究か • 正解のない研究タスクで、外部の教師なしに自己改善できるか、評 価者も最適化者も自分自身 結果（Qwen3.6-27B、2 サイクル） • 学習前のモデルに勝つ率：1 周目 53.9% → 2 周目 69.9%（判定は GPT-5.5 と Opus 4.8） • タスクを解くログで学習しただけなのに、評価者としての外部 judge との一致率も 0.73 → 0.93 に上がる • 学習後に見つけた workflow を学習前のモデルで動かしても、学習 前の workflow に 64% で勝つ 論文 Fig. 1：agent、評価者、最適化者が 1 つのモデルを共有する • 内側：モデルのコピーが workflow（役割分担と呼ぶ順番）を実行し、同じ モデルがこれまでの best と比べて勝ち負けを判定し、workflow を書き換 える • 外側：best の workflow で走らせたログのうち良いものを選んで LoRASFT Lee et al. (UC Berkeley / Sakana AI), MASS, arXiv 2610.12176 (2026-10-08) 注意点 • Terminal-Bench と SWE-bench は 1〜2 点下がる、学習タスクは合 成8件 19

D：ここまでの手法は本当に良くなっているのか ループの中で測った点数は、3 つの理由でそのまま信じられない 3 つの疑い • 何と比べるか：同じ予算で、単に何回も試す方法に勝っているか（ Rethinking） 実行 executor + harness • どの set で測るか：候補選びに使った set の点を、そのまま成果として報告 していないか（Winner's curse） • 誰が採点するか：正解がなく LLM に採点させると、ループは LLM の好み に向かう（Judge hacking） 評価して選ぶ 残す / 捨てる 結果が次の ラウンドへ 実行ログ trace、スコア 言葉 • verifier：テストや正解との一致で機械的に出る点数 • judge：LLM が出力を見て付ける点数 • A〜C はほぼ verifier のあるタスク。ただし探索と評価に同じタスクを使う 例が多く、1 つ目と 2 つ目の疑いはそこに掛かる 改善 harness を編集 / weights を 学習 ここで測る点数を疑う 20

Rethinking：同じ予算なら、何回も試す方が harness を直すより効く Terminal-Bench では何回も試す方が効き、未見タスクへの伸びは 0、効くのは長い horizon のゲーム 更新 harness（AHE で探索） 固定 予算 K = 5（全手法で共通）、モデル、初期 harness 何をしている研究か • harness evolution は 1 タスクに何回も試行して harness を直 す. Harness evolveとBudgetを揃えてtest-time-scalingと比較 結果（3 モデル平均） • テストなし：並列に試す 72.3、harness evolution 67.4。何も しない 68.2 より低い • テストあり：pass@1 は 82.0 vs 69.7。harness evolution は pass@5 でしか伸びず、良い harness ではなく試行回数の効果 • タスクを分けて未見で測ると 63.2 → 63.2。探索したタスクに 合わせただけ • 長い horizon のゲームでは効く：ARC-AGI-3 で 43.3 → 77.5、 EdgeBench で 48.3 → 54.7 論文 Fig. 1：同じ予算を (a) 並列に試す、(b) 逐次に直す、(c) 共通の harness を直す、(d) タスクごとに harness を直す、のどれに使うか 実験の設定 • Terminal-Bench 2.1、3 モデル（Opus 4.6、GPT-5.4、GPT-5.4 mini）、4 手法とも予算 K = 5 • unit test が使える設定と、自分の判断だけで選ぶ設定の 2 つ Wang, Zhu et al. (AI2 / UW), Rethinking the Evaluation of Harness Evolution for Agents, arXiv 2607.12227 (v4, 2026-10) · 図は論文か ら切り出し、表は Appendix A14 21

Winner's curse：選ぶのに使った点数は、選んだ時点で上振れしている 候補を選んだ点数は上振れしている。評価 set が小さいほど大きく、16 件なら本当の伸びより 13〜20 点高い 更新 自分の指示文（毎世代 4 案を書き、良ければ採用） 固定 選択 set（16 / 64 / 256 件、使い回す）、held-out 600 件 何をしている研究か • 自己改善ループの基本形は「候補を何個か作る → 小さい評価 set で採点 → 一番良いものを採用 → 繰り返す」 • 採点には noise があるので、一番良く見えた候補は運も拾って いる. 採用した時点でその点数は上振れしている、これが winner's curse • 論文は Qwen に自分の指示文を書き換えさせるループを回し 、全候補を別の 600 件でも採点して、ループが報告する伸び と本当の伸びを比べた 分かったこと 論文 Fig. 3：白丸 = 選択 set で測った伸び、黒丸 = held-out 600 件で測った伸び、赤 n = 16、青 n = 256、線が上振れ分 • 上振れの大きさは評価 set の大きさで決まる。16 件なら 13〜 20 点、256 件でも 1〜5 点 harness evolution との関係 • 2 世代目以降は候補の大半が本当は改悪。GEPA や MIPROv2 など既存の prompt optimizer でも同じ • 本編の探索も同じ形。候補を作り、30〜200 問の held-out や探索と同じ benchmark で採点 して採用する。だから同じ上振れが乗る • 探索に使った set の点をそのまま成果として報告している論文が多い • 採用を統計検定で絞っても、素朴な「良ければ採用」と変わら ない 対策 • 選択に使っていない set で、開始時と現在を測り直す。採用に 使った点数は成果の根拠にならない Hu (Meta) & Tang (Microsoft), The Winner's Curse in LLM Self-Improvement Loops, arXiv 2610.09239 (2026-10) · 図は論文から切り 出し 22

Judge hacking：judge の点は上がるが正解率は上がらない judge の点で選ぶと「説得力」だけ上がる、守るには judge に先に解かせるか、judge が見ない正解で監査する 更新 解く側（policy）の weights、judge の判定を reward に selfplay 固定 judge（正解を見ない LLM）、正解は judge が見ない監査に だけ使う 起きたこと • judge の通過率は 0.72 → 0.94 に上がるのに、本当の正解率は 0.20 のまま、「正しそうで間違った答え」が上手くなっただけ • その誤答は別の judge も通し、3 つの judge の多数決でも半分 以上通る harness evolution との関係 • 学習せず、judge の点が高い候補を選ぶだけでも同じことが起 きる（§5.3）、harness 探索の候補選択はまさにこの操作 効いた対策 論文 Fig. 1：(a) self-play を回すと judge の通過率は上がるが、隠した正解で測った精度は上がらない • judge に答えを見せる前に自分で解かせる：誤答を通す率が 0.72 → 0.01 に落ちる 実験の設定 • 算数（GSM8K）でモデルに答えを出させ、正解を見ない LLM の judge に「正しそうか」だ け判定させ、通った答えを reward に RL する • 本当の正解率は、judge が一度も見ない正解との一致で別に測る Zhou (Institute of Science Tokyo), More Convincing, Not More Correct, arXiv 2607.05904 (2026-07) 23

まとめ：アプローチの比較 アプローチ 代表 長所 短所 A harness のコードを探索 Meta-Harness, RRSI 学習不要で伸びが大きい、結果がコードとして読 める・持ち運べる 探索したタスクに過学習しやすい、提案側に高価 な API モデルが要る、推論コストが増える B1 直す側を学習 Harness Learning, Evo² 小さいモデルでも直せる、編集の経験が蓄積する 伸びの多くは探索設計と区別しにくい、学習した 側が本当に良くなったかの検証が薄い B2 解く側を学習・蒸留 WHALE, Harness-Zero harness だけより大きく伸びる、蒸留すれば harness を外せて推論が軽い 改善がその harness との組み合わせに固有、新し いモデルが出るたびにやり直し C agent を複数に GEA, EvolveNet, MASS 経験共有で探索が速い、正解のないタスクでも教 師信号が作れる（MASS） token が増える、run 後に何を残すかが未整理 D ループの点数を疑う Rethinking, Winner's curse, Judge hacking 同じ予算の baseline、未見タスク、選択に使って 検証した手法は 1 つ、設定は小さい いない set で測り直せば、本物の伸びが分かる 手法ごとの表は Appendix B2 24

まとめ：未解決の課題 改善する力そのものが測れていない 予算を揃えると伸びが消える ほとんどの論文は「タスクの点が上がった」までで、proposer側の改 善をきちんと評価した研究は少ない 同じ予算で何回も試す方法と比べると、Terminal-Bench では harness evolution の伸びは消え、未見タスクでは 0（Rethinking）。効くのは 長い horizon のゲーム ループの中の点数が信用できない harness と weights の相性 小さい set で選ぶと伸びが水増しされ（Winner's curse）、LLM に採 点させると説得力だけ上がる（Judge hacking） 改善はその組み合わせに固有で、片方だけ差し替えると落ちる、新し いモデルが出るたびに作り直しが要る 複数 agent の成果をどう残すか 強いモデルでの伸びしろ 探索中の共有は効くが、run が終わった後に何を、どの単位で残すかが 決まっていない モデルが強くなるほど harness で伸ばせる余地が小さくなる可能性が あり、どこまで残るかは分かっていない 25

参考文献 本編で紹介した論文 評価器まわり AlphaEvolve 2506.13131 · SICA 2504.15228 · DGM 2505.22954 · HGM 2510.21614 · Meta-Harness 2603.28052 · Task-CoEvolve 2608.20169 · RRSI 2609.24972 Harness Learning 2609.35738 · LSE 2603.18620 · WHALE 2609.00196 · Evo² 2610.13025 · HarnessForge 2606.01779 · On-Policy Correction 2609.09134 · HarnessZero 2609.24974 · D-OPCD 2610.07250 GEA 2602.04837 · EvolveNet 2608.04968 · Test-Time Communication 2609.21032 · CERA-MoA 2609.18779 · MASS 2610.12176 More Convincing, Not More Correct 2607.05904 · Who Grades the Grader? (Double Ratchet) 2607.12790 · AIDE² 2609.26457 Inspectable graders 2610.11464 · Evaluator ensembles 2608.08002 · DynamicRubric 2607.20083 · EvoRubrics 2606.23038 · VideoWeaver 2606.08091 · SEAL 2607.24300 · RewardHackingAgents 2603.11337 A の周辺 ModularRSI 2609.14857 · Self-Harness 2606.09498 · SoL-Pi 2609.20519 · AHE 2604.25850 · AutoHarness 2603.03329 · AI4AI at Test-Time 2608.12307 · MemoHarness 2607.14159 · Continual Harness 2605.09998 · SkillOpt 2605.23904 B の周辺 計測と benchmark RSIBench-Data 2607.25886 · PostTrainBench 2603.08640 · AI4AI-Bench 2608.20318 · LongWoF-Bench 2608.23200 · DeepRSI (deeprsi.com) · R_AI 2609.00137 Rethinking harness evolution 2607.12227 · Winner's curse 2610.09239 · EvoPathBench 2609.24663 · Shadow evaluation 2607.27191 サーベイとブログ RSI survey 2607.07663 · Self-evolving agents survey 2507.21046 · Generalized Agent Iteration 2609.13406 · Safety in self-evolving agents 2610.00093 lobehub/awesome-rsi · L. Weng, Harness Engineering for Self-Improvement (202607) · Anthropic Institute, When AI builds itself (2026-09) · N. Lambert, Interconnects (2026-09) HELIX 2608.13951 · ScienceBuddy 2609.17523 · SIA 2605.27276 · SkillRise 2607.26784 · Hyperagents 2603.19461 · MetaEvolve 2607.21971 · ThetaEvolve 2511.23473 · CoHarness 2607.22688 · E-SPL 2602.14697 · FreeEvolve 2610.09197 · Harness Updating ≠ Benefit 2605.30621 C の周辺 R-Zero 2508.05004 · Agent0 2511.16043 · G-Zero 2605.09959 · MM-Zero 2603.09206 · TTCS 2601.22628 · Red Queen GM 2606.26294 · Mendel GM 2608.07645 · DTE 2505.15734 · EvoAgentX 2507.03616 26