---
title: 【DL輪読会】Harness Evolution, Recursive Self-Improvement
tags: 
author: [Deep Learning JP](https://www.docswell.com/user/DeepLearning2023)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/9J298YNDER.jpg?width=480
description: 【DL輪読会】Harness Evolution, Recursive Self-Improvement by Deep Learning JP
published: October 15, 26
canonical: https://www.docswell.com/s/DeepLearning2023/Z8NEM2-2026-10-15-122048
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/9J298YNDER.jpg)

DEEP LEARNING JP
[DL Papers]
Harness Evolution, Recursive Self-Improvement
M2 Ku Onoda
http://deeplearning.jp/
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/DEY46GPMJM.jpg)

背景：なぜ harness evolution と RSI か
性能の大部分を決める harness を agent に書き換えさせるのが harness evolution、その先に RSI がある
agent の性能の多くは harness で決まる
RSI として見ると
• 同じモデルでも、prompt・tool・memory・検証の組み方で
agentic benchmark の点は大きく動く
• Harness evolutioはagent自身のコードを書き換える
• harness はコードなので、学習より安く、中身が読めて、モデルを
またいで使える
• 書き換える対象を「agentを直す側」、「評価器」まで広げると、
改善の仕組みそのものが改善される→recursive
その harness を人手で作るのが律速になった
• coding agent に実行ログを読ませて harness を書き換えさせると
、人手で作った harness に並ぶ・超える例が出てきた（MetaHarness、AIDE²）
• Weng (2026) のブログも harness engineering を近い将来の自己改
善への経路として整理している
Meta-Harness のリポジトリの図、harness を作る仕組み、それを作る仕組み、と入れ子にできる
AIDE² 2609.26457 、L. Weng (2026-07)、Anthropic Institute (2026-09)
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/VJNYZG5378.jpg)

RSI 研究にはどんな領域があるか
Model-level
Harness-level
Multi-agent
Automated AI R&D
モデルが自分で作ったデータで
weights を更新する
prompt、memory、tool、
harness のコードを更新する
複数の agent のやり取りで改善
する
ML の研究や学習そのものを
agent にやらせる
self-training、self-play、self-distillation
、STaR 系
ADAS、ACE、Meta-Harness、RRSI、
Harness-Zero、DGM 系
R-Zero、Agent0、GEA、debate
AI Scientist、AIDE²、ScienceBuddy、
PostTrainBench
24 本、うち 2026 年 9 本
56 本、うち 2026 年 26 本
13 本、うち 2026 年 6 本
11 本、うち 2026 年 10 本
Embodied
Evolutionary
Safety & theory
Benchmarks
ロボットや環境の中で自己改善
する
進化計算、quality diversity、環
境との共進化
目的のずれ、評価器の改ざん、
goal の保持
自己改善そのものを測る
benchmark と、その proxy
RoboFoundry、ENPIRE、ASPIRE、
MineEvolve
AlphaEvolve、FunSearch、POET、Red
Queen GM
misevolution、SEABench、RSI
economics
RSIBench-Data、PostTrainBench、各ラ
ボの RSI 評価
6 本、うち 2026 年 6 本
13 本、うち 2026 年 3 本
22 本、うち 2026 年 5 本
23 本、うち 2026 年 13 本
lobehub/awesome-rsi（2026-10 時点、本数は README の項目数）
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/YE9PZWYPJ3.jpg)

用語：自己改善の 3 段階と、改善したと言える条件
自己改善の 3 段階
A〜D
• A：harness のコードを書き換える
Self-refinement
その場の出力を直すだけ、次には残らない
• B：重み も一緒に書き換える
Self-Refine, Reflexion
• C：書き換える agent を複数にする
• D：ループの中の点数は信用できるか
Persistent selfimprovement
weights や memory や harness の変更が次のタ
スクにも効く
ACE, Meta-Harness, WHALE
呼び方の対応：
• harness を直す側 = improver / proposer / evolver
Recursive selfimprovement
改善する仕組み（直す側や評価器）も書き換えの
対象になる
STOP, Evo², MASS
• タスクを解く側 = executor / solver / policy
• verifier = テストや正解との一致で機械的に出る点数
• judge = LLM に出力を見せて付けさせる点数
「改善した」と言える条件
点が上がった
探索に使ったタスクで
変更が残って効く
次のタスクでも未見の
タスクでも
改善する力が上がった
同じ計算量で、前より
良い更新
benchmark：SWE-bench Verified / Polyglot（コード修正）、Terminal-Bench（端末操作）、ARC-AGI-3（対話型パズル）、DS-1000
（data science コード）、Reasoning Gym（合成推論問題）
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/GE8D1N6XED.jpg)

A harness のコードを agent に書き換えさせる
AlphaEvolve、Meta-Harness、RRSI、AIDE²
モデルの weights は触らず、harness のコードだけを探索で改良する
• 見るポイント：何を探索空間にするか（解のコード → agent 自身のコード → harness 全体）、提案
側に何を見せるか、探索に使っていないタスクでも効くか
• 最後の AIDE² は、この系統を一番大きな規模で回し、「直す側が良くなったか」まで測ろうとした
例
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/LELMQP9N7R.jpg)

AlphaEvolve：評価器が自動なら、コードは進化で改善できる
評価が自動で信頼できるから成立する、agent の harness ではこの前提がまず崩れる
更新
解のコード（EVOLVE ブロックで囲んだ部分）
固定
LLM（Gemini Flash + Pro）、評価器
何をする研究か
• LLM にコードの変更案を出させ、全部実行して採点し、良いもの
を残して次の親にする、を回し続ける
• 性質の違う解を別々に残す（MAP-Elites）ので、多様性が保たれ
る
何を示したか
• 4×4 複素行列の積を 48 回の乗算で、1969 年以来の記録 49 回を
更新
• 未解決の数学問題 50 以上で、約 2 割は既知の最良を更新
• Google の計算資源を約 0.7% 回収するスケジューリング規則
論文 Fig. 2：候補を出す → 実行して採点 → 良いものを残して次の親に
Novikov et al., AlphaEvolve, arXiv 2506.13131 (2025-06)
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/4JMY14ZQJW.jpg)

Meta-Harness：実行ログを見せて harness 全体を書き換える
提案側は履歴を全部読める coding agent、harness そのものが探索空間になった
更新
harness プログラム（Python 1 ファイル）
固定
ベースモデル、提案する agent（Claude Code, Opus 4.6）
何をする研究か
• prompt だけでなく harness のコード全体を探索空間にし、
coding agent に書き換えさせる
• 親を明示的に指定しない
新しいところ：生の実行ログを見せる
• ログを全部見せると探索中の精度は 50.0、点数と要約だけだと
34.9、点数だけだと 34.6、ログが効いている
結果
論文 Fig. 2：(1) ファイルを読んで提案、(2) 評価、(3) ログを全部保存
• 文書分類：48.6 vs. 既存の context 最適化 ACE 40.9、しかも追加
context は 1/4
• 過去の候補のコード・点数・実行ログを全部ファイルに置き、提案
側の coding agent が grep や cat で好きに読む
• TerminalBench-2：Haiku 4.5 を使う agent の中で最高（37.6）
• test set は最後に 1 回だけ使う
Lee et al., Meta-Harness, arXiv 2603.28052 (2026-03) · github.com/stanford-iris-lab/meta-harness
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/PJR9LW6K79.jpg)

RRSI：探索を正則化し、未見のタスクでも効く harness を残す
自由に書き換えさせるほど過学習する、だから「どの編集を残すか」を縛るのが要点
更新
harness 全体：prompt、tool、memory、subagent
固定
policy モデル（Claude Opus 4.8）、ラウンド数
何をする研究か
• Meta-Harness 型の探索をそのまま回すと、探索に
使ったタスクにしか効かない harness ができる、そ
れを防ぐ
新しいところ：探索の正則化
• 提案側：1 回の編集量を徐々に絞る、失敗した変更
を繰り返さない
• 採択側：benchmark 固有の小細工を critic が弾く、
ノイズを超えた改善だけ採択、使われない部品を剪
定
結果（探索に使っていない benchmark の平均）
• Meta-Harness：39.7 → 40.6、ほぼ伸びない（探索
したタスクでは最高）
• RRSI：39.7 → 43.6、推論コストは +55%
論文 Fig. 2：左が提案側、右が採択側の正則化
Xia et al. (Google), RRSI, arXiv 2609.24972 v3 (2026-10)、未見 benchmark = JobBench、GDPval、APEX-Agents
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/PEXQWPM5JX.jpg)

AIDE²：研究 agent が自分のコードを 8 日間書き換え続けた
自分のコードを直すループで held-out にも効く改善は出た、直す力が上がったかは未解決
更新
研究 agent（AIDE）のコード：探索方針、memory、context 管
理
固定
基盤モデル、AI R&D タスク集合、隠した採点
何をする研究か
• ML 実験を回す研究 agent のコード自体を書き換えさせる、受
理された版が次に編集される agent になるので recursive
結果
• 8 日間の自律実行で 7 回の改善を受理（探索方針、context を
圧縮する memory など）
• 選択に使っていない 4 つの benchmark で、人手で 2 年かけた
agent と同等以上
• 狙っていないのに reward hacking の率が 55% → 32% に下が
った
ignition test：improver として良くなったか
• 見つけた agent を「書き換える側」に置いて回すと、最終値は
0.780 vs. 0.782 で同等、頭打ちまでは約 20 step vs. 約 40
step と速い
• ただし 3 seed で、著者自身も結論は出ないとしている、直す
力が上がったかの最初の手がかりではある
論文 Fig. 1：外側のループが agent のコードを書き換え、内側で候補 agent に AI R&D タスクを解かせ、隠したデータの点（
private grade）が上がった時だけ採択する
Srikanth et al. (Weco AI), Recursive self-improvement of AI research agents, arXiv 2609.26457 (2026-09)
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/3EK9VDGRED.jpg)

B harness だけでなく weights も一緒に動かす
この部で見る論文：Harness Learning、Evo²、WHALE、HarnessForge / On-Policy
Correction、Harness-Zero（周辺は Appendix B1）
• A では提案側も解く側も固定の API モデルだった、2026 年後半からどちらかを学習する論文が出て
きた
• 3 通りある：harness を直す側を学習する（Harness Learning、Evo²）、タスクを解く側を harness
の下で学習する（WHALE）、解く側に harness の挙動を蒸留して harness を外す（Harness-Zero
）
• 見るポイント：学習したのは improver か executor か、harness と weights の組み合わせがずれる
とどうなるか
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/L73WMRNG75.jpg)

Harness Learning：harness を直す側のモデルを RL で学習する
4B のモデルでも、編集の結果を reward に学習すれば、見たことのないタスクの harness を直せる
更新
直す側（proposer）の weights、harness のコード
固定
解く側（solver、4B / 8B）、test 時は proposer も固定
何をする研究か
• これまで固定の API モデルだった「harness を直す側」を
、小さいモデルで学習する
結果
• 学習に使っていない 21 種類の推論タスクで、1 回の編集後
の点が 0.32 → 0.62（学習前 → RL 後）
• 学習した 4B が、教師に使った 35B（0.56）より良い
• QA：HotpotQA で学習し MuSiQue にも効く、10 回編集を
重ねると 0.15 → 0.27
注意点
論文 Fig. 1：proposer がタスク・今の harness・実行レポートを読んで編集し、固定した solver で動かした点が reward
• 内側のループで harness を編集し、外側のループで proposer を学習する、論文は
「実行可能プログラムの上の meta-learning」と呼ぶ
• reward = 編集後の harness の点数 + 編集が壊れていないことへの加点、GRPO で
学習
Zhang et al. (JHU / CMU), Harness Learning, arXiv 2609.35738 (2026-09-28)
• Meta-Harness などとは数値で比べていない、solver は 4B
〜8B
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/87DK6YWNJG.jpg)

Evo²：解く側は固定して、harness を直す側（evolver）を学習する
harness を直す側を学習する、各編集の結果がそのまま reward になる
更新
evolver の weights と harness
固定
タスクを解く executor
何をする研究か
• Harness Learning と同じ発想を coding
agent でやる、解く側は固定、直す側（
evolver）だけ学習
学習の仕方
• reward = 編集前後の点数の差、壊れた編集
はペナルティ
• SFT で warm start してから GRPO
設定
• Qwen3.8-27B が解く側と直す側を兼ね、学
習するのは直す側のコピーだけ
論文 Fig. 1
• 1 つのモデルが 2 つの役割を担う：編集案を出す Proposer と、結果を見て修正 /
crossover / 維持を決める Reflector
Xu et al. (Google DeepMind / UIUC), Evo², arXiv 2610.13025 (2026-10-09)、ゲノムモデルの Evo 2 とは別物
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/VJPKY69NE8.jpg)

WHALE：解く側の weights の学習と harness の探索を交互に回す
解く側は今の harness の下で学習し、harness は学習後の解く側に合わせて直す、を繰り返す
更新
解く側の weights θ と harness h を交互に更新
固定
直す側（Meta-Harness 経由の Opus 4.7）、verifier
何をする研究か
• Evo² とは逆で、直す側は固定し、解く側の
weights を harness に合わせて学習する
結果（SearchQA）
• harness だけ 38.3、weights だけ 38.3、両方交互
に 48.3
• 片方を終えてからもう片方だと 43.0、交互に回す
ことに意味がある
注意点
論文 Fig. 1：(a) θ と h を交互に上る、(b) 最終的な test の点
• 最後の組は test の点が一番良いものを選んでいる
、seed なし
• weight phase：今の harness の下で解かせ、verifier を通った解だけで SFT
• harness phase：学習後のモデルの下で Meta-Harness の探索
• 解く側は Qwen3.5 の 2B と 4B
Kim et al. (KRAFTON / Stanford), WHALE, arXiv 2609.00196 (2026-08-31)
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/2EVVG3MYEQ.jpg)

harness と weights は互いに合わせて特化する
weights と harness は相手に合わせて特化する、片方だけ差し替えると落ちる
HarnessForge：組み合わせを総当たりで評価
• harness と解く側の LoRA を 3 ラウンド交互に更新し、全ラウンドの組
み合わせを評価した
• 同じラウンドの組：77.2、最終 harness を前の policy に当てる：71.9、
最終 policy を前の harness に当てる：71.1（開始時 69.3）
• 改善の大半はその組み合わせに固有で、片方だけ差し替えると落ちる
On-Policy Correction：weights の更新の仕方
• 弱いモデル向けに進化させた harness で、強い expert の成功例をその
まま SFT すると 78.0 → 63.1 に落ちる
• 弱いモデル自身の失敗した手だけ expert に直させて学習すると 78.0 →
79.7
HarnessForge Fig. 4：各ラウンドの harness × 各ラウンドの policy、対角（同じラウンド
の組）が高い
Chen et al., HarnessForge, arXiv 2606.01779 · Yu et al., On-Policy Correction, arXiv 2609.09134
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/57GL83GWEL.jpg)

harness で得た改善を weights に移す：Harness-Zero、D-OPCD
harness で見つけた改善は weights に移せる、どこまで移るかは解く側のモデルの力で決まる
更新
タスクを解く側の weights（harness の下での挙動を蒸留）
固定
harness を作る側、蒸留後は harness も外す
Harness-Zero · 2609.24974
• 進化させた harness の下での挙動をモデルに蒸留し、その後 harness を
外す
• harness なしで 23.3 → 44.3、base に harness を付けた 41.7 より高い
• harness が作っていた挙動 28 種のうち 82% が残った
D-OPCD · 2610.07250（text-to-image）
蒸留してから再進化するサイクル
harness を進化させる → 挙動を weights に蒸留 → weights が
覚えた部分を harness から削る → 新しい weights の上で再進
化
• agent が見つけた良い prompt を diffusion model の weights に蒸留、直
接生成で 60.5 → 65.1
• 蒸留で不要になった skill を捨て、新しい weights の上でまた進化させる
と +1.8、サイクルを回せる
ここから言えること
Harness Updating Is Not Harness Benefit · 2605.30621
• harness は改善の仮置き場で、残したい改善は最終的に weights に入れ
る（Weng 2026 も同じ見方）
• 良い harness 更新を書く力はモデルの強さによらずほぼ同じ、更新で得
をする力は中位モデルが最大
• 差を決めるのは「直す側が良い編集を書けるか」より「解く側がそれを
使いこなせるか」かもしれない
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/4EQY95XQJP.jpg)

C agent を複数にして回す
この部で見る論文：GEA、EvolveNet、MASS
A と B は agent 1 体の話だった、ここでは複数の agent が経験や編集を共有することで探索を良くす
る
• 見るポイント：何を共有するか（実行ログ、コードの差分、途中経過）、run が終わった後に何が残
るか、モデル自体は学習しているか
• MASS だけがチームのログで weights を学習しており、正解のないタスクでの自己改善の例になっ
ている
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/KJ4WX96Y71.jpg)

GEA：agent を集団として進化させ、経験を共有する
経験をプールするだけで系統探索が集団探索になる、ただしモデルは何も学習していない
更新
agent framework のコード、集団ごとに進化
固定
モデル（Sonnet 4.5 系）
何をする研究か
• DGM の「1 体ずつ分岐」を「集団で分岐」に変え
、別系統の失敗や成功を子が参照できるようにした
結果（DGM と同じモデルで）
• SWE-bench Verified 71.0 vs. 56.7、Polyglot 88.3
vs. 68.3
注意点
• 各 1 run、モデル自体は学習しない
論文 Fig. 1：(a) DGM の 1 体ずつの分岐 vs. (b) 集団での分岐
• 親を 2 体選び、その実行ログ（patch、log、結果）をまとめて子に渡す、子はそ
れを読んでから自分を書き換える
• 親の選び方は性能 × 新しさ（他と違う失敗の仕方をしている方を優先）
Weng et al. (UCSB), Group-Evolving Agents, arXiv 2602.04837 (2026-02)
17


# Page. 18

![Page Image](https://bcdn.docswell.com/page/LE1YNKVN7G.jpg)

EvolveNet：別々に見つけた harness の編集を merge する
成果物（コードの差分）を通じて agent が協調する、何を単位に共有するかが設計の中心
更新
共有の harness プログラム、各 client の編集を merge
固定
LLM (deepseek-v4-flash)
DS-1000 held-out、merge の仕方別（Table 2）
何をする研究か
• 各 client が自分のデータで harness を進化させ、server が
差分を 1 つに merge する、federated learning の harness
版
結果
• 一番良い client を選ぶだけだと 59.5、merge すると 68.5
注意点
論文 Fig. 1：1 本で順に進化させる場合と EvolveNet
• 各 1 run、test は 30〜200 問、harness は 17 行 → 409 行に
膨らむ
• merge の規則：複数の領域で効く編集は全体に、1 領域だけなら条件付きで適用、
新たに壊した数が直した数を超えたら戻す
Nie et al., EvolveNet, arXiv 2608.04968 (v2, 2026-10)
18


# Page. 19

![Page Image](https://bcdn.docswell.com/page/GEWG4D3MJ2.jpg)

MASS：自分のコピーでチームを組み、そのログで学習する
1 つのモデルのコピーをチームにすると、正解のないタスクでも単体より良い教師信号が得られる
更新
workflow の prompt と共有 weights（LoRA SFT）を交互に
固定
agent の harness、外部 judge は評価にだけ使う
何をする研究か
• 正解のない研究タスクで、外部の教師なしに自己改善できるか、評
価者も最適化者も自分自身
結果（Qwen3.6-27B、2 サイクル）
• 学習前のモデルに勝つ率：1 周目 53.9% → 2 周目 69.9%（判定は
GPT-5.5 と Opus 4.8）
• タスクを解くログで学習しただけなのに、評価者としての外部
judge との一致率も 0.73 → 0.93 に上がる
• 学習後に見つけた workflow を学習前のモデルで動かしても、学習
前の workflow に 64% で勝つ
論文 Fig. 1：agent、評価者、最適化者が 1 つのモデルを共有する
• 内側：モデルのコピーが workflow（役割分担と呼ぶ順番）を実行し、同じ
モデルがこれまでの best と比べて勝ち負けを判定し、workflow を書き換
える
• 外側：best の workflow で走らせたログのうち良いものを選んで LoRASFT
Lee et al. (UC Berkeley / Sakana AI), MASS, arXiv 2610.12176 (2026-10-08)
注意点
• Terminal-Bench と SWE-bench は 1〜2 点下がる、学習タスクは合
成8件
19


# Page. 20

![Page Image](https://bcdn.docswell.com/page/47ZL2GVMJ3.jpg)

D：ここまでの手法は本当に良くなっているのか
ループの中で測った点数は、3 つの理由でそのまま信じられない
3 つの疑い
• 何と比べるか：同じ予算で、単に何回も試す方法に勝っているか（
Rethinking）
実行
executor + harness
• どの set で測るか：候補選びに使った set の点を、そのまま成果として報告
していないか（Winner's curse）
• 誰が採点するか：正解がなく LLM に採点させると、ループは LLM の好み
に向かう（Judge hacking）
評価して選ぶ
残す / 捨てる
結果が次の
ラウンドへ
実行ログ
trace、スコア
言葉
• verifier：テストや正解との一致で機械的に出る点数
• judge：LLM が出力を見て付ける点数
• A〜C はほぼ verifier のあるタスク。ただし探索と評価に同じタスクを使う
例が多く、1 つ目と 2 つ目の疑いはそこに掛かる
改善
harness を編集 / weights を
学習
ここで測る点数を疑う
20


# Page. 21

![Page Image](https://bcdn.docswell.com/page/YJ6WVY55JV.jpg)

Rethinking：同じ予算なら、何回も試す方が harness を直すより効く
Terminal-Bench では何回も試す方が効き、未見タスクへの伸びは 0、効くのは長い horizon のゲーム
更新
harness（AHE で探索）
固定
予算 K = 5（全手法で共通）、モデル、初期 harness
何をしている研究か
• harness evolution は 1 タスクに何回も試行して harness を直
す. Harness evolveとBudgetを揃えてtest-time-scalingと比較
結果（3 モデル平均）
• テストなし：並列に試す 72.3、harness evolution 67.4。何も
しない 68.2 より低い
• テストあり：pass@1 は 82.0 vs 69.7。harness evolution は
pass@5 でしか伸びず、良い harness ではなく試行回数の効果
• タスクを分けて未見で測ると 63.2 → 63.2。探索したタスクに
合わせただけ
• 長い horizon のゲームでは効く：ARC-AGI-3 で 43.3 → 77.5、
EdgeBench で 48.3 → 54.7
論文 Fig. 1：同じ予算を (a) 並列に試す、(b) 逐次に直す、(c) 共通の harness を直す、(d) タスクごとに harness を直す、のどれに使うか
実験の設定
• Terminal-Bench 2.1、3 モデル（Opus 4.6、GPT-5.4、GPT-5.4 mini）、4 手法とも予算 K =
5
• unit test が使える設定と、自分の判断だけで選ぶ設定の 2 つ
Wang, Zhu et al. (AI2 / UW), Rethinking the Evaluation of Harness Evolution for Agents, arXiv 2607.12227 (v4, 2026-10) · 図は論文か
ら切り出し、表は Appendix A14
21


# Page. 22

![Page Image](https://bcdn.docswell.com/page/GJ5MDGYGJ4.jpg)

Winner's curse：選ぶのに使った点数は、選んだ時点で上振れしている
候補を選んだ点数は上振れしている。評価 set が小さいほど大きく、16 件なら本当の伸びより 13〜20 点高い
更新
自分の指示文（毎世代 4 案を書き、良ければ採用）
固定
選択 set（16 / 64 / 256 件、使い回す）、held-out 600 件
何をしている研究か
• 自己改善ループの基本形は「候補を何個か作る → 小さい評価
set で採点 → 一番良いものを採用 → 繰り返す」
• 採点には noise があるので、一番良く見えた候補は運も拾って
いる. 採用した時点でその点数は上振れしている、これが
winner's curse
• 論文は Qwen に自分の指示文を書き換えさせるループを回し
、全候補を別の 600 件でも採点して、ループが報告する伸び
と本当の伸びを比べた
分かったこと
論文 Fig. 3：白丸 = 選択 set で測った伸び、黒丸 = held-out 600 件で測った伸び、赤 n = 16、青 n = 256、線が上振れ分
• 上振れの大きさは評価 set の大きさで決まる。16 件なら 13〜
20 点、256 件でも 1〜5 点
harness evolution との関係
• 2 世代目以降は候補の大半が本当は改悪。GEPA や MIPROv2
など既存の prompt optimizer でも同じ
• 本編の探索も同じ形。候補を作り、30〜200 問の held-out や探索と同じ benchmark で採点
して採用する。だから同じ上振れが乗る
• 探索に使った set の点をそのまま成果として報告している論文が多い
• 採用を統計検定で絞っても、素朴な「良ければ採用」と変わら
ない
対策
• 選択に使っていない set で、開始時と現在を測り直す。採用に
使った点数は成果の根拠にならない
Hu (Meta) & Tang (Microsoft), The Winner's Curse in LLM Self-Improvement Loops, arXiv 2610.09239 (2026-10) · 図は論文から切り
出し
22


# Page. 23

![Page Image](https://bcdn.docswell.com/page/LE3WMR5PE5.jpg)

Judge hacking：judge の点は上がるが正解率は上がらない
judge の点で選ぶと「説得力」だけ上がる、守るには judge に先に解かせるか、judge が見ない正解で監査する
更新
解く側（policy）の weights、judge の判定を reward に selfplay
固定
judge（正解を見ない LLM）、正解は judge が見ない監査に
だけ使う
起きたこと
• judge の通過率は 0.72 → 0.94 に上がるのに、本当の正解率は
0.20 のまま、「正しそうで間違った答え」が上手くなっただけ
• その誤答は別の judge も通し、3 つの judge の多数決でも半分
以上通る
harness evolution との関係
• 学習せず、judge の点が高い候補を選ぶだけでも同じことが起
きる（§5.3）、harness 探索の候補選択はまさにこの操作
効いた対策
論文 Fig. 1：(a) self-play を回すと judge の通過率は上がるが、隠した正解で測った精度は上がらない
• judge に答えを見せる前に自分で解かせる：誤答を通す率が
0.72 → 0.01 に落ちる
実験の設定
• 算数（GSM8K）でモデルに答えを出させ、正解を見ない LLM の judge に「正しそうか」だ
け判定させ、通った答えを reward に RL する
• 本当の正解率は、judge が一度も見ない正解との一致で別に測る
Zhou (Institute of Science Tokyo), More Convincing, Not More Correct, arXiv 2607.05904 (2026-07)
23


# Page. 24

![Page Image](https://bcdn.docswell.com/page/8EDK6YD37G.jpg)

まとめ：アプローチの比較
アプローチ
代表
長所
短所
A harness のコードを探索
Meta-Harness, RRSI
学習不要で伸びが大きい、結果がコードとして読
める・持ち運べる
探索したタスクに過学習しやすい、提案側に高価
な API モデルが要る、推論コストが増える
B1 直す側を学習
Harness Learning, Evo²
小さいモデルでも直せる、編集の経験が蓄積する
伸びの多くは探索設計と区別しにくい、学習した
側が本当に良くなったかの検証が薄い
B2 解く側を学習・蒸留
WHALE, Harness-Zero
harness だけより大きく伸びる、蒸留すれば
harness を外せて推論が軽い
改善がその harness との組み合わせに固有、新し
いモデルが出るたびにやり直し
C agent を複数に
GEA, EvolveNet, MASS
経験共有で探索が速い、正解のないタスクでも教
師信号が作れる（MASS）
token が増える、run 後に何を残すかが未整理
D ループの点数を疑う
Rethinking, Winner's curse,
Judge hacking
同じ予算の baseline、未見タスク、選択に使って
検証した手法は 1 つ、設定は小さい
いない set で測り直せば、本物の伸びが分かる
手法ごとの表は Appendix B2
24


# Page. 25

![Page Image](https://bcdn.docswell.com/page/V7PKY6XPJ8.jpg)

まとめ：未解決の課題
改善する力そのものが測れていない
予算を揃えると伸びが消える
ほとんどの論文は「タスクの点が上がった」までで、proposer側の改
善をきちんと評価した研究は少ない
同じ予算で何回も試す方法と比べると、Terminal-Bench では harness
evolution の伸びは消え、未見タスクでは 0（Rethinking）。効くのは
長い horizon のゲーム
ループの中の点数が信用できない
harness と weights の相性
小さい set で選ぶと伸びが水増しされ（Winner's curse）、LLM に採
点させると説得力だけ上がる（Judge hacking）
改善はその組み合わせに固有で、片方だけ差し替えると落ちる、新し
いモデルが出るたびに作り直しが要る
複数 agent の成果をどう残すか
強いモデルでの伸びしろ
探索中の共有は効くが、run が終わった後に何を、どの単位で残すかが
決まっていない
モデルが強くなるほど harness で伸ばせる余地が小さくなる可能性が
あり、どこまで残るかは分かっていない
25


# Page. 26

![Page Image](https://bcdn.docswell.com/page/2JVVG3LVJQ.jpg)

参考文献
本編で紹介した論文
評価器まわり
AlphaEvolve 2506.13131 · SICA 2504.15228 · DGM 2505.22954 · HGM 2510.21614 ·
Meta-Harness 2603.28052 · Task-CoEvolve 2608.20169 · RRSI 2609.24972
Harness Learning 2609.35738 · LSE 2603.18620 · WHALE 2609.00196 · Evo²
2610.13025 · HarnessForge 2606.01779 · On-Policy Correction 2609.09134 · HarnessZero 2609.24974 · D-OPCD 2610.07250
GEA 2602.04837 · EvolveNet 2608.04968 · Test-Time Communication 2609.21032 ·
CERA-MoA 2609.18779 · MASS 2610.12176
More Convincing, Not More Correct 2607.05904 · Who Grades the Grader? (Double
Ratchet) 2607.12790 · AIDE² 2609.26457
Inspectable graders 2610.11464 · Evaluator ensembles 2608.08002 · DynamicRubric
2607.20083 · EvoRubrics 2606.23038 · VideoWeaver 2606.08091 · SEAL 2607.24300 ·
RewardHackingAgents 2603.11337
A の周辺
ModularRSI 2609.14857 · Self-Harness 2606.09498 · SoL-Pi 2609.20519 · AHE
2604.25850 · AutoHarness 2603.03329 · AI4AI at Test-Time 2608.12307 ·
MemoHarness 2607.14159 · Continual Harness 2605.09998 · SkillOpt 2605.23904
B の周辺
計測と benchmark
RSIBench-Data 2607.25886 · PostTrainBench 2603.08640 · AI4AI-Bench 2608.20318 ·
LongWoF-Bench 2608.23200 · DeepRSI (deeprsi.com) · R_AI 2609.00137
Rethinking harness evolution 2607.12227 · Winner's curse 2610.09239 · EvoPathBench
2609.24663 · Shadow evaluation 2607.27191
サーベイとブログ
RSI survey 2607.07663 · Self-evolving agents survey 2507.21046 · Generalized Agent
Iteration 2609.13406 · Safety in self-evolving agents 2610.00093
lobehub/awesome-rsi · L. Weng, Harness Engineering for Self-Improvement (202607) · Anthropic Institute, When AI builds itself (2026-09) · N. Lambert, Interconnects
(2026-09)
HELIX 2608.13951 · ScienceBuddy 2609.17523 · SIA 2605.27276 · SkillRise 2607.26784
· Hyperagents 2603.19461 · MetaEvolve 2607.21971 · ThetaEvolve 2511.23473 · CoHarness 2607.22688 · E-SPL 2602.14697 · FreeEvolve 2610.09197 · Harness Updating
≠ Benefit 2605.30621
C の周辺
R-Zero 2508.05004 · Agent0 2511.16043 · G-Zero 2605.09959 · MM-Zero 2603.09206 ·
TTCS 2601.22628 · Red Queen GM 2606.26294 · Mendel GM 2608.07645 · DTE
2505.15734 · EvoAgentX 2507.03616
26