【DL輪読会】Long-Term Memory in Video World Models

Long-Term Memory in Video World Models Yang Hu, Matsuo Lab 1

Introduction Full Attention すべての過去フレームを参照 ◎ 過去の内容を保持できる × 計算量 O(T²)、KVキャッシュも T に比例して増加 × 数分〜の長さでは現実的でない Sliding Window × × × × 窓の外は捨てる × × 直近 W のみ ◎ 計算量・メモリが一定 × 窓外の内容を忘れる × 同じ場所に戻ると別の景色が生成される 2

Frame-based Retrieval 最も素直な解法：過去の画面を保存しておき、必要な時に取り出す 生成済み フレーム Memory Bank フレーム + 姿勢 + 時刻 検索 生成モデル 今の視点と関係する 過去はどれか？ 直近 + 検索結果を 条件に生成 生成したフレームをメモリに追加 WorldMem：スコアの高いフレームを選ぶ Q 生成中フレーム + E_q α = o · wo − d · wt • o：現在の視点との視野(FOV)の重なり率（モンテカルロ推定） • d = |tᵢ − t_c|：時間差（新しいほど優先） • w_o = 1, w_t = 0.2 / t_c Memory Cross-Attention メモリフレーム + E_k K, V Xiao et al., “WorldMem: Long-term Consistent World Simulation with Memory”, NeurIPS 2025 (arXiv 2504.12369) ／ NTU S-Lab, PKU, Shanghai AI Lab 3

Frame-based Retrieval 4

Frame-based Retrieval 履歴は増え続け、検索そのものにもコストがかかる Matrix-Game 3.0 の速度アブレーション（FPS） • 保存量：メモリバンクは時間に比例して増える 45 40 • 検索コスト：候補が増えるほど検索も重くなる 40.0 • 姿勢依存：視野の重なりで選ぶので、正確なカメラ 姿勢が必要（WorldMem は真値を使用） 35 30 27.4 25.8 25 20 15 10 6.6 5 0 Full INT8 なし 軽量VAE なし GPU検索 なし 視錐台の重なりを CPU で厳密計算すると 40 → 6.6 FPS 5

Memory Compression: RELIC 全履歴を残すが、古いものほど空間的に縮めたトークンで持つ 1× 4× 2× 4× 4× 2× 4× 4× 2× 4× 4× 約 4× 2× 圧縮 KV キャッシュ（古い latent 全て） 1× / 2× / 4× を周期的に割当て 平均のトークン削減 直近ウィンドウ（非圧縮） 例：120K → 30K tokens □ の面積 ≒ トークン数のイメージ。スケジュール S = [1, 4, 2, 4, 4, 2, …] は経験的に設定、学習なし • ※ 「最大 4 倍」ではなく平均で約 4 倍（フレームごとに 1×〜4×） • 明示的な検索はしない：圧縮キャッシュ全体に attention をかけ、関係する過去をモデルが暗黙に引く（論文の表現では implicit 3D-consistent retrieval） • カメラ条件：絶対カメラ姿勢を Q, K に、相対行動を latent に加算 • ベース：Wan2.1 14B（T2V）を block-causal な学生モデルへ蒸留 Hong et al., “RELIC: Interactive Video World Model with Long-Horizon Memory”, arXiv 2512.04040 (2025.12) 6

Memory Compression: Infinite-World 学習した圧縮器で、どれだけ長い履歴も固定長 T_max のメモリに収める Direct（L ≤ 4·T_max） 時間方向 4× f_φ T_max = 20 固定のメモリ予算 （論文では token か latent 長かは明記なし） Hierarchical（それより長い履歴） f_φ （局所） f_φ （大域） ≤ T_max 重なりのある 5 チャンク（窓 64 フレーム） 連結 f_φ：3D-ResNet の時間エンコーダ。姿勢を使わず（pose-free）、生成損失だけで DiT と end-to-end 学習。圧縮メモリ・直前フレーム・ノイズ latent を時間方向に 連結して入力 Wu et al., “Infinite-World: Scaling Interactive World Models to 1000-Frame Horizons via Pose-Free Hierarchical Memory”, ICML 2026 (arXiv 2602.02393) 7

Memory Compression：2手法の比較 Memory Compression 同じ「圧縮」でも、何を・どこで縮めるかが大きく異なる RELIC Infinite-World 固定の空間ダウンサンプル（1/2/4×） 学習する 3D-ResNet（時間方向） メモリのサイズ 時間に比例（平均 約 1/4） 固定（T_max） メモリの使い方 KV キャッシュに attention 入力コンテキストに連結 条件付け 絶対カメラ姿勢 + 相対行動 姿勢なし・離散行動のみ 16 FPS（蒸留済み） 未報告（蒸留なし） 圧縮器 速度 8

Recurrent & Selective: SANA-WM 大部分の層を線形 attention にし、履歴を固定サイズの状態に畳み込む 20 ブロックの構成（3 : 1） ■ Gated DeltaNet ×15 ■ Softmax attention ×5 Softmax 層（推論時） sink（先頭フレーム）+ 局所窓のみ保持 → 残りは GDN 状態にのみ残る → メモリ使用量が一定 720p 60 秒 (961 フレーム) 34 秒 60 秒動画を生成 RTX 5090 ×1 2.6B パラメータ NVIDIA, “SANA-WM”, arXiv 2605.15178 (2026.05) ／ 34 秒は蒸留 + NVFP4 9

Recurrent & Selective: HLA-WM 単一の再帰状態は遠い過去を忘れる → チャンクごとの要約を残し、必要なものだけで状態を組み直す 各チャンクを固定サイズの (A, B) に要約して保存 0.0416 chunk 3 の情報が chunk 35 で 残っている割合（再訪時点） (A1, B1) (A2, B2) (A3, B3) sink 40 チャンクのループトラジェクトり。後の更新が古い 情報を削り続ける … (Ak, Bk) … 幾何 (n−1) (An, Bn) 直近 直近 (Aᵢ, Bᵢ) ⋆ (Aⱼ, Bⱼ) = (AᵢAⱼ, BᵢAⱼ + Bⱼ) 時刻順に合成 → 今のクエリ専用の状態 • 選択：先頭（sink）+ 直近 + カメラ幾何の関連度 top-K • 関連度：7×7 光線上の点が互いの視野に入る割合。RGB・意味特徴は不使用 • Softmax 層：同じチャンクで過去の KV キャッシュを選び直す −28.5% 2.15 GiB • 学習なし：SANA-WM の重みは凍結したまま、推論時のみ変更 回転誤差 （2 split 平均） 履歴状態 (60 秒) full KV の約 1/12 ≤ 1.6% スループット低下 Chen et al., “HLA-WM: Hybrid Linear Attention for Long-Horizon Video World Models”, arXiv 2610.05739 (2026.10) ／ Monash, Adelaide, ZJU 10

PERSIST：永続的な 3D 世界状態 World State 過去の画素ではなく 3D の世界状態を持ち続け、そこからフレームを描画する 行動 aₜ World-frame model Rasterizer （学習なし） Pixel generator 48³ ボクセル潜在を 更新（因果 DiT） depth peeling で 特徴を画面に投影 学習された deferred shader フレーム カメラ（位置・回転・FOV）は別モデルで予測 FVD ↓（生成フレーム数ごと） PERSIST 限界 Oasis 1000 875 800 • 非リアルタイム（高速設定で約 1.1 FPS） 687 • Minecraft 風の Luanti 環境のみで検証 600 409 400 200 • 3D の真値教師（ボクセル・意味ラベル）が必要 • エージェント周辺の 48³ 以外は捨てる 148 141 129 0 200 400 600 Garcin et al., “Beyond Pixel Histories: World Models with Persistent 3D State”, ICML 2026 (arXiv 2603.03482) ／ Edinburgh, Microsoft Research 11

まとめ 「履歴を貯めて参照する」から「状態を持ち続ける」へ メモリの形 サイズ 思い出し方 主な弱点 Frame-based Retrieval 過去フレーム / latent + 姿勢・時刻 時間に比例 視野の重なりで 明示的に検索 保存・検索コスト 姿勢への依存 Memory Compression 圧縮した KV / latent 比例（約1/4） or 固定 attention に任せる （暗黙） 圧縮による情報損失 Recurrent & Selective 固定サイズの再帰状態 (+ チャンク要約) 一定 ゲート / 幾何で チャンクを選択 遠い過去の忘却 3D ボクセル潜在 範囲内で一定 世界座標で 直接参照 3D 教師が必要 範囲が限定 World State HLA-WM のように、再帰状態と検索を組み合わせるハイブリッドも出てきている 12

References [1] Z. Xiao et al. WorldMem: Long-term Consistent World Simulation with Memory. NeurIPS 2025. arXiv:2504.12369 [2] Skywork AI. Matrix-Game 3.0: Real-Time and Streaming Interactive World Model with Long-Horizon Memory. arXiv:2604.08995 [3] Y. Hong et al. RELIC: Interactive Video World Model with Long-Horizon Memory. arXiv:2512.04040 [4] R. Wu et al. Infinite-World: Scaling Interactive World Models to 1000-Frame Horizons via Pose-Free Hierarchical Memory. ICML 2026. arXiv:2602.02393 [5] H. Zhu et al. SANA-WM: Efficient Minute-Scale World Modeling with Hybrid Linear Diffusion Transformer. arXiv:2605.15178 [6] Z. Chen et al. HLA-WM: Hybrid Linear Attention for Long-Horizon Video World Models. arXiv:2610.05739 [7] S. Garcin et al. Beyond Pixel Histories: World Models with Persistent 3D State (PERSIST). ICML 2026. arXiv:2603.03482 13