論文紹介：I Have a Stream: Making Self-Supervised Learning Work on Continuous Video

I Have a Stream: Making Self-Supervised Learning Work on Continuous Video Ivan Martinović, Lukas Knobel, Yuki M. Asano NeurIPS 2026 石川温人（名工大玉木・丁研） 2026/10/22

長時間動画での自己教師あり学習  通常のSelf-Supervised Learning（SSL） • ラベルなしで汎用的な画像表現を学習 • 画像をシャッフルし，エポックごとに何度も学習 ➞毎回多様な画像が混ざったバッチ（i.i.d. に近い状態）  人やロボットの視覚体験 • 途切れなく続く映像を，撮影された順に1度だけ見る • 隣り合うフレームは類似度が高く，シャッフルもできない

関連研究  自己教師あり画像表現学習 • 対照学習：MoCo v3 [Chen+, ICCV2021] • 同じ画像のViewを近づけ， 他の画像とは遠ざける • 自己蒸留：DINO [Caron+, ICCV2021] • Teacherの出力分布をStudentが 真似る • マスク学習：MAE [He+, CVPR2022] • 隠したPatchの画素を再構成 • 動画からの学習： DoRA [Venkataramanan+, ICLR2024] • 動画のフレームをランダムに抽出 して学習（i.i.d. が前提）  動画からのストリーミング学習 • Replay Buffer： Memory Storyboard [Yang+, CoLLAs2025] • 過去のフレームを保存し，現在と 混ぜてバッチ化 • 勾配の直交化： Orthogonal-AdamW [Han, CVPR2025] • 連続バッチの勾配から相関成分を 除去して更新 • Online学習 • 1本の連続動画から逐次的に 予測・適応

問題設定：Streaming Batch  学習設定 • 動画をフレームの時系列順に入力 • バッチサイズB ，ストライドsのSliding Windowでバッチを構成 • 連続するバッチはB − sフレームが重複（通常s ≪ B）  制約 • Global Shuffle/Multi-Epoch/Long-term Replay Bufferなし • ランダム初期化から学習（From Scratch）

提案手法（StreamMAE）の設計方針  既存SSL手法はStream学習で性能が低下 • MoCo v3/DINOは大きく劣化 • MAEが最も頑健→MAEをベースに設計  i.i.d. MAEとの性能差の原因 • Inter-batch Similarity：連続バッチ間の重複 • Intra-batch Similarity：バッチ内のほぼ同一フレーム ➞切り分け実験でIntra-batchが原因と特定  Intra-batch Similarityへの対処 • MAEの目的関数は維持し，入力Pipelineを改良 • Stream-aware Regularization + Crop Selection

WT++ Dataset  WT++：Streaming事前学習用の街歩き動画Dataset • Walking Tours (WT) [Venkataramanan+, ICLR2024]を拡張 • 58本・計94.5時間の都市Walking Tour動画  動画を順に連結してStreamの長さを拡大 • WT++12h→25h→50h→95h • 各Streamは前のStreamを先頭に含む

予備分析①：2種類のバッチ類似度  Intra-batch Similarity：1つのバッチ内のフレーム同士の類似度  Inter-batch Similarity：連続する2つのバッチの類似度 Batch t Intra Batch内 x1 x2 x3 x4 Inter Batch 間 Batch t+1 x2 x3 x4 x5  WT++12hでは両方が同時に高い

予備分析②：性能低下の原因  実験1：バッチ間の重複だけ高くする • ImageNet-1Kを1回だけシャッフルし，動画と同様にSliding Windowでバッチ化  実験2：バッチ内の類似度だけ高くする • WT++12hを2通りの順に並べ，どちらもSliding Windowでバッチ化 • 1回シャッフルした順 / 撮影された順

予備分析③：学習中の勾配の挙動  バッチ内の類似度が高いと，学習の進み方はどう変化するか • 連続する2バッチの勾配のコサイン類似度を学習中に測定  i.i.d. MAEの値から離れるほど下流性能が低い • i.i.d. との差：StreamMAE 0.03 < MAE (stream) 0.15 < Orthogonal-MAE 0.24

手法の全体像 1. Motion-biased Crop Selection • 動きのある領域を優先してCrop 2. Stream-aware Regularization • Color Jitter / Drop Path / DataDrop 3. MAE Reconstruction Loss • 目的関数は通常のMAEのまま

1. Motion-biased Crop Selection  Two-stage Cropping • Stage1で固定サイズの領域を選び，Stage2でその中を通常のMAEのCrop  Stage1の領域を「動きの大きさ」で選ぶ ① 連続する2フレーム ② 画素ごとの差分 𝐃𝒕 ③ パッチごとに平均 ④ 平均スコア最大の候補 ⑤ 確率0.5で適用 各画素でRGBの差（L1距離） を計算 パッチごとに差分を平均 → 𝑚 (𝑝) 候補ごとにパッチのスコアを 平均．赤が最大 赤：選ばれた領域 黄：MAEに入力するCrop x_{t−1} x_t 前フレーム 𝑥 と現フレーム 𝑥 Ω ：パッチp内の画素 𝒫(𝑐)：Crop 𝑐 内のパッチ

2. Stream-aware Regularization  Color Jitter • 色，明るさ，コントラストを変化させる • 似たフレームでも見た目の異なる入力となり， 多様性が増加 元の画像 Jitter例1 Jitter例2  Drop Path 残差接続だけを通す • 学習時にTransformerのBlockをランダムにスキップ Block Block Block Block 出力 入力 1 2 3 4 • バッチ内で繰り返し現れる局所パターンへの スキップ 過学習を抑制 スキップ確率は深いBlockほど大きい（最終Blockで0.25）  DataDrop • Window内のサンプルの75%をランダムに Window（B = 2048）の連続フレーム × × × × × 除外してLossを計算 → 25%だけでLossを計算（実効バッチサイズ 512） • ほぼ同一のフレームへの過度な強調を抑制 ×

実験設定・ベースライン  学習設定 • Backbone：ViT-S/16，ViT-B/16 • Optimizer：AdamW • 𝛽 = 0.9， 𝛽 = 0.95 • Window B = 2048→B = 512 • Stride s = 1（95hのみs = 2） • Mask率：0.75  事前学習データ • WT++12h（Default） • WT++25h/50h/95h（Scaling）  比較手法 • MoCo v3 • DINO • MAE • Orthogonal-MAE • Memory Storyboard  参照：Standard i.i.d. MAE ※同じ反復回数

評価タスク・データセット・評価指標  評価方法 • End-to-end Fine tuning • Attentive Probing  Classification (Top-1 Acc↑) • ImageNet-1K [Deng+, CVPR2009] • 1000クラスの物体認識  Semantic Segmentation (mIoU↑) • Cityscapes [Cordts+, CVPR2016] • 屋外の街並み，事前学習データに 近いドメイン • ADE20K [Zhou+, CVPR2017] • 屋外の多様なシーン，異なる ドメイン  Depth Estimation (RMSE↓) • KITTI [Geiger+, CVPR2012] • 屋外の道路，事前学習データに 近いドメイン • NYUv2 [Silberman+, ECCV2012] • 屋内のシーン，異なるドメイン

定量的結果  同じStream設定で学習した全ての比較手法を，5指標全てで上回る  同じ動画のi.i.d. MAEを5指標全てでわずかに上回る  95hのStreamで学習するとさらに向上

Ablation Study  DataDropのみでわずかに改善  Color Jitter / Drop Pathで大きく改善  Motion-biased CSはCityscapes / KITTIで特に有効

スケーリング：Encoderサイズ  StreamMAE (ViT-B) はViT-Sから大きく向上  同じ動画のi.i.d. MAEと同等の結果が得られる

スケーリング：事前学習動画の長さ  95hでは12hより全指標で性能向上  新しい動画 vs 同じ動画の繰り返し • 同じ動画の繰り返しでも改善するが，新しい動画の方が効果が大きい • 視覚的な多様性の増加が重要

ImageNet-1Kで学習したMAEとの比較  ViT-S：街歩き動画だけでImageNetによる学習を セグメンテーションでは上回る • Cityscapes +2.1 / ADE20K +1.0 mIoU  ViT-B：3指標とも下回る • ADE20Kで -3.3 mIoU

まとめ  長時間のStreaming Videoからの自己教師あり学習を検討 • Shuffle / Replayなしで，撮影順に1度だけ見てスクラッチで学習  性能低下の主因はIntra-batch Similarity • 連続バッチ間の重複（Inter-batch）は主要な原因ではない  StreamMAEを提案 • Stream-aware Regularization + Motion-based Crop Selection • 同じ動画のi.i.d. MAEと同等以上，ImageNet学習のMAEとも競合 • Streamの長さに応じて性能が向上