---
title: 論文紹介：I Have a Stream: Making Self-Supervised Learning Work on Continuous Video
tags: 
author: [Toru Tamaki](https://www.docswell.com/user/tttamaki)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/VJP3ZMGZE8.jpg?width=480
description: Ivan Martinović, Lukas Knobel, Yuki M. Asano, "I Have a Stream: Making Self-Supervised Learning Work on Continuous Video", arXiV 2026 https://arxiv.org/abs/2609.40333
published: October 30, 26
canonical: https://www.docswell.com/s/tttamaki/Z1QNQ4-2026-10-30-233503
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/VJP3ZMGZE8.jpg)

I Have a Stream:
Making Self-Supervised Learning Work
on Continuous Video
Ivan Martinović, Lukas Knobel, Yuki M. Asano
NeurIPS 2026
石川温人（名工大玉木・丁研）
2026/10/22


# Page. 2

![Page Image](https://bcdn.docswell.com/page/2EV4W96MJQ.jpg)

長時間動画での自己教師あり学習
 通常のSelf-Supervised Learning（SSL）
• ラベルなしで汎用的な画像表現を学習
• 画像をシャッフルし，エポックごとに何度も学習
➞毎回多様な画像が混ざったバッチ（i.i.d. に近い状態）
 人やロボットの視覚体験
• 途切れなく続く映像を，撮影された順に1度だけ見る
• 隣り合うフレームは類似度が高く，シャッフルもできない


# Page. 3

![Page Image](https://bcdn.docswell.com/page/57G1DZNXEL.jpg)

関連研究
 自己教師あり画像表現学習
• 対照学習：MoCo v3 [Chen+, ICCV2021]
• 同じ画像のViewを近づけ，
他の画像とは遠ざける
• 自己蒸留：DINO [Caron+, ICCV2021]
• Teacherの出力分布をStudentが
真似る
• マスク学習：MAE [He+, CVPR2022]
• 隠したPatchの画素を再構成
• 動画からの学習：
DoRA [Venkataramanan+, ICLR2024]
• 動画のフレームをランダムに抽出
して学習（i.i.d. が前提）
 動画からのストリーミング学習
• Replay Buffer：
Memory Storyboard [Yang+, CoLLAs2025]
• 過去のフレームを保存し，現在と
混ぜてバッチ化
• 勾配の直交化：
Orthogonal-AdamW [Han, CVPR2025]
• 連続バッチの勾配から相関成分を
除去して更新
• Online学習
• 1本の連続動画から逐次的に
予測・適応


# Page. 4

![Page Image](https://bcdn.docswell.com/page/4EQD1LQ5JP.jpg)

問題設定：Streaming Batch
 学習設定
• 動画をフレームの時系列順に入力
• バッチサイズB ，ストライドsのSliding Windowでバッチを構成
• 連続するバッチはB − sフレームが重複（通常s ≪ B）
 制約
• Global Shuffle/Multi-Epoch/Long-term Replay Bufferなし
• ランダム初期化から学習（From Scratch）


# Page. 5

![Page Image](https://bcdn.docswell.com/page/KJ4ZRDNV71.jpg)

提案手法（StreamMAE）の設計方針
 既存SSL手法はStream学習で性能が低下
• MoCo v3/DINOは大きく劣化
• MAEが最も頑健→MAEをベースに設計
 i.i.d. MAEとの性能差の原因
• Inter-batch Similarity：連続バッチ間の重複
• Intra-batch Similarity：バッチ内のほぼ同一フレーム
➞切り分け実験でIntra-batchが原因と特定
 Intra-batch Similarityへの対処
• MAEの目的関数は維持し，入力Pipelineを改良
• Stream-aware Regularization + Crop Selection


# Page. 6

![Page Image](https://bcdn.docswell.com/page/LE1RQZ54EG.jpg)

WT++ Dataset
 WT++：Streaming事前学習用の街歩き動画Dataset
• Walking Tours (WT) [Venkataramanan+, ICLR2024]を拡張
• 58本・計94.5時間の都市Walking Tour動画
 動画を順に連結してStreamの長さを拡大
• WT++12h→25h→50h→95h
• 各Streamは前のStreamを先頭に含む


# Page. 7

![Page Image](https://bcdn.docswell.com/page/GEW1M95Z72.jpg)

予備分析①：2種類のバッチ類似度
 Intra-batch Similarity：1つのバッチ内のフレーム同士の類似度
 Inter-batch Similarity：連続する2つのバッチの類似度
Batch t
Intra
Batch内
x1
x2
x3
x4
Inter
Batch
間
Batch t+1
x2
x3
x4
x5
 WT++12hでは両方が同時に高い


# Page. 8

![Page Image](https://bcdn.docswell.com/page/47ZPQ9NLE3.jpg)

予備分析②：性能低下の原因
 実験1：バッチ間の重複だけ高くする
• ImageNet-1Kを1回だけシャッフルし，動画と同様にSliding Windowでバッチ化
 実験2：バッチ内の類似度だけ高くする
• WT++12hを2通りの順に並べ，どちらもSliding Windowでバッチ化
• 1回シャッフルした順 / 撮影された順


# Page. 9

![Page Image](https://bcdn.docswell.com/page/YJ6M6K8M7V.jpg)

予備分析③：学習中の勾配の挙動
 バッチ内の類似度が高いと，学習の進み方はどう変化するか
• 連続する2バッチの勾配のコサイン類似度を学習中に測定
 i.i.d. MAEの値から離れるほど下流性能が低い
• i.i.d. との差：StreamMAE 0.03 < MAE (stream) 0.15 < Orthogonal-MAE 0.24


# Page. 10

![Page Image](https://bcdn.docswell.com/page/GJ5Z6P9QE4.jpg)

手法の全体像
1. Motion-biased Crop Selection
• 動きのある領域を優先してCrop
2. Stream-aware Regularization
• Color Jitter / Drop Path / DataDrop
3. MAE Reconstruction Loss
• 目的関数は通常のMAEのまま


# Page. 11

![Page Image](https://bcdn.docswell.com/page/LE39Q3YZE5.jpg)

1. Motion-biased Crop Selection
 Two-stage Cropping
• Stage1で固定サイズの領域を選び，Stage2でその中を通常のMAEのCrop
 Stage1の領域を「動きの大きさ」で選ぶ
① 連続する2フレーム
② 画素ごとの差分 𝐃𝒕
③ パッチごとに平均
④ 平均スコア最大の候補
⑤ 確率0.5で適用
各画素でRGBの差（L1距離）
を計算
パッチごとに差分を平均 → 𝑚 (𝑝)
候補ごとにパッチのスコアを
平均．赤が最大
赤：選ばれた領域
黄：MAEに入力するCrop
x_{t−1}
x_t
前フレーム 𝑥
と現フレーム 𝑥
Ω ：パッチp内の画素
𝒫(𝑐)：Crop 𝑐 内のパッチ


# Page. 12

![Page Image](https://bcdn.docswell.com/page/8EDG9454EG.jpg)

2. Stream-aware Regularization
 Color Jitter
• 色，明るさ，コントラストを変化させる
• 似たフレームでも見た目の異なる入力となり，
多様性が増加
元の画像
Jitter例1
Jitter例2
 Drop Path
残差接続だけを通す
• 学習時にTransformerのBlockをランダムにスキップ
Block
Block
Block
Block 出力
入力
1
2
3
4
• バッチ内で繰り返し現れる局所パターンへの
スキップ
過学習を抑制
スキップ確率は深いBlockほど大きい（最終Blockで0.25）
 DataDrop
• Window内のサンプルの75%をランダムに Window（B = 2048）の連続フレーム
×
×
×
×
×
除外してLossを計算
→ 25%だけでLossを計算（実効バッチサイズ 512）
• ほぼ同一のフレームへの過度な強調を抑制
×


# Page. 13

![Page Image](https://bcdn.docswell.com/page/V7P3ZMGVJ8.jpg)

実験設定・ベースライン
 学習設定
• Backbone：ViT-S/16，ViT-B/16
• Optimizer：AdamW
• 𝛽 = 0.9， 𝛽 = 0.95
• Window B = 2048→B = 512
• Stride s = 1（95hのみs = 2）
• Mask率：0.75
 事前学習データ
• WT++12h（Default）
• WT++25h/50h/95h（Scaling）
 比較手法
• MoCo v3
• DINO
• MAE
• Orthogonal-MAE
• Memory Storyboard
 参照：Standard i.i.d. MAE
※同じ反復回数


# Page. 14

![Page Image](https://bcdn.docswell.com/page/2JV4W96R7Q.jpg)

評価タスク・データセット・評価指標
 評価方法
• End-to-end Fine tuning
• Attentive Probing
 Classification (Top-1 Acc↑)
• ImageNet-1K [Deng+, CVPR2009]
• 1000クラスの物体認識
 Semantic Segmentation (mIoU↑)
• Cityscapes [Cordts+, CVPR2016]
• 屋外の街並み，事前学習データに
近いドメイン
• ADE20K [Zhou+, CVPR2017]
• 屋外の多様なシーン，異なる
ドメイン
 Depth Estimation (RMSE↓)
• KITTI [Geiger+, CVPR2012]
• 屋外の道路，事前学習データに
近いドメイン
• NYUv2 [Silberman+, ECCV2012]
• 屋内のシーン，異なるドメイン


# Page. 15

![Page Image](https://bcdn.docswell.com/page/5EG1DZN6JL.jpg)

定量的結果
 同じStream設定で学習した全ての比較手法を，5指標全てで上回る
 同じ動画のi.i.d. MAEを5指標全てでわずかに上回る
 95hのStreamで学習するとさらに向上


# Page. 16

![Page Image](https://bcdn.docswell.com/page/4JQD1LQ27P.jpg)

Ablation Study
 DataDropのみでわずかに改善
 Color Jitter / Drop Pathで大きく改善
 Motion-biased CSはCityscapes / KITTIで特に有効


# Page. 17

![Page Image](https://bcdn.docswell.com/page/K74ZRDNPE1.jpg)

スケーリング：Encoderサイズ
 StreamMAE (ViT-B) はViT-Sから大きく向上
 同じ動画のi.i.d. MAEと同等の結果が得られる


# Page. 18

![Page Image](https://bcdn.docswell.com/page/LJ1RQZ5XJG.jpg)

スケーリング：事前学習動画の長さ
 95hでは12hより全指標で性能向上
 新しい動画 vs 同じ動画の繰り返し
• 同じ動画の繰り返しでも改善するが，新しい動画の方が効果が大きい
• 視覚的な多様性の増加が重要


# Page. 19

![Page Image](https://bcdn.docswell.com/page/GJW1M95KE2.jpg)

ImageNet-1Kで学習したMAEとの比較
 ViT-S：街歩き動画だけでImageNetによる学習を
セグメンテーションでは上回る
• Cityscapes +2.1 / ADE20K +1.0 mIoU
 ViT-B：3指標とも下回る
• ADE20Kで -3.3 mIoU


# Page. 20

![Page Image](https://bcdn.docswell.com/page/4EZPQ9NNJ3.jpg)

まとめ
 長時間のStreaming Videoからの自己教師あり学習を検討
• Shuffle / Replayなしで，撮影順に1度だけ見てスクラッチで学習
 性能低下の主因はIntra-batch Similarity
• 連続バッチ間の重複（Inter-batch）は主要な原因ではない
 StreamMAEを提案
• Stream-aware Regularization + Motion-based Crop Selection
• 同じ動画のi.i.d. MAEと同等以上，ImageNet学習のMAEとも競合
• Streamの長さに応じて性能が向上