ViEW2026講演「動作認識と映像解析の 発展と最新動向」

133 Views

November 05, 26

スライド概要

ViEW2026 ビジョン技術の実利用ワークショップ
https://www.tc-iaip.org/view/2026/

profile-image

コンピュータビジョン,画像認識,パターン認識,動画像処理,医用画像処理などを専門とする.電子情報通信学会和文誌D編集委員,PRMU委員,MI委員.情報処理学会CVIM委員,GCAD委員など歴任.2001年新潟大学助手,2005年広島大学准教授.2020年名古屋工業大学教授.翻訳書に「コンピュータビジョン ―アルゴリズムと応用―」「統計的学習の基礎」「スパースモデリング」(共立出版)「Pythonで体験するベイズ推論」(森北出版).電子情報通信学会シニア会員.情報処理学会,IEEE,IEEE Computer Society等会員.

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

関連スライド

各ページのテキスト
1.

動作認識と映像解析の 発展と最新動向 玉木徹(名工大)

2.

自己紹介:玉木徹 n 2001.4〜2005.9 n 2005.10〜2020.9 n 2020.10〜 新潟大学 助手 広島大学 准教授 名古屋工業大学 教授 n 翻訳書・書籍 n 講義動画・スライド・書籍・web

3.

動画像=静止フレームの時系列 n 入力:動画像 • 時間方向の次元が増える • 時間情報や動き情報のモデ ル化が必要 • temporal modeling フレーム 動画像 2xxcpLQHZf8_000002_000012.mp4 Kinetics400 [Kay+, arXiv2017] 時間

4.

単純な動画像処理 Karol Majek CC BY 3.0 4K Road traffic video for object detection and tracking - free download now! https://www.youtube.com/watch?v=MNn9qKG2UFI 元動画 背景差分 フレーム間差分 オプティカルフロー

5.

動作認識 n 動画像理解タスクの一つ 画像認識 • 動き:motion • 動作:action, activity • 行動:behavior n 動画像の識別 カテゴリ モデル n 人間の動作を認識する 画像 モデル • Human Action Recognition (HAR) • Action Recognition (AR) カテゴリ 動作認識 • 「人が動作する映像」に限らない • 人に限定する手法もある • 人物検出や姿勢推定を併用 2xxcpLQHZf8_000002_000012.mp4 Kinetics400 [Kay+, arXiv2017]

6.

Temporal Action Localization / Detection n 時間区間の検出タスク • 開始と終了の時刻 • アクションラベル n Temporal action proposal • 各区間のクラスラベル なし • イベント部分のみを検出 ActivityNet [Heilbron+, CVPR2015]

7.

Spatio-Temporal Action Detection n 時間区間の検出タスク • 開始と終了の時刻 • Bboxとアクションラベル n 出力 • bbox / tubelet / tube • Linking • 各フレームの出力bboxを リンクしてtubeに変換 tubelet tube cli p al in g ri O eo vid Vi de o bbox [Omi+, VISAPP2025] AVA Actions [Gu+, CVP2018]

8.

Trajectory prediction / analysis n 人物の歩行軌跡の解析 • 軌跡のグループ化,予測 n 応用 • 混雑予測,人流解析 • 自動運転における歩行者予測 • 自律移動ロボットの人混み回避 Mixture of agents [Zhou+, CVPR2012] [山本ら, ViEW2004] n 予測アプローチ • LSTM, Transformer • 周囲の情報の アテンション Social LSTM [Alahi+, CVPR2016] Activity forcasting [Kitani+, ECCV2012] on YouTube

9.

Temporal Modeling

10.

時間スケール n 時間スケールの違い • 動画像理解の本質的な難しさ • 時間情報を使っている ≠ 長期的な時間依存関係を理解している n 時間スケールのモデル化 • Temporal modeling n どの時間スケールをモデル化するか? • 必要な時間スケールはタスク毎に異なる • 長尺動画ほどコンテキストが長くなる ActivityNet [Heilbron+, CVPR2015] V_CDWHstJThJA.mp4 v_hkn_RK3VSAo.mp4

11.

Short-term temporal modeling n 数フレーム〜数秒程度:連続フレーム間の局所的な動き • 例:Optical flow,人物の移動方向・速度 n アプローチ • 短い動画クリップ(8〜32 frames)を処理 n タスク • 動作認識 n 暗黙の仮定 • 行動は短時間で完結,文脈はほぼ不要 • 「歩く」「座る」は識別可能 • 「料理する」「ゴールを決める」 は難しい Kinetics-400 [Kay+, arXiv2017]

12.

Long-term temporal modeling n 数秒〜数分以上:大きく離れたイベント同士が意味 的に関係 • Temporal Context(時間的文脈) •例 • 「料理」:材料準備 → 加熱 → 盛り付け • 「ゴールを決める」:チャンス到来 → ゴール → ガッツ ポーズ 1:28 n タスク • キャプショニング,動作検出,動作セグメンテーション n 課題 2:36 • 計算量,記憶容量,冗長性 n アプローチ • スライディング・ウィンドウ方式 • 時間方向のプーリング(集約・late fusion) • 時間方向のアテンション • memoryの利用 YouTube Instructional Videos [Alayrac+, CVPR2016] coffee_0030.mp4, jump_car_0030.mp4

13.

Long-form videos n 数分〜数時間 • untrimmed,イベントが疎 • 例:映画,講義動画,監視カメラ,スポーツ中継,Vlog n タスク • 要約,VQA n 課題 • 計算量,記憶容量,冗長性 • コンテンツの要約や抽象化が必要 • オンライン処理・ ストリーミング処理が必要な場合も SoccorNet / SoccorNet-v2 [Giancola+, CVPRW2018] from https://www.youtube.com/watch?v=T8Qc39FcQ7A

14.

動作認識モデル

15.

Deep以前:Hand-crafted特徴量+識別器 n STIP (Spatio-Temporal Interest Points) • 2次元のHarris特徴点検出器を時空間に拡張 n Cuboid • 3次元特徴点周辺の直方体の特徴量 n Improved DT (IDT) • Deep以前のSoTA • 密に検出・追跡したSIFT特徴点 周辺の特徴量(HOG, HOF, etc) のBoF DT [Wang&Schmid, ICCV2013] IDT [Wang+, IJCV, 2013] STIP [Laptev&Lindeberg, ICCV2003] [Laptev, IJCV, 2005] Cuboid [Dollar+, VSPETS2005]

16.

CNNによる画像認識 n LeNet [LeCun+, Proc. IEEE, 1998] n AlexNet [Krizhevsky+, NIPS2012] • 大きい少数のフィルタから,小さい多数のフィルタへ n VGG [Simonyan&Zisserman, ICLR2015] • 大きいフィルタ1回を小さいフィルタ数回で代用 Gorlapraveen CC BY-SA 4.0 n GoogLeNet / Inception [Szegedy+, CVPR2015] • Inceptionモジュール:複数サイズのフィルタ+1x1による圧縮 n ResNet [He+, CVPR2016] • スキップ接続を導入,層数も100以上

17.

CNNの初期モデル n Two-Stream network • 2D CNNを利用した最初期モデル • RGB+オプティカルフロー • RGB:フレーム1枚 • フロー:複数フレームのスタック • 短期の時間的モデリング n Temporal Segment Networks • 単純な工夫:クリップを分割 • Two-stream x 2 • 長期の時間的モデリング • late-fusion Two-Stream Network [Simonyan&Zisserman, NIPS2014] TSN [Wang+, ECCV2016]

18.

Fusion:フレーム毎に2D CNNを適用 [Karpathy+, CVPR2014] n Single frame • 1フレームだけに適用 n Late fusion • 各フレームで特徴抽出,最後に時間方向に 集約 • 単純な時間平均 • 1D CNN, Transformer n Early fusion • 複数フレームを一度に入力 n Slow fusion • ネットワーク中で徐々に統合

19.

3D CNNモデル I3D [Carreira&Zisserman, CVPR2017] n C3D • 3D convの最初の利用 C3D [Tran+, ICCV2015] n I3D • Two-Stream+3D CNN(RGBもフローも) • ImageNet事前学習済みの2D CNNのフィルタを時間方向に コピー(inflating)して3D CNNの初期値に使用 Slow pathway (3D ResNet) n 3D ResNet [Hara+, CVPR2018] • ResNetの3D版 Fast pathway n SlowFast • 異なる時間解像度の2ストリーム + lateral connection n X3D • SlowFastのFastをベースにNAS探索 • 非常に軽量な3D CNN X3D [Feichtenhofer, CVPR2020] SlowFast [Feichtenhofer+, ICCV2019]

20.

(2+1)D型のCNN n 3D Convの計算量削減 • 空間方向2D convと時間方向の1D convを組み合わせる n Separable convの代表例 • P3D [Qiu+, ICCV2017] • S3D [Xie+, ECCV2018] • R(2+1)D [Tran+, CVPR2018] • R3Dも比較(3D ResNetのこと) n モジュールの中で2D/1D conv S3D [Xie+, ECCV2018] R(2+1)D [Tran+, CVPR2018] • P3D, S3D n 層ごとに2Dと3Dを分ける • S3D,MCx/rMCx P3D [Qiu+, ICCV2017]

21.

Vision Transformer (ViT) n Transformerを画像に適用 • 高性能が出た最初の事例 n Transformerのエンコーダを利用 • 画像をパッチに分割してトークン化 • CNNを使わず輝度値を線形変換 • 大規模データセットで事前学習 • 大規模になればなるほど高性能 [Dosovitskiy+, ICLR 2021]

22.

(2+1)D型のViT n フレーム毎にViT+late fusion Transformer n 𝑂 𝑁 ! のアテンションの計算量削減 • 空間方向と時間方向のTransformerを組み合わせる Video Transformer Network [Neimark+, CVPRW2021] STAM [Sharir+, arXiv2021] ViViT Model 2 [Arnab+, ICCV2021]

23.

アテンションの制限 n アテンションを前後フレームに制限 • X-ViT n Transformerブロック内で (2+1)Dアテンション • 空間:同じフレーム内のパッチ • 時間:異なるフレーム同じ位置のパッチ • VidTr, TimeSformer TimeSformer [Bertasius+, ICML2021] X-ViT [Bulat+, NeurIPS2021] VidTr [Zhang+, ICCV2021]

24.

3D型 ViT n ViTへのパッチを3Dにする ViViT Model 1 [Arnab+, ICCV2021] • ViViT n レイヤごとに3Dパッチ • +グループをずらす • Video Swin Transformer n MAEの動画像への拡張 • 3DパッチをMasked Language Modelを学習 • VideMAE, VideoMAEv2 VideoMAE [Tong+, NeurIPS2022] VideoMAE v2 [Wang+, CVPR2023] Video Swin Transformer [Liu+, CVPR2022]

25.

マルチモーダルViT OmniMAE [Girdhar+, CVPR2023] n モダリティ毎にパッチ分割 • 1つのTransformerで認識 • 画像,動画,奥行き,音声,etc PolyViT [Likhosherstov+, arXiv2021] Omnivore [Girdhar+, CVPR2022]

26.

CLIP [Radford+, ICML2021] n CLIP (Contrastive LanguageImage Pre-training) • エンコーダ • 画像:Vision Transformer (ViT) [Dosovitskiy+, ICLR 2021] • テキスト:12層Transformer • 損失: • N-pair lossを用いたITC n Zero-shotへの応用 • 学習済みVLPモデルとして そのまま下流タスクで利用 • 事前学習は大規模データ • fine-tuningなしでzero-shot認識

27.

(2+1)D型のCLIPでzero-shot動作認識 X-CLIP [Ni+, ECCV2022] n 時間方向アテンション • X-CLIP n Late-fusion • Transformer: X-CLIP • 時間平均: A5, ViFi-CLIP • +プロンプト学習 ViFi-CLIP [Rasheed+, CVPR2023] A5 [Ju+, ECCV2022]

28.

特徴量シフトによる時間方向のモデル化 TSM [Lin+, ICCV2019] n 時間方向kに特徴量をシフト • frame-wise 2D & Late fusion • 中間特徴量を前後の時刻で入れ替え • 固定カーネルの時間方向1D畳み 込み n Temporal Shift Module (TSM) [Lin+, ICCV2019] late fusion layer layer layer shift shift shift layer layer layer shift shift shift layer layer layer shift shift shift n Token Shift Transformer [Zhang+, ACMMM2021] • TSMをTransformerのCLSトークン に適用 n MSCA [Hashiguchi&Tamaki, ACCVW2022] • 自己アテンションの一部を前後のフ レームに適用 Token Shift Transformer [Zhang+, ACMMM2021] MSCA

29.

動画像とは何か

30.

フレームをシャッフルしても性能が落ちない n 「動画像は時間情報が重要」は本当か? • フレームをシャッフルしてもそれほど性能は落ちない データセットが多い [Hara+, CVPRW2021] • 層が深いほど時間情報は失われる • フレーム順序の予測性能が落ちる [Yun+, ICML2022] 3D ResNet from scratch [Hara+, CVPRW2021] Time Is MattEr [Yun+, ICML2022]

31.

時間情報を考慮しなくても性能が落ちない n 「動画像は時間情報が重要」は本当か? n フレーム毎+時間平均 • 各フレームを独立に2Dモデルで特徴抽出 • late fusionでは時間平均 • これでそこそこの性能が出てしまう n 1フレームだけで認識 • これでそこそこの性能が出てしまう • Single frame bias [Lei+, ACL2023] 中央1フレームだけ使用+linear probe [Radford+, ICML2021] frame-wise 2D ViT [Zhang+, ACMMM2021]

32.

静止画像でも「動作」は予測できる n 静止画1枚のアク ションを推定する研 究領域もある • "action recognition in a still image" [Guo&Lai, PR, 2014]

33.

Representation bias [Li+, ECCV2018] n カテゴリとは関係ない情報で予測ができ てしまう • Background bias / scene bias / static bias / object bias n これまで研究されていること • 調査 [He+, ECCVW2016] • 損失の提案 [Choi+, NeurIPS2019] • データセットの提案 [Weinzaepfel&Rogez, IJCV, 2021] [Li+, ECCV2018] Human Action Recognition without Human [He+, ECCVW2016] Why Can’t I Dance in the Mall? [Choi+, NeurIPS2019] Mimetics [Weinzaepfel&Rogez, IJCV, 2021] singing swimming

34.

ObjectMix [Kimata+, MMAsia2022] n セグメンテーションした領域を貼り付け 従来手法 VideoMix • セグメンテーション用の手法を拡張 • Copy-Paste [Ghiasi+, CVPR2021] • CutPaste [Li+, CVPR2021] • 時間方向の不連続性 • 時間方向へのOR演算で領域を拡張 提案手法 ObjectMix each frame temporal OR ObjectMix ObjectMix+or

35.

S3Aug [Sugiura&Tamaki, VISAPP2024] n バイアスへの対策:セグメンテーションラベルから動画生成 • Segmentation:フレーム毎にセグメンテーション • Sampling:セグメンテーションラベルをランダムに変更 • Label-to-Image:ラベル画像から実画像へ変換 • Shift:特徴量シフトによる時間方向の不連続性の除去 label frames w/o shift w shift

36.

Object-ABN [Nitta+, IEICE-ED, 2022] n アテンション機構 • 入力データの注目するべき所を決める • Transformer (Vaswani+, NIPS2017) 入力動画像 • 動画認識にも利用されている • GTA (He+, BMVC2021) • Non-Local Neural Network (Wang+, CVPR2018) • アテンションマップが説明可能AIなどに使われる • ABN (Fukui+, CVPR2019) n Object-ABN 従来手法 ABN • シャープな アテンション を生成 提案手法 Object-ABN

37.

LEAPS:動的パッチの選択 [Fukuzawa+, IEEE Access 2026] n VideoMAEの最終層のアテンション エントロピーが動作らしさに対応 • 動的パッチ:エントロピー低 • 背景パッチ:エントロピー高 𝑄 LEAPS 低 高 元動画 𝐼 keep Locality scores Base Model LEAP Video 3D patch embeddings 𝐸 embeddings 𝑦! 動的パッチ

38.

動作と背景を入れ替えた動画生成 サッカー場で サッカー [杉本ら, ViEW2026] [杉本ら, MIRU2026] 野球場で サッカー 野球場で 野球 サッカー場で 野球 ベースモデル:Helios-Base [Yuan+, arXiv, 2026]

39.

VLMによる動画像解析

40.

VLM, MLLM n Vision Language Model, Multimodal LLM • 複数モーダルのトークンを 並列にLLMに入力 n 要素 • エンコーダ • text encoder • visual encoder • image, video, etc • projector / connector • エンコーダとLLMの ギャップを吸収 • MLP, Q-Former, cross attention • LLM [Yin+, NSR, 2024]

41.

Qwen3-VL [Bai+, arXiv, 2025] n 動画も扱うオープンモデル VLM • 入力トークンをearly fusion n Qwen2-VL • 2FPSでサンプリング,2フ レームで畳み込み,最大16k トークン,MRoPE導入 n Qwen2.5-VL • 可変長FPS,複数フレームの キャプションをLLMで統合 n Qwen3-VL • タイムスタンプ文字列を導入 • 多重解像度特徴量の利用 エンコーダ:ViT Qwen-VL:画像用

43.

長尺動画への対応:オフラインとオンライン n フレームサンプリング • 一様・非一様サンプリング • プロンプトに応じてサンプリング VideoITG [Wang+, CVPR2026] EventMemAgent [Wen+, ECCV2026] n メモリの利用 • 生成テキスト,画像,特徴量 StreamAgent [Yang+, arXiv, 2025]

44.

証拠フレームを探すLong Video QA [Ding+, ACCV2026] n 証拠フレームのグラフ(Evidence Graph, EviGraph) • 質問をcore / sub-needsに分解,グラフ生成 • sub-needsごとにスコアリング +2-2 -2 -2 0 0 0 0 ABCD Q: What is the animal in the first scene that appears after the opening cloud scene? n01 0.92 0.92 n03 ABCD 0.89 +10 0 0 n07 ABCD Evidence Graph 0.90 0 0 0 +2 n02 core ABCD n04 0.31 n05 n06 15:00 20:00 precedes supports contradicts not selected 0 0 0 +2 ABCD 05:00 Answer input: N frames N/2 BLIP relevance-ranked 10:00 25:00 78:43 N/2 graph-node ranking ... ... Answer VLM model frames + question + option (D) deer

45.

メモリを用いたLong Video QA n 証拠フレームの探索 n メモリの利用 • 画像メモリ,イベントメモリ n 複数エージェント による推論 [大島ら, ViEW2026]

46.

動画像解析の今後

47.

商用AI:速度とコストの問題 n 商用AI (ChatGPT, Claude, Gemini, etc) の高性能化 • Youtube動画ならGemini on Chromeが無料で高速 n 性能は高いが,商用AIにすべてを任せられない • コストの問題 • 動画像は消費トークンが膨大(内部処理は不明) • トークン単価はベンダ(Open AI, Anthoropic, etc)依存 • Anthoropic 2026/1〜9 売上5兆円,支出140兆円(NHKニュース 2026/11/3) • 速度の問題 • オフライン処理には対応, • オンライン・ストリーミング・リアルタイム処理は難しい n ハイブリッド利用の増加 • ローカル・オープンモデルのエンコーダで解析 • LLM部分は商用AIをAPI利用

48.

商用AIアノテーション+ローカルモデル推論 n 試合全体のBadminton Full Match Dense(BFMD)データ [Ding+, CVSports2026] セット • 20時間以上 • シングルス・ダブルス19試合 • ラリー1,687回 • ヒット16,751回 [PLAYER]はジャンプして高い打点でシャトルを頭上から捉え、最 大限の下向きの威力と速度を生み出すことで、相手コートへの攻 撃的なショットによって得点を決める、あるいは相手にプレッ シャーをかけることを狙う。 n 試合全体のVQAデータセット [Ding+, MMSports’26] BadmintonQA • シングルス・ダブルス19試合 • 533問の4択問題 Q: 第1ゲームから第2ゲームにかけて、Kunlavut Vitidsarnの「ネット−リフト−スマッシュ攻撃」 の使用頻度はどのように変化しましたか? A. より頻繁に使うようになった B. ほぼ同じ頻度で使った C. どちらのゲームでもほとんど使わなかった D. 使用頻度が減った

49.

ショットと戦術のキャプション n バドミントン試合映像 のキャプション生成 n 2種類のキャプション を生成 • ショットの説明 • 戦術的な説明 戦術的な説明:一連のラリーは、[PLAYER]がクロス方向へスマッシュを打ち、 続いて[PLAYER]がクロス方向へリフトを返しながら、サイド・バイ・サイド の守備陣形へ移行するところから始まる。 その後、ネットプレーを挟んで戦術的な展開が一時的に途切れるが、再び [PLAYER]がクロス方向へリフトを打ち、サイド・バイ・サイドの陣形へ移行 する。 さらに[PLAYER]がクロス方向へリフトを返してサイド・バイ・サイドの陣形 を形成し、その後、[PLAYER]によるクロススマッシュ、さらに別のクロスス マッシュへと展開する。スマッシュに対しては、再びサイド・バイ・サイド の守備陣形へ移行して対応している。 [Ding+, MMSports’25]

50.

プレー区間のキャプション [Tanaka+, ACCVW2026] n スポーツには一連の流れ(Phase-of-Play, PoP)がある • サッカー:スローイン,パス,シュート,ゴール n PoP単位でのキャプション生成 PoP Segment Soccer Event SDVC PoP-DVC Throw-in short passes Turnover Time: 33:42 "[TEAM] exchange some short passes over a small area [TEAM]は狭いエリアで短いパスを何本か交換し、試合 and control the game. Now they make a mistake and lose をコントロールしている。しかし、ミスをしてボール the ball and the whole situation changes completely." を失い、状況が一変する。 Poor cross Shot Goal Time: 34:24 "[PLAYER] ([TEAM]) flights [PLAYER]([TEAM])がクロスを上げるが、ディ inフェンダーが素早く反応し、安全な場所へクリア the cross, but the defender is alert and clears to safety. する。 Time: 33:29~34:40 "[PLAYER] delivers a throw-in from the touchline toward the center of the field, with ([TEAM]) players positioning for reception. [TEAM] [PLAYER]がタッチラインからフィールド中央に向けてスローインを入れ、([TEAM])の選手たちがボールを受ける位 exchange some short passes over a small area and control the game, then make a mistake and lose the ball. [PLAYER] ([TEAM]) flies in the 置に入る。[TEAM]は狭いエリアで短いパスを何本か交換し、試合をコントロールするが、その後ミスをしてボールを失 cross, but the defender is alert and clears to safety. [PLAYER] takes a shot on target, resulting in a goal for ([TEAM]). [PLAYER] scores a う。[PLAYER]([TEAM])がクロスを上げるが、ディフェンダーが素早く反応し、安全な場所へクリアする。[PLAYER] goal for ([TEAM])." が枠内にシュートを放ち、([TEAM])のゴールにつながる。[PLAYER]が([TEAM])のためにゴールを決める。 T

51.

スタイルの異なるキャプション生成 [Oshima+, MMSports’26] n 分かりやすい初心者用,戦術的なコーチ用,放送解説者用 初心者向け: [PLAYER]([TEAM])が中央を素早く駆け上がり、味方にパスします。味方の選手はゴールに向かってドリブルし ますが、ボールはコートの外に出てしまいます。ボールがコートの外に出たところでプレーは終了します。 戦術的な説明: [PLAYER]([TEAM])が右のハーフスペースへ斜めに進入し、加速してディフェンダーをかわします。[TEAM]は横 方向にスライドして対応しますが、[PLAYER]([TEAM])はスピードを維持したままエンドライン方向へ仕掛けま す。最後はタッチライン付近でボールがコートの外に出て、攻撃が終了します。 放送用: [PLAYER]([TEAM])、スピードに乗って中央を駆け上がります。方向を変えながら相手をかわして前進。[TEAM] が前から激しくプレッシャーをかけるなか、[PLAYER]([TEAM])がさらに加速して切り返します。最後はタッチ ライン付近でボールがコートの外に出て、プレーが止まりました。

52.

ACCV2026チュートリアル 来週火曜 12/15 大阪 https://ning-d.github.io/accv2026-sports-tutorial/