---
title: ViEW2026講演「動作認識と映像解析の発展と最新動向」
tags: 
author: [Toru Tamaki](https://www.docswell.com/user/tttamaki)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/8EDGWLRNEG.jpg?width=480
description: ViEW2026 ビジョン技術の実利用ワークショップ https://www.tc-iaip.org/view/2026/
published: November 05, 26
canonical: https://www.docswell.com/s/tttamaki/ZQ2PQN-view2026-12-04
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/8EDGWLRNEG.jpg)

動作認識と映像解析の
発展と最新動向
玉木徹（名工大）


# Page. 2

![Page Image](https://bcdn.docswell.com/page/V7P392WNJ8.jpg)

自己紹介：玉木徹
n 2001.4〜2005.9
n 2005.10〜2020.9
n 2020.10〜
新潟大学 助手
広島大学 准教授
名古屋工業大学 教授
n 翻訳書・書籍
n 講義動画・スライド・書籍・web


# Page. 3

![Page Image](https://bcdn.docswell.com/page/2JV4MD8Y7Q.jpg)

動画像＝静止フレームの時系列
n 入力：動画像
• 時間方向の次元が増える
• 時間情報や動き情報のモデ
ル化が必要
• temporal modeling
フレーム
動画像
2xxcpLQHZf8_000002_000012.mp4
Kinetics400 [Kay+, arXiv2017]
時間


# Page. 4

![Page Image](https://bcdn.docswell.com/page/5EG1GY5WJL.jpg)

単純な動画像処理
Karol Majek CC BY 3.0 4K Road traffic video for object detection and tracking - free download now!
https://www.youtube.com/watch?v=MNn9qKG2UFI
元動画
背景差分
フレーム間差分
オプティカルフロー


# Page. 5

![Page Image](https://bcdn.docswell.com/page/4JQDXMZQ7P.jpg)

動作認識
n 動画像理解タスクの一つ
画像認識
• 動き：motion
• 動作：action, activity
• 行動：behavior
n 動画像の識別
カテゴリ
モデル
n 人間の動作を認識する
画像
モデル
• Human Action Recognition (HAR)
• Action Recognition (AR)
カテゴリ
動作認識
• 「人が動作する映像」に限らない
• 人に限定する手法もある
• 人物検出や姿勢推定を併用
2xxcpLQHZf8_000002_000012.mp4
Kinetics400 [Kay+, arXiv2017]


# Page. 6

![Page Image](https://bcdn.docswell.com/page/K74Z6V3YE1.jpg)

Temporal Action Localization / Detection
n 時間区間の検出タスク
• 開始と終了の時刻
• アクションラベル
n Temporal action
proposal
• 各区間のクラスラベル
なし
• イベント部分のみを検出
ActivityNet [Heilbron+, CVPR2015]


# Page. 7

![Page Image](https://bcdn.docswell.com/page/LJ1RV31NJG.jpg)

Spatio-Temporal Action Detection
n 時間区間の検出タスク
• 開始と終了の時刻
• Bboxとアクションラベル
n 出力
• bbox / tubelet / tube
• Linking
• 各フレームの出力bboxを
リンクしてtubeに変換
tubelet
tube
cli
p
al
in
g
ri
O
eo
vid
Vi
de
o
bbox
[Omi+, VISAPP2025]
AVA Actions [Gu+, CVP2018]


# Page. 8

![Page Image](https://bcdn.docswell.com/page/GJW1LP9ME2.jpg)

Trajectory prediction / analysis
n 人物の歩行軌跡の解析
• 軌跡のグループ化，予測
n 応用
• 混雑予測，人流解析
• 自動運転における歩行者予測
• 自律移動ロボットの人混み回避
Mixture of agents [Zhou+, CVPR2012]
[山本ら, ViEW2004]
n 予測アプローチ
• LSTM, Transformer
• 周囲の情報の
アテンション
Social LSTM [Alahi+, CVPR2016]
Activity forcasting [Kitani+, ECCV2012] on YouTube


# Page. 9

![Page Image](https://bcdn.docswell.com/page/4EZPMK9MJ3.jpg)

Temporal Modeling


# Page. 10

![Page Image](https://bcdn.docswell.com/page/Y76MNQK5EV.jpg)

時間スケール
n 時間スケールの違い
• 動画像理解の本質的な難しさ
• 時間情報を使っている
≠ 長期的な時間依存関係を理解している
n 時間スケールのモデル化
• Temporal modeling
n どの時間スケールをモデル化するか？
• 必要な時間スケールはタスク毎に異なる
• 長尺動画ほどコンテキストが長くなる
ActivityNet [Heilbron+, CVPR2015]
V_CDWHstJThJA.mp4 v_hkn_RK3VSAo.mp4


# Page. 11

![Page Image](https://bcdn.docswell.com/page/G75Z5RPGJ4.jpg)

Short-term temporal modeling
n 数フレーム〜数秒程度：連続フレーム間の局所的な動き
• 例：Optical flow，人物の移動方向・速度
n アプローチ
• 短い動画クリップ（8〜32 frames）を処理
n タスク
• 動作認識
n 暗黙の仮定
• 行動は短時間で完結，文脈はほぼ不要
• 「歩く」「座る」は識別可能
• 「料理する」「ゴールを決める」
は難しい
Kinetics-400 [Kay+, arXiv2017]


# Page. 12

![Page Image](https://bcdn.docswell.com/page/9J2RND6D7R.jpg)

Long-term temporal modeling
n 数秒〜数分以上：大きく離れたイベント同士が意味
的に関係
• Temporal Context（時間的文脈）
•例
• 「料理」：材料準備 → 加熱 → 盛り付け
• 「ゴールを決める」：チャンス到来 → ゴール → ガッツ
ポーズ
1:28
n タスク
• キャプショニング，動作検出，動作セグメンテーション
n 課題
2:36
• 計算量，記憶容量，冗長性
n アプローチ
• スライディング・ウィンドウ方式
• 時間方向のプーリング（集約・late fusion）
• 時間方向のアテンション
• memoryの利用
YouTube Instructional Videos
[Alayrac+, CVPR2016]
coffee_0030.mp4, jump_car_0030.mp4


# Page. 13

![Page Image](https://bcdn.docswell.com/page/DEYDP29MEM.jpg)

Long-form videos
n 数分〜数時間
• untrimmed，イベントが疎
• 例：映画，講義動画，監視カメラ，スポーツ中継，Vlog
n タスク
• 要約，VQA
n 課題
• 計算量，記憶容量，冗長性
• コンテンツの要約や抽象化が必要
• オンライン処理・
ストリーミング処理が必要な場合も
SoccorNet / SoccorNet-v2 [Giancola+, CVPRW2018]
from https://www.youtube.com/watch?v=T8Qc39FcQ7A


# Page. 14

![Page Image](https://bcdn.docswell.com/page/VJN658L3J8.jpg)

動作認識モデル


# Page. 15

![Page Image](https://bcdn.docswell.com/page/YE9LYK4P73.jpg)

Deep以前：Hand-crafted特徴量＋識別器
n STIP (Spatio-Temporal Interest Points)
• 2次元のHarris特徴点検出器を時空間に拡張
n Cuboid
• 3次元特徴点周辺の直方体の特徴量
n Improved DT (IDT)
• Deep以前のSoTA
• 密に検出・追跡したSIFT特徴点
周辺の特徴量（HOG, HOF, etc）
のBoF
DT [Wang&Schmid, ICCV2013]
IDT [Wang+, IJCV, 2013]
STIP [Laptev&Lindeberg, ICCV2003]
[Laptev, IJCV, 2005]
Cuboid [Dollar+, VSPETS2005]


# Page. 16

![Page Image](https://bcdn.docswell.com/page/GE8X6RQXJD.jpg)

CNNによる画像認識
n LeNet [LeCun+, Proc. IEEE, 1998]
n AlexNet [Krizhevsky+, NIPS2012]
• 大きい少数のフィルタから，小さい多数のフィルタへ
n VGG [Simonyan&Zisserman, ICLR2015]
• 大きいフィルタ1回を小さいフィルタ数回で代用
Gorlapraveen CC BY-SA 4.0
n GoogLeNet / Inception [Szegedy+, CVPR2015]
• Inceptionモジュール：複数サイズのフィルタ＋1x1による圧縮
n ResNet [He+, CVPR2016]
• スキップ接続を導入，層数も100以上


# Page. 17

![Page Image](https://bcdn.docswell.com/page/LEL89KXN7R.jpg)

CNNの初期モデル
n Two-Stream network
• 2D CNNを利用した最初期モデル
• RGB＋オプティカルフロー
• RGB：フレーム1枚
• フロー：複数フレームのスタック
• 短期の時間的モデリング
n Temporal Segment Networks
• 単純な工夫：クリップを分割
• Two-stream x 2
• 長期の時間的モデリング
• late-fusion
Two-Stream Network
[Simonyan&Zisserman, NIPS2014]
TSN [Wang+, ECCV2016]


# Page. 18

![Page Image](https://bcdn.docswell.com/page/4JM6Z2LQEW.jpg)

Fusion：フレーム毎に2D CNNを適用
[Karpathy+, CVPR2014]
n Single frame
• 1フレームだけに適用
n Late fusion
• 各フレームで特徴抽出，最後に時間方向に
集約
• 単純な時間平均
• 1D CNN, Transformer
n Early fusion
• 複数フレームを一度に入力
n Slow fusion
• ネットワーク中で徐々に統合


# Page. 19

![Page Image](https://bcdn.docswell.com/page/PJRP6MKKE9.jpg)

3D CNNモデル
I3D [Carreira&Zisserman, CVPR2017]
n C3D
• 3D convの最初の利用
C3D [Tran+, ICCV2015]
n I3D
• Two-Stream＋3D CNN（RGBもフローも）
• ImageNet事前学習済みの2D CNNのフィルタを時間方向に
コピー（inflating）して3D CNNの初期値に使用
Slow pathway (3D ResNet)
n 3D ResNet [Hara+, CVPR2018]
• ResNetの3D版
Fast pathway
n SlowFast
• 異なる時間解像度の2ストリーム + lateral connection
n X3D
• SlowFastのFastをベースにNAS探索
• 非常に軽量な3D CNN
X3D [Feichtenhofer, CVPR2020]
SlowFast [Feichtenhofer+, ICCV2019]


# Page. 20

![Page Image](https://bcdn.docswell.com/page/PEX3MVL5JX.jpg)

(2+1)D型のCNN
n 3D Convの計算量削減
• 空間方向2D convと時間方向の1D
convを組み合わせる
n Separable convの代表例
• P3D [Qiu+, ICCV2017]
• S3D [Xie+, ECCV2018]
• R(2+1)D [Tran+, CVPR2018]
• R3Dも比較（3D ResNetのこと）
n モジュールの中で2D/1D conv
S3D [Xie+, ECCV2018]
R(2+1)D [Tran+, CVPR2018]
• P3D, S3D
n 層ごとに2Dと3Dを分ける
• S3D，MCx/rMCx
P3D [Qiu+, ICCV2017]


# Page. 21

![Page Image](https://bcdn.docswell.com/page/3EKYGQLRJD.jpg)

Vision Transformer (ViT)
n Transformerを画像に適用
• 高性能が出た最初の事例
n Transformerのエンコーダを利用
• 画像をパッチに分割してトークン化
• CNNを使わず輝度値を線形変換
• 大規模データセットで事前学習
• 大規模になればなるほど高性能
[Dosovitskiy+, ICLR 2021]


# Page. 22

![Page Image](https://bcdn.docswell.com/page/L739NP3G75.jpg)

(2+1)D型のViT
n フレーム毎にViT＋late fusion Transformer
n 𝑂 𝑁 ! のアテンションの計算量削減
• 空間方向と時間方向のTransformerを組み合わせる
Video Transformer Network
[Neimark+, CVPRW2021]
STAM [Sharir+, arXiv2021]
ViViT Model 2 [Arnab+, ICCV2021]


# Page. 23

![Page Image](https://bcdn.docswell.com/page/87DGWL4N7G.jpg)

アテンションの制限
n アテンションを前後フレームに制限
• X-ViT
n Transformerブロック内で
(2+1)Dアテンション
• 空間：同じフレーム内のパッチ
• 時間：異なるフレーム同じ位置のパッチ
• VidTr, TimeSformer
TimeSformer [Bertasius+, ICML2021]
X-ViT [Bulat+, NeurIPS2021]
VidTr [Zhang+, ICCV2021]


# Page. 24

![Page Image](https://bcdn.docswell.com/page/VJP392MNE8.jpg)

3D型 ViT
n ViTへのパッチを3Dにする
ViViT Model 1 [Arnab+, ICCV2021]
• ViViT
n レイヤごとに3Dパッチ
• ＋グループをずらす
• Video Swin Transformer
n MAEの動画像への拡張
• 3DパッチをMasked Language
Modelを学習
• VideMAE, VideoMAEv2
VideoMAE [Tong+, NeurIPS2022]
VideoMAE v2 [Wang+, CVPR2023]
Video Swin Transformer [Liu+, CVPR2022]


# Page. 25

![Page Image](https://bcdn.docswell.com/page/2EV4MD9YJQ.jpg)

マルチモーダルViT
OmniMAE [Girdhar+, CVPR2023]
n モダリティ毎にパッチ分割
• 1つのTransformerで認識
• 画像，動画，奥行き，音声，etc
PolyViT [Likhosherstov+, arXiv2021]
Omnivore [Girdhar+, CVPR2022]


# Page. 26

![Page Image](https://bcdn.docswell.com/page/57G1GYZWEL.jpg)

CLIP
[Radford+, ICML2021]
n CLIP (Contrastive LanguageImage Pre-training)
• エンコーダ
• 画像：Vision Transformer (ViT)
[Dosovitskiy+, ICLR 2021]
• テキスト：12層Transformer
• 損失：
• N-pair lossを用いたITC
n Zero-shotへの応用
• 学習済みVLPモデルとして
そのまま下流タスクで利用
• 事前学習は大規模データ
• fine-tuningなしでzero-shot認識


# Page. 27

![Page Image](https://bcdn.docswell.com/page/4EQDXMLQJP.jpg)

(2+1)D型のCLIPでzero-shot動作認識
X-CLIP [Ni+, ECCV2022]
n 時間方向アテンション
• X-CLIP
n Late-fusion
• Transformer: X-CLIP
• 時間平均: A5, ViFi-CLIP
• ＋プロンプト学習
ViFi-CLIP [Rasheed+, CVPR2023]
A5 [Ju+, ECCV2022]


# Page. 28

![Page Image](https://bcdn.docswell.com/page/KJ4Z6VDY71.jpg)

特徴量シフトによる時間方向のモデル化
TSM [Lin+, ICCV2019]
n 時間方向kに特徴量をシフト
• frame-wise 2D & Late fusion
• 中間特徴量を前後の時刻で入れ替え
• 固定カーネルの時間方向1D畳み
込み
n Temporal Shift Module (TSM)
[Lin+, ICCV2019]
late fusion
layer
layer
layer
shift
shift
shift
layer
layer
layer
shift
shift
shift
layer
layer
layer
shift
shift
shift
n Token Shift Transformer [Zhang+,
ACMMM2021]
• TSMをTransformerのCLSトークン
に適用
n MSCA [Hashiguchi&Tamaki, ACCVW2022]
• 自己アテンションの一部を前後のフ
レームに適用
Token Shift Transformer
[Zhang+, ACMMM2021]
MSCA


# Page. 29

![Page Image](https://bcdn.docswell.com/page/LE1RV3ZNEG.jpg)

動画像とは何か


# Page. 30

![Page Image](https://bcdn.docswell.com/page/GEW1LP6M72.jpg)

フレームをシャッフルしても性能が落ちない
n 「動画像は時間情報が重要」は本当か？
• フレームをシャッフルしてもそれほど性能は落ちない
データセットが多い [Hara+, CVPRW2021]
• 層が深いほど時間情報は失われる
• フレーム順序の予測性能が落ちる [Yun+, ICML2022]
3D ResNet from scratch
[Hara+, CVPRW2021]
Time Is MattEr [Yun+, ICML2022]


# Page. 31

![Page Image](https://bcdn.docswell.com/page/47ZPMKYME3.jpg)

時間情報を考慮しなくても性能が落ちない
n 「動画像は時間情報が重要」は本当か？
n フレーム毎＋時間平均
• 各フレームを独立に2Dモデルで特徴抽出
• late fusionでは時間平均
• これでそこそこの性能が出てしまう
n 1フレームだけで認識
• これでそこそこの性能が出てしまう
• Single frame bias [Lei+, ACL2023]
中央1フレームだけ使用＋linear probe [Radford+, ICML2021]
frame-wise
2D ViT
[Zhang+, ACMMM2021]


# Page. 32

![Page Image](https://bcdn.docswell.com/page/YJ6MNQD57V.jpg)

静止画像でも「動作」は予測できる
n 静止画1枚のアク
ションを推定する研
究領域もある
• "action recognition in a
still image"
[Guo&Lai, PR, 2014]


# Page. 33

![Page Image](https://bcdn.docswell.com/page/GJ5Z5R3GE4.jpg)

Representation bias
[Li+, ECCV2018]
n カテゴリとは関係ない情報で予測ができ
てしまう
• Background bias / scene bias / static bias /
object bias
n これまで研究されていること
• 調査 [He+, ECCVW2016]
• 損失の提案 [Choi+, NeurIPS2019]
• データセットの提案 [Weinzaepfel&Rogez, IJCV, 2021] [Li+, ECCV2018]
Human Action Recognition without Human
[He+, ECCVW2016]
Why Can’t I Dance in the Mall? [Choi+, NeurIPS2019]
Mimetics [Weinzaepfel&Rogez, IJCV, 2021]
singing
swimming


# Page. 34

![Page Image](https://bcdn.docswell.com/page/LE39NP6PE5.jpg)

ObjectMix
[Kimata+, MMAsia2022]
n セグメンテーションした領域を貼り付け
従来手法 VideoMix
• セグメンテーション用の手法を拡張
• Copy-Paste [Ghiasi+, CVPR2021]
• CutPaste [Li+, CVPR2021]
• 時間方向の不連続性
• 時間方向へのOR演算で領域を拡張
提案手法 ObjectMix
each
frame
temporal
OR
ObjectMix
ObjectMix+or


# Page. 35

![Page Image](https://bcdn.docswell.com/page/8EDGWLV3EG.jpg)

S3Aug
[Sugiura&Tamaki, VISAPP2024]
n バイアスへの対策：セグメンテーションラベルから動画生成
• Segmentation：フレーム毎にセグメンテーション
• Sampling：セグメンテーションラベルをランダムに変更
• Label-to-Image：ラベル画像から実画像へ変換
• Shift：特徴量シフトによる時間方向の不連続性の除去
label frames
w/o shift
w shift


# Page. 36

![Page Image](https://bcdn.docswell.com/page/V7P392VPJ8.jpg)

Object-ABN
[Nitta+, IEICE-ED, 2022]
n アテンション機構
• 入力データの注目するべき所を決める
• Transformer (Vaswani+, NIPS2017)
入力動画像
• 動画認識にも利用されている
• GTA (He+, BMVC2021)
• Non-Local Neural Network (Wang+, CVPR2018)
• アテンションマップが説明可能AIなどに使われる
• ABN (Fukui+, CVPR2019)
n Object-ABN
従来手法
ABN
• シャープな
アテンション
を生成
提案手法
Object-ABN


# Page. 37

![Page Image](https://bcdn.docswell.com/page/2JV4MDZV7Q.jpg)

LEAPS：動的パッチの選択
[Fukuzawa+, IEEE Access 2026]
n VideoMAEの最終層のアテンション
エントロピーが動作らしさに対応
• 動的パッチ：エントロピー低
• 背景パッチ：エントロピー高
𝑄
LEAPS
低
高
元動画
𝐼 keep
Locality
scores
Base Model
LEAP
Video
3D patch
embeddings 𝐸
embeddings
𝑦!
動的パッチ


# Page. 38

![Page Image](https://bcdn.docswell.com/page/5EG1GY41JL.jpg)

動作と背景を入れ替えた動画生成
サッカー場で
サッカー
[杉本ら, ViEW2026]
[杉本ら, MIRU2026]
野球場で
サッカー
野球場で
野球
サッカー場で
野球
ベースモデル：Helios-Base [Yuan+, arXiv, 2026]


# Page. 39

![Page Image](https://bcdn.docswell.com/page/4JQDXMGN7P.jpg)

VLMによる動画像解析


# Page. 40

![Page Image](https://bcdn.docswell.com/page/K74Z6V53E1.jpg)

VLM, MLLM
n Vision Language Model, Multimodal LLM
• 複数モーダルのトークンを
並列にLLMに入力
n 要素
• エンコーダ
• text encoder
• visual encoder
• image, video, etc
• projector / connector
• エンコーダとLLMの
ギャップを吸収
• MLP, Q-Former, cross attention
• LLM
[Yin+, NSR, 2024]


# Page. 41

![Page Image](https://bcdn.docswell.com/page/LJ1RV3WZJG.jpg)

Qwen3-VL
[Bai+, arXiv, 2025]
n 動画も扱うオープンモデル
VLM
• 入力トークンをearly fusion
n Qwen2-VL
• 2FPSでサンプリング，2フ
レームで畳み込み，最大16k
トークン，MRoPE導入
n Qwen2.5-VL
• 可変長FPS，複数フレームの
キャプションをLLMで統合
n Qwen3-VL
• タイムスタンプ文字列を導入
• 多重解像度特徴量の利用
エンコーダ：ViT
Qwen-VL：画像用


# Page. 42

![Page Image](https://bcdn.docswell.com/page/GJW1LP66E2.jpg)

複数エンコーダの利用
n エンコーダの選択
• タスクに適した情報の選択
エンコーダのルーティング
[小林ら, ViEW2026] [小林ら, MIRU2026]
n エンコーダの混合
• 異なる情報の融合
Rethinking the Mixture of Vision Encoders
[Azadani+, TMLR2026]


# Page. 43

![Page Image](https://bcdn.docswell.com/page/4EZPMKYRJ3.jpg)

長尺動画への対応：オフラインとオンライン
n フレームサンプリング
• 一様・非一様サンプリング
• プロンプトに応じてサンプリング
VideoITG [Wang+, CVPR2026]
EventMemAgent
[Wen+, ECCV2026]
n メモリの利用
• 生成テキスト，画像，特徴量
StreamAgent [Yang+, arXiv, 2025]


# Page. 44

![Page Image](https://bcdn.docswell.com/page/Y76MNQD1EV.jpg)

証拠フレームを探すLong Video QA
[Ding+, ACCV2026]
n 証拠フレームのグラフ（Evidence Graph, EviGraph）
• 質問をcore / sub-needsに分解，グラフ生成
• sub-needsごとにスコアリング
+2-2 -2 -2
0 0 0 0
ABCD
Q: What is the animal in
the first scene that
appears after the
opening cloud scene?
n01
0.92
0.92
n03
ABCD
0.89
+10 0 0
n07
ABCD
Evidence Graph
0.90
0 0 0 +2
n02
core
ABCD
n04
0.31
n05
n06
15:00
20:00
precedes
supports
contradicts
not selected
0 0 0 +2
ABCD
05:00
Answer input: N frames
N/2 BLIP relevance-ranked
10:00
25:00
78:43
N/2 graph-node ranking
...
...
Answer VLM model
frames + question + option
(D) deer


# Page. 45

![Page Image](https://bcdn.docswell.com/page/G75Z5R3LJ4.jpg)

メモリを用いたLong Video QA
n 証拠フレームの探索
n メモリの利用
• 画像メモリ，イベントメモリ
n 複数エージェント
による推論
[大島ら, ViEW2026]


# Page. 46

![Page Image](https://bcdn.docswell.com/page/9J2RNDZ37R.jpg)

動画像解析の今後


# Page. 47

![Page Image](https://bcdn.docswell.com/page/DEYDP2R8EM.jpg)

商用AI：速度とコストの問題
n 商用AI (ChatGPT, Claude, Gemini, etc) の高性能化
• Youtube動画ならGemini on Chromeが無料で高速
n 性能は高いが，商用AIにすべてを任せられない
• コストの問題
• 動画像は消費トークンが膨大（内部処理は不明）
• トークン単価はベンダ（Open AI, Anthoropic, etc）依存
• Anthoropic 2026/1〜9 売上5兆円，支出140兆円（NHKニュース 2026/11/3）
• 速度の問題
• オフライン処理には対応，
• オンライン・ストリーミング・リアルタイム処理は難しい
n ハイブリッド利用の増加
• ローカル・オープンモデルのエンコーダで解析
• LLM部分は商用AIをAPI利用


# Page. 48

![Page Image](https://bcdn.docswell.com/page/VJN658D9J8.jpg)

商用AIアノテーション＋ローカルモデル推論
n 試合全体のBadminton Full
Match Dense（BFMD）データ
[Ding+, CVSports2026]
セット
• 20時間以上
• シングルス・ダブルス19試合
• ラリー1,687回
• ヒット16,751回
[PLAYER]はジャンプして高い打点でシャトルを頭上から捉え、最
大限の下向きの威力と速度を生み出すことで、相手コートへの攻
撃的なショットによって得点を決める、あるいは相手にプレッ
シャーをかけることを狙う。
n 試合全体のVQAデータセット
[Ding+, MMSports’26]
BadmintonQA
• シングルス・ダブルス19試合
• 533問の4択問題
Q: 第1ゲームから第2ゲームにかけて、Kunlavut
Vitidsarnの「ネット−リフト−スマッシュ攻撃」
の使用頻度はどのように変化しましたか？
A. より頻繁に使うようになった
B. ほぼ同じ頻度で使った
C. どちらのゲームでもほとんど使わなかった
D. 使用頻度が減った


# Page. 49

![Page Image](https://bcdn.docswell.com/page/YE9LYKG373.jpg)

ショットと戦術のキャプション
n バドミントン試合映像
のキャプション生成
n 2種類のキャプション
を生成
• ショットの説明
• 戦術的な説明
戦術的な説明：一連のラリーは、[PLAYER]がクロス方向へスマッシュを打ち、
続いて[PLAYER]がクロス方向へリフトを返しながら、サイド・バイ・サイド
の守備陣形へ移行するところから始まる。
その後、ネットプレーを挟んで戦術的な展開が一時的に途切れるが、再び
[PLAYER]がクロス方向へリフトを打ち、サイド・バイ・サイドの陣形へ移行
する。
さらに[PLAYER]がクロス方向へリフトを返してサイド・バイ・サイドの陣形
を形成し、その後、[PLAYER]によるクロススマッシュ、さらに別のクロスス
マッシュへと展開する。スマッシュに対しては、再びサイド・バイ・サイド
の守備陣形へ移行して対応している。
[Ding+, MMSports’25]


# Page. 50

![Page Image](https://bcdn.docswell.com/page/GE8X6RVLJD.jpg)

プレー区間のキャプション
[Tanaka+, ACCVW2026]
n スポーツには一連の流れ(Phase-of-Play, PoP)がある
• サッカー：スローイン，パス，シュート，ゴール
n PoP単位でのキャプション生成
PoP Segment
Soccer Event
SDVC
PoP-DVC
Throw-in
short passes
Turnover
Time: 33:42
"[TEAM] exchange some short passes over a small area
[TEAM]は狭いエリアで短いパスを何本か交換し、試合
and control the game. Now they make a mistake and lose
をコントロールしている。しかし、ミスをしてボール
the ball and the whole situation changes completely."
を失い、状況が一変する。
Poor cross
Shot
Goal
Time: 34:24
"[PLAYER]
([TEAM]) flights
[PLAYER]（[TEAM]）がクロスを上げるが、ディ
inフェンダーが素早く反応し、安全な場所へクリア
the cross, but the defender is
alert
and clears to safety.
する。
Time: 33:29~34:40
"[PLAYER]
delivers a throw-in from the touchline toward the center of the field, with ([TEAM]) players positioning for reception. [TEAM]
[PLAYER]がタッチラインからフィールド中央に向けてスローインを入れ、（[TEAM]）の選手たちがボールを受ける位
exchange some short passes over a small area and control the game, then make a mistake and lose the ball. [PLAYER] ([TEAM]) flies in the
置に入る。[TEAM]は狭いエリアで短いパスを何本か交換し、試合をコントロールするが、その後ミスをしてボールを失
cross, but the defender is alert and clears to safety. [PLAYER] takes a shot on target, resulting in a goal for ([TEAM]). [PLAYER] scores a
う。[PLAYER]（[TEAM]）がクロスを上げるが、ディフェンダーが素早く反応し、安全な場所へクリアする。[PLAYER]
goal for ([TEAM])."
が枠内にシュートを放ち、（[TEAM]）のゴールにつながる。[PLAYER]が（[TEAM]）のためにゴールを決める。
T


# Page. 51

![Page Image](https://bcdn.docswell.com/page/LEL89K5Q7R.jpg)

スタイルの異なるキャプション生成
[Oshima+, MMSports’26]
n 分かりやすい初心者用，戦術的なコーチ用，放送解説者用
初心者向け：
[PLAYER]（[TEAM]）が中央を素早く駆け上がり、味方にパスします。味方の選手はゴールに向かってドリブルし
ますが、ボールはコートの外に出てしまいます。ボールがコートの外に出たところでプレーは終了します。
戦術的な説明：
[PLAYER]（[TEAM]）が右のハーフスペースへ斜めに進入し、加速してディフェンダーをかわします。[TEAM]は横
方向にスライドして対応しますが、[PLAYER]（[TEAM]）はスピードを維持したままエンドライン方向へ仕掛けま
す。最後はタッチライン付近でボールがコートの外に出て、攻撃が終了します。
放送用：
[PLAYER]（[TEAM]）、スピードに乗って中央を駆け上がります。方向を変えながら相手をかわして前進。[TEAM]
が前から激しくプレッシャーをかけるなか、[PLAYER]（[TEAM]）がさらに加速して切り返します。最後はタッチ
ライン付近でボールがコートの外に出て、プレーが止まりました。


# Page. 52

![Page Image](https://bcdn.docswell.com/page/4JM6Z2RKEW.jpg)

ACCV2026チュートリアル
来週火曜
12/15
大阪
https://ning-d.github.io/accv2026-sports-tutorial/