---
title: 論文紹介：SparseCtrl-HOI: Sparse Temporal Control for Human-Object Interaction Video Generation
tags: 
author: [Toru Tamaki](https://www.docswell.com/user/tttamaki)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/Y76M6K89EV.jpg?width=480
description: Shenbo Xie, Mingrui Cai, Xu Yang, Yifei Liu, Changxing Ding, "SparseCtrl-HOI: Sparse Temporal Control for Human-Object Interaction Video Generation", ECCV 2026 https://eccv.ecva.net/virtual/2026/poster/5706
published: October 30, 26
canonical: https://www.docswell.com/s/tttamaki/5GNPNJ-2026-10-30-233616
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/Y76M6K89EV.jpg)

SparseCtrl-HOI
Sparse Temporal Control for
Human-Object Interaction Video Generation
Shenbo Xie, Mingrui Cai, Xu Yang, Yifei Liu, and Changxing Ding
ECCV 2026
緒方裕紀（名工大玉木・丁研）
2026/10/08


# Page. 2

![Page Image](https://bcdn.docswell.com/page/G75Z6P9DJ4.jpg)

Human-Object Interaction (HOI) Video Generation
◼ HOI Video Generation
• 人と物体の相互作用を含む動画を生成するタスク
• 接触関係や物体の動きまで自然である必要
Example 1
Taking a cup
- reach→grasp→lift
Example 2
Opening a microwave
- reach→grasp handle→open door
Gemini Omniで生成


# Page. 3

![Page Image](https://bcdn.docswell.com/page/9J2RM65M7R.jpg)

関連研究
◼ Dense Guidance
• フレームごとの情報を用いてHOIを
制御
• 例：2D pose / 3D mesh / relative
coordinates
• 人と物体の位置関係を高精度に指定
可能
AnchorCrafter [Xu+, TVCG2026]
◼ Sparse Spatial Control
• 少量の入力からHOIを制御
• sparse keypoints / object
trajectory
※生成時にはDenseな時間制御に変換
される
VHOI [Zhang+, CVPR2026]


# Page. 4

![Page Image](https://bcdn.docswell.com/page/DEYDX9KPEM.jpg)

提案手法 (SparseCtrl-HOI)の設計方針
◼ Dense Temporal Guidance の問題
• フレーム単位の条件で動作を強く拘束
• Annotation Costも大きい
→Sparse Interaction Keyframesのみで制御
◼ Sparse Controlだけでは不十分
• Keyframeを「いつ」反映するか
• Keyframe間を「どう動くか」が不明
→TiRoPE：指定時刻にKeyframeを対応付け
→Motion Prior Injection：自然な中間Motionを生成
◼ MLLMとDiTのFeature Entanglement
• Joint Trainingでは前景artifactが発生
→Decoupled Two-Stage Training
→AppearanceとMotionを分けて学習


# Page. 5

![Page Image](https://bcdn.docswell.com/page/VJN61LRMJ8.jpg)

手法：全体像
③
③
①
②


# Page. 6

![Page Image](https://bcdn.docswell.com/page/YE9L54MW73.jpg)

手法：全体像
① Condition injection (条件情報の結合)
• Reference Image：時間方向に複製し，Channel方向に結合
• HOI Keyframes：Temporal方向に結合
② TiRoPE (時間的位置の制御)
• Keyframeと対応する動画フレームに同じ時間的位置インデックスを付与
• 指定時刻へのInteraction Poseの反映を促進
③ Motion Prior Injection (動作情報の注入)
• Qwen2.5-VL：Keyframe間のMotionを推論し，最終層特徴を抽出
• MLP → Q-Former：64個のQueryで特徴を圧縮
• Motion Cross-Attention：Motion PriorをDiTに注入


# Page. 7

![Page Image](https://bcdn.docswell.com/page/GE8XYQLRJD.jpg)

Stage1：Appearance Feature Transfer
◼ 入力
• 参照画像𝐼𝑟ef ：人物の見た目
• 少数のインタラクションキーフレーム
• 音声
◼ 入力処理
• Frozen VAE [Wan+, arXiv2025]
でlatent化
• TiRoPEでKeyframeを
指定時刻に対応付け
◼ 学習
• 目的：人物・物体の外観+指定時刻
のInteraction Poseを反映
• 更新対象
• Self-Attention：LoRA [Hu+, ICLR2022]
• Text Cross-Attention：LoRA
• Patch Embedding/ Audio Pack


# Page. 8

![Page Image](https://bcdn.docswell.com/page/LEL84XL27R.jpg)

Stage2：Motion Transition Inference
◼ 入力
• 少数のインタラクションキーフレーム
• 動作推論用プロンプト
◼ Motion Prior 生成
• Qwen2.5-VL [Qwen Team, 2025]で
Keyframe間の動きを推論
• Q-Former [Li+, ICML2023]で
Motion Prior Tokenに圧縮
• Motion Cross-AttentionでDiTへ入力
◼ 学習
• 目的：Keyframe間の自然なMotion
Transitionを生成
• 更新対象
• Q-Former
• Motion Cross-Attention


# Page. 9

![Page Image](https://bcdn.docswell.com/page/4JM6KLM9EW.jpg)

SparseHOI-5K Dataset（１）
◼ SparseHOI-5K
• Sparse Temporal Control向けに構築したHOI動画Dataset
• ライブコマース中の人物－物体Interactionを収録
• Audio，Hand/Object領域，Object-free画像を含む
※Object-free画像→物体を除去した人物参照画像として利用
• 学習用 4,800 clips / 評価用 50 clips


# Page. 10

![Page Image](https://bcdn.docswell.com/page/PJRPXKV9E9.jpg)

SparseHOI-5K Dataset（２）
① Data Acquisition
• YouTube / Bilibiliから動画収集
• Scene Detection
• 10秒clipに分割
② Data Filtering
• 低品質・静止clipを除外
• DWpose [Yang+, ICCV2023]で検出
• 単一人物の動画のみ抽出
• Dynamic Cropping
③ Interaction Validation
• Qwen2.5-VLでHOIを検証
• 人物・物体BBoxのIoUを確認
• SyncNet [Chung+, ACCV2016]で音声－映像同期を確認
④ Fine-Grained Annotation
• SAM2 [Ravi+, ICLR2025]：Object Segmentation
• MediaPipe [Lugaresi+, arXiv2019] + SAM：Hand
Segmentation
• ProPainter [Zhou+, ICCV2023]：Object除去
• Interaction Keyframe / Reference Imageを作成


# Page. 11

![Page Image](https://bcdn.docswell.com/page/PEX36LZ3JX.jpg)

実験設定・ベースライン
◼ 学習設定
• Stage 1：15,000 steps
• Stage 2：10,000 steps
• 学習率：5e-6
• Global Batch Size：8
• Interaction Keyframe：4枚 / video
◼ 評価データ
• SparseHOI-5K
• 学習：4,800 clips
• 評価：50 clips
• 人物が重複しないように分割
• AnchorCrafterのTest Setでも評価
◼ 比較手法
• AnchorCrafter [Xu+, TVCG2026]
• フレームごとの高密度な制御を用いる
HOI生成
• OmniAvatar [Gan+, arXiv2025]
• 音声駆動の人物動画生成
• OmniAvatar-BL
• TiRoPE / Motion Prior Injectionを除い
たベースライン
• VACE [Jiang+, ICCV2025]
• マルチモーダル条件による動画生成・
編集
• Phantom [Liu+, ICCV2025]
• 人物の一貫性を重視した動画生成


# Page. 12

![Page Image](https://bcdn.docswell.com/page/3EKY1L8NJD.jpg)

評価指標
◼ FID↓ [Heusel+, NeurIPS2017] / FVD↓
[Unterthiner+, ICLR2019]
• 生成画像・動画の品質や分布の近さ
を評価
◼ Vbench [Huang+, arXiv2024]
• Motion Smoothness↑
• Temporal Flickering↑
• Aesthetic Quality↑
◼ Sync-C↑ [Chung+, ACCV2016]
• 音声と映像の同期を評価
◼ MS-RAFT ↓
• 隣接フレーム間の動きの滑らかさを評価
• 値が小さいほど良い
◼ Ti-SSIM ↑
• 指定時刻でのInteraction Keyframeとの一致
度を評価
• Sparseな時刻制御ができているかを見る指
標
• ※ Ablation Studyで使用
◼ HOI-VLM ↑
• Qwen2.5-VLでHOIの品質を評価
• Physical Plausibility
• Interaction Diversity


# Page. 13

![Page Image](https://bcdn.docswell.com/page/L739Q32Z75.jpg)

定性的結果


# Page. 14

![Page Image](https://bcdn.docswell.com/page/87DG94Z47G.jpg)

定量的結果
◼ SparseHOI-5KでFID / FVDが最良
◼ MS-RAFTで自然なMotion Transitionを確認
◼ HOI-VLMでも高いHOI品質を確認


# Page. 15

![Page Image](https://bcdn.docswell.com/page/VJP3ZMDVE8.jpg)

Ablation Study：定量的評価
◼ TiRoPEを外すとTi-SSIMが低下
◼ M.P.I.を外すとMS-RAFTが悪化
◼ 入力の結合方法も性能に大きく影響
◼ Keyframe数を増やすと FID / FVDが改善


# Page. 16

![Page Image](https://bcdn.docswell.com/page/2EV4W91RJQ.jpg)

Ablation Study：定性的結果


# Page. 17

![Page Image](https://bcdn.docswell.com/page/57G1DZ26EL.jpg)

まとめ
◼ Sparse Temporal ControlによるHOI動画生成を提案
• 少数のInteraction Keyframeのみで時間方向を制御
◼ TiRoPE + Motion Prior Injection
• 指定時刻のInteractionを再現
• Keyframe間の自然なMotion Transitionを生成
◼ SparseHOI-5Kを構築し，有効性を確認
• 定量・定性評価で既存手法と比較
• Ablation Studyで各提案要素の効果を検証