論文紹介：SparseCtrl-HOI: Sparse Temporal Control for Human-Object Interaction Video Generation

SparseCtrl-HOI Sparse Temporal Control for Human-Object Interaction Video Generation Shenbo Xie, Mingrui Cai, Xu Yang, Yifei Liu, and Changxing Ding ECCV 2026 緒方裕紀（名工大玉木・丁研） 2026/10/08

• https://eccv.ecva.net/virtual/2026/poster/5706

Human-Object Interaction (HOI) Video Generation ◼ HOI Video Generation • 人と物体の相互作用を含む動画を生成するタスク • 接触関係や物体の動きまで自然である必要 Example 1 Taking a cup - reach→grasp→lift Example 2 Opening a microwave - reach→grasp handle→open door Gemini Omniで生成

• https://gemini.google/jp/overview/video-generation/?hl=ja

関連研究 ◼ Dense Guidance • フレームごとの情報を用いてHOIを 制御 • 例：2D pose / 3D mesh / relative coordinates • 人と物体の位置関係を高精度に指定 可能 AnchorCrafter [Xu+, TVCG2026] ◼ Sparse Spatial Control • 少量の入力からHOIを制御 • sparse keypoints / object trajectory ※生成時にはDenseな時間制御に変換 される VHOI [Zhang+, CVPR2026]

• https://vcai.mpi-inf.mpg.de/projects/vhoi/?utm_source=chatgpt.com
• http://ieeexplore.ieee.org/document/11386762

提案手法 (SparseCtrl-HOI)の設計方針 ◼ Dense Temporal Guidance の問題 • フレーム単位の条件で動作を強く拘束 • Annotation Costも大きい →Sparse Interaction Keyframesのみで制御 ◼ Sparse Controlだけでは不十分 • Keyframeを「いつ」反映するか • Keyframe間を「どう動くか」が不明 →TiRoPE：指定時刻にKeyframeを対応付け →Motion Prior Injection：自然な中間Motionを生成 ◼ MLLMとDiTのFeature Entanglement • Joint Trainingでは前景artifactが発生 →Decoupled Two-Stage Training →AppearanceとMotionを分けて学習

手法：全体像 ③ ③ ① ②

手法：全体像 ① Condition injection (条件情報の結合) • Reference Image：時間方向に複製し，Channel方向に結合 • HOI Keyframes：Temporal方向に結合 ② TiRoPE (時間的位置の制御) • Keyframeと対応する動画フレームに同じ時間的位置インデックスを付与 • 指定時刻へのInteraction Poseの反映を促進 ③ Motion Prior Injection (動作情報の注入) • Qwen2.5-VL：Keyframe間のMotionを推論し，最終層特徴を抽出 • MLP → Q-Former：64個のQueryで特徴を圧縮 • Motion Cross-Attention：Motion PriorをDiTに注入

Stage1：Appearance Feature Transfer ◼ 入力 • 参照画像𝐼𝑟ef ：人物の見た目 • 少数のインタラクションキーフレーム • 音声 ◼ 入力処理 • Frozen VAE [Wan+, arXiv2025] でlatent化 • TiRoPEでKeyframeを 指定時刻に対応付け ◼ 学習 • 目的：人物・物体の外観+指定時刻 のInteraction Poseを反映 • 更新対象 • Self-Attention：LoRA [Hu+, ICLR2022] • Text Cross-Attention：LoRA • Patch Embedding/ Audio Pack

• https://arxiv.org/abs/2503.20314
• https://openreview.net/forum?id=nZeVKeeFYf9

Stage2：Motion Transition Inference ◼ 入力 • 少数のインタラクションキーフレーム • 動作推論用プロンプト ◼ Motion Prior 生成 • Qwen2.5-VL [Qwen Team, 2025]で Keyframe間の動きを推論 • Q-Former [Li+, ICML2023]で Motion Prior Tokenに圧縮 • Motion Cross-AttentionでDiTへ入力 ◼ 学習 • 目的：Keyframe間の自然なMotion Transitionを生成 • 更新対象 • Q-Former • Motion Cross-Attention

• https://arxiv.org/abs/2502.13923
• https://proceedings.mlr.press/v202/li23q.html

SparseHOI-5K Dataset（１） ◼ SparseHOI-5K • Sparse Temporal Control向けに構築したHOI動画Dataset • ライブコマース中の人物－物体Interactionを収録 • Audio，Hand/Object領域，Object-free画像を含む ※Object-free画像→物体を除去した人物参照画像として利用 • 学習用 4,800 clips / 評価用 50 clips

SparseHOI-5K Dataset（２） ① Data Acquisition • YouTube / Bilibiliから動画収集 • Scene Detection • 10秒clipに分割 ② Data Filtering • 低品質・静止clipを除外 • DWpose [Yang+, ICCV2023]で検出 • 単一人物の動画のみ抽出 • Dynamic Cropping ③ Interaction Validation • Qwen2.5-VLでHOIを検証 • 人物・物体BBoxのIoUを確認 • SyncNet [Chung+, ACCV2016]で音声－映像同期を確認 ④ Fine-Grained Annotation • SAM2 [Ravi+, ICLR2025]：Object Segmentation • MediaPipe [Lugaresi+, arXiv2019] + SAM：Hand Segmentation • ProPainter [Zhou+, ICCV2023]：Object除去 • Interaction Keyframe / Reference Imageを作成

• https://openaccess.thecvf.com/content/ICCV2023W/CV4Metaverse/html/Yang_Effective_Whole-Body_Pose_Estimation_with_Two-Stages_Distillation_ICCVW_2023_paper.html
• https://link.springer.com/chapter/10.1007/978-3-319-54427-4_19
• https://proceedings.iclr.cc/paper_files/paper/2025/hash/45c1f6a8cbf2da59ebf2c802b4f742cd-Abstract-Conference.html
• https://arxiv.org/abs/1906.08172
• https://openaccess.thecvf.com/content/ICCV2023/html/Zhou_ProPainter_Improving_Propagation_and_Transformer_for_Video_Inpainting_ICCV_2023_paper.html

実験設定・ベースライン ◼ 学習設定 • Stage 1：15,000 steps • Stage 2：10,000 steps • 学習率：5e-6 • Global Batch Size：8 • Interaction Keyframe：4枚 / video ◼ 評価データ • SparseHOI-5K • 学習：4,800 clips • 評価：50 clips • 人物が重複しないように分割 • AnchorCrafterのTest Setでも評価 ◼ 比較手法 • AnchorCrafter [Xu+, TVCG2026] • フレームごとの高密度な制御を用いる HOI生成 • OmniAvatar [Gan+, arXiv2025] • 音声駆動の人物動画生成 • OmniAvatar-BL • TiRoPE / Motion Prior Injectionを除い たベースライン • VACE [Jiang+, ICCV2025] • マルチモーダル条件による動画生成・ 編集 • Phantom [Liu+, ICCV2025] • 人物の一貫性を重視した動画生成

• https://pubmed.ncbi.nlm.nih.gov/41662560/
• https://arxiv.org/abs/2506.18866
• https://openaccess.thecvf.com/content/ICCV2025/html/Jiang_VACE_All-in-One_Video_Creation_and_Editing_ICCV_2025_paper.html
• https://openaccess.thecvf.com/content/ICCV2025/html/Liu_Phantom_Subject-Consistent_Video_Generation_via_Cross-Modal_Alignment_ICCV_2025_paper.html

評価指標 ◼ FID↓ [Heusel+, NeurIPS2017] / FVD↓ [Unterthiner+, ICLR2019] • 生成画像・動画の品質や分布の近さ を評価 ◼ Vbench [Huang+, arXiv2024] • Motion Smoothness↑ • Temporal Flickering↑ • Aesthetic Quality↑ ◼ Sync-C↑ [Chung+, ACCV2016] • 音声と映像の同期を評価 ◼ MS-RAFT ↓ • 隣接フレーム間の動きの滑らかさを評価 • 値が小さいほど良い ◼ Ti-SSIM ↑ • 指定時刻でのInteraction Keyframeとの一致 度を評価 • Sparseな時刻制御ができているかを見る指 標 • ※ Ablation Studyで使用 ◼ HOI-VLM ↑ • Qwen2.5-VLでHOIの品質を評価 • Physical Plausibility • Interaction Diversity

• https://proceedings.neurips.cc/paper/2017/hash/8a1d694707eb0fefe65871369074926d-Abstract.html
• https://openreview.net/forum?id=rylgEULtdN&utm_source=chatgpt.com
• https://arxiv.org/abs/2311.17982
• https://link.springer.com/chapter/10.1007/978-3-319-54427-4_19

定性的結果

定量的結果 ◼ SparseHOI-5KでFID / FVDが最良 ◼ MS-RAFTで自然なMotion Transitionを確認 ◼ HOI-VLMでも高いHOI品質を確認

Ablation Study：定量的評価 ◼ TiRoPEを外すとTi-SSIMが低下 ◼ M.P.I.を外すとMS-RAFTが悪化 ◼ 入力の結合方法も性能に大きく影響 ◼ Keyframe数を増やすと FID / FVDが改善

Ablation Study：定性的結果

まとめ ◼ Sparse Temporal ControlによるHOI動画生成を提案 • 少数のInteraction Keyframeのみで時間方向を制御 ◼ TiRoPE + Motion Prior Injection • 指定時刻のInteractionを再現 • Keyframe間の自然なMotion Transitionを生成 ◼ SparseHOI-5Kを構築し，有効性を確認 • 定量・定性評価で既存手法と比較 • Ablation Studyで各提案要素の効果を検証