---
title: 論文紹介：SportR: A Benchmark for Multimodal Large Language Model Reasoning in Sports
tags: 
author: [Toru Tamaki](https://www.docswell.com/user/tttamaki)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/DJYDXRXPJM.jpg?width=480
description: Haotian Xia, Haonan Ge, Junbo Zou, Hyun Choi, Xuebin Zhang, Danny Suradja, Botao Rui, Ethan Tran, Wendy Jin, Zhen Ye, Xiyang Lin, Christopher Lai, Shengjie Zhang, Junwen Miao, Shichao Chen, Rhys Tracy, Vicente Ordonez, Weining Shen, Hanjie Chen, "SportR: A Benchmark for Multimodal Large Language Model Reasoning in Sports", ICLR 2026 https://proceedings.iclr.cc/paper_files/paper/2026/hash/27089d0a5ad91f234693d9aa12e83584-Abstract-Conference.html
published: October 30, 26
canonical: https://www.docswell.com/s/tttamaki/ZL3P38-2026-10-30-233819
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/DJYDXRXPJM.jpg)

SportR: A Benchmark for Multimodal
Large Language Model Reasoning in
Sports
[Xia+, ICLR 2026]
大倉 士季（名工大玉木・丁研）
2026/09/24


# Page. 2

![Page Image](https://bcdn.docswell.com/page/V7N61D1M78.jpg)

スポーツ分析の発展
FineGym [Shao+, CVPR2020]
n 「何が起こったのか」の認識
• 初期研究
• 動作認識など単一タスク
n 「何が起こったのか」の説明
SoccerNet-Caption [Mkhallati+, CVPRW2023]
• 発展研究
• スポーツ映像のキャプション生成
n 「なぜ起こったのか」の推論
• 近年の研究
• 映像と質問から，回答とその根拠を推論
（VideoQA）
Sports-QA [Li+, arXiv2024]


# Page. 3

![Page Image](https://bcdn.docswell.com/page/YJ9L5G5WE3.jpg)

スポーツ理解におけるMLLMの課題
n スポーツの高度な理解
• 微細な視覚認識
• 抽象的なスポーツルールの適応
• 視覚情報とルール知識の対応づけ
n 既存のベンチマークにおける課題
• 深い推論に対しては単一スポーツに限定
• 詳細なCoT（Chain-of-Thought）による
推論過程の評価・学習が不足
• 視覚的根拠（Bounding box）を直接
評価できない
• 選択式中心では生成能力を捉えにくい


# Page. 4

![Page Image](https://bcdn.docswell.com/page/GJ8XYVYR7D.jpg)

既存ベンチマーク
n SoccerNet-XFoul [Held+, CVPRW2024]
• 70名以上の経験豊富な審判によるア
ノテーション
• 2.2万件以上のビデオと質問，回答
からなるデータセット
• ビデオ記述・QA・ファウル認識
n SPORTU [Xia+, ICLR2025]
• 提案手法の前身
• SPORTU-text
• 900問の人手解説付き多肢選択
• SPORTY-video
• 12048のQAペア


# Page. 5

![Page Image](https://bcdn.docswell.com/page/LJL84542ER.jpg)

SportR：ベンチマークの全体像
n SportR
• Multi-Sport：5競技
• Multi-Modal：画像・動画
• Progressive Reasoning：段階的な推論
• CoT + Grounding：推論過程＋視覚的根拠


# Page. 6

![Page Image](https://bcdn.docswell.com/page/47M6K3K9JW.jpg)

SportRの概要
n 大規模マルチスポーツベンチマーク
n 5競技 × 画像・動画
• バスケットボール，サッカー，卓球，
バドミントン，アメリカンフットボール
n 4,789枚の画像・2,052本の動画
n 6,841件の人手作成CoT
• 16名のスポーツ経験者
• 20,000件超のQAペア
n ルール違反・戦術を体系的に収録
• Infraction：ルール違反
• Offensive / Defensive：攻撃・守備戦術
• 50種類の違反・12種類の戦術


# Page. 7

![Page Image](https://bcdn.docswell.com/page/P7RPXQX9J9.jpg)

スポーツ推論過程
n 段階的なスポーツ推論
• Macro-to-Micro方式
• 視覚的証拠を段階的に整理し，
結論を導出
• Progressive QA
• 反則の有無 → 種類 → ペナルティ
→ 理由説明
• 人手作成CoT
• 各段階の推論過程を記録
• 戦術認識などの高度なスポーツ推論
にも対応


# Page. 8

![Page Image](https://bcdn.docswell.com/page/PJX365637X.jpg)

視覚的Grounding（Bounding Box）
n 推論の根拠を視覚的に評価
• 回答だけでなく，判断の根拠となる
視覚領域を評価
• 反則が発生した位置をBounding Box
の座標で出力
• 「何が起きたか」だけでなく，
「どこを見て判断したか」を評価
• 画像を対象としたGrounding評価を
導入
• より複雑な動画での空間・時間的
Groundingへの基盤を提供


# Page. 9

![Page Image](https://bcdn.docswell.com/page/3JKY161N7D.jpg)

手法：段階的なQA設計


# Page. 10

![Page Image](https://bcdn.docswell.com/page/LE39Q6QZE5.jpg)

使用するQAの種類：SportsImage
n 4,789枚の画像を収録
n 5競技の試合中の重要な場面を対象
n CoTから17,000件以上のQAペアを生成
n 推論の深さに応じた7段階のQA
• 反則の有無
• 反則の種類
• ペナルティ
• 理由，説明
• 視覚的Grounding
• 攻撃戦術
• 守備戦術
n 判断根拠となる視覚領域も評価
• Bounding Box座標を利用


# Page. 11

![Page Image](https://bcdn.docswell.com/page/8EDG9V94EG.jpg)

使用するQAの種類：SportsVideo
n 2,052本の動画クリップを収録
n スポーツにおける時間的な推論を
評価
n 6,000件以上のQAペアを生成
n SportsImageと同様の段階的なQAを適用
n 時間的な動きや前後の文脈を必要とする
反則・戦術を対象
• 例：バスケットボールの
「トラベリング」
n 座標ベースのGroundingは対象外
• 動画での空間・時間的Groundingは
今後の課題


# Page. 12

![Page Image](https://bcdn.docswell.com/page/V7P3ZVZVJ8.jpg)

実験設定
n ベースライン
• クローズドモデル
• GPT-5 [OpenAI, 2025]
• Claude 4.0 [Anthropic, 2025]
• Gemini 2.5 Pro
• オープンモデル
• Qwen family (QwenVL-2.5 7B,
72B) [Bai+, arXiv2025]
• LLaVA family (LLaVA-OneVision
7B [Li+, arXiv2024] , LLaVA-Next [Liu+,
2024] )
• DeepSeek-VL [Lu+, arXiv2024]
• Glm-4.5V [GLM-V Team, arXiv2025]
• ゼロショット設定で評価
n 学習
• Qwen2.5-VL-7Bを使用
• Group Relative Policy Optimization
（GRPO）アルゴリズム [shao+, arXiv2024]
• Supervised Fine-Tuning (SFT)
• Reinforcement Learning (RL)
• 2段階で学習
• SportsImageのみを学習に使用


# Page. 13

![Page Image](https://bcdn.docswell.com/page/2JV4WZWR7Q.jpg)

実験設定
n 評価データ
• SportsImage：テストセットで評価
• SportsVideo：ゼロショット評価・クロスモーダル汎化評価
n 評価指標
• Visual Grounding（Q5）：IoU
• その他のQA：LLM-as-Judge
• GPT-5・Gemini 2.5 Pro・Claude 4.0の3モデルによる評価の平均値を使用
• 人手評価との相関（Pearson r > 0.65）も検証


# Page. 14

![Page Image](https://bcdn.docswell.com/page/5EG1D4D6JL.jpg)

実験結果（SportsImage）
n ゼロショットでは全体的に低い性能
• GPT-5などの最新MLLMでも高度な推論タスクで苦戦
• Q5のIoUは全モデルで7%未満
• 細かな視覚認識・ルールに基づく推論に課題
n SportRによる学習で大幅に性能向上
• SFT+RLでは7タスク中5タスクで最高性能
• 人手作成CoTがスポーツ推論の学習に有効


# Page. 15

![Page Image](https://bcdn.docswell.com/page/4JQD1G127P.jpg)

実験結果（SportsVideo）
n 画像よりも全体的に低い性能
• GPT-5が多くのタスクで最高性能を示すものの，依然として低い水準
• SportsImageのみで学習したQwen2.5-VL-7Bでも性能が向上
• 反則の有無（Q8）
• GPT-5を含む他モデルを上回る
• 動画データを学習していないにもかかわらず，クロスモーダル汎化を確認
• SportsImageは汎用的なスポーツ推論能力の学習基盤として有効


# Page. 16

![Page Image](https://bcdn.docswell.com/page/K74ZR5RPE1.jpg)

実験結果
n 1,500件の失敗事例を分析
• 6モデル × 画像150枚・動画150本
• 5種類のエラーに分類
（Visual Hallucination / Domain Knowledge Gap
/ Reasoning Error / Format Violation /
Visual Perception Error）
n 画像と動画で異なる課題
• 動画（SportsVideo）
• 視覚的知覚エラーが多い
• 60～70%以上
• 画像（SportsImage）
• ドメイン知識のギャップが顕在化
• GPT-5：20.0%（動画）→ 36.0%（画像）


# Page. 17

![Page Image](https://bcdn.docswell.com/page/LJ1RQWQXJG.jpg)

まとめ
n MLLMの細粒度・ルールベースなスポーツ推論を評価・学習する
大規模ベンチマーク
• 画像・動画 × 人手作成CoTにより，スポーツ理解を多面的に評価
n 実験から，SportRは学習データとして有効である一方，現行MLLM
にとって難しい課題であることを確認
• 特にVisual Groundingでは，抽象的なルールと具体的な視覚情報を
結び付ける能力に課題
n 主な課題（エラー分析から）
• 動的イベントに対する細粒度な視覚認識
• 視覚情報とスポーツ知識・ルールの対応付け
n SportRを通じて，より頑健で信頼性の高いスポーツ理解
の実現を目指す


# Page. 18

![Page Image](https://bcdn.docswell.com/page/GJW1M6MKE2.jpg)

補足：QA番号と問題内容
n SportsImage
• Q1：反則の有無（Is there a rule infraction in the image?）
• Q2：反則の種類（specific type）
• Q3：ペナルティ（resulting penalty）
• Q4：反則の理由説明（Explain why a rule infraction did or did not occur）
• Q5：視覚的根拠の位置特定（Visual Grounding / output the coordinates）
• Q6：攻撃戦術（offensive formation, play, or move）
• Q7：守備戦術（defensive formation, play, or move）


# Page. 19

![Page Image](https://bcdn.docswell.com/page/4EZPQYQNJ3.jpg)

補足：QA番号と問題内容
n SportsVideo
• Q8：反則の有無（Is there a rule infraction in the video?）
• Q9：反則の種類（specific type in the video）
• Q10：ペナルティ（resulting penalty）
• Q11：反則の理由説明（Explain why a rule infraction did or did not occur）
• Q12：攻撃戦術（offensive formation, play, or move）
• Q13：守備戦術（defensive formation, play, or move）