--- title: 論文紹介：長尺映像理解における評価と記憶の設計 ELV-Halluc, WorldMM, VRBench tags: author: [Toru Tamaki](https://www.docswell.com/user/tttamaki) site: [Docswell](https://www.docswell.com/) thumbnail: https://bcdn.docswell.com/page/VEP3ZM1Z78.jpg?width=480 description: Hao Lu, Jiahao Wang, Yaolun Zhang, Ruohui Wang, Xuanyu Zheng, Yepeng Tang, Dahua Lin, Lewei Lu, "ELV-Halluc: Benchmarking Semantic Aggregation Hallucinations in Video Understanding ", CVPR 2026 https://openaccess.thecvf.com/content/CVPR2026/html/Lu_ELV-Halluc_Benchmarking_Semantic_Aggregation_Hallucinations_in_Video_Understanding_CVPR_2026_paper.html Woongyeong Yeo, Kangsan Kim, Jaehong Yoon, Sung Ju Hwang, "WorldMM: Dynamic Multimodal Memory Agent for Long Video Reasoning", CVPR 2026 https://openaccess.thecvf.com/content/CVPR2026/html/Yeo_WorldMM_Dynamic_Multimodal_Memory_Agent_for_Long_Video_Reasoning_CVPR_2026_paper.html?utm_source=chatgpt.com Jiashuo Yu, Yue Wu, Meng Chu, Zhifei Ren, Zizheng Huang, Pei Chu, Ruijie Zhang, Yinan He, Qirui Li, Songze Li, Zhenxiang Li, Zhongying Tu, Conghui He, Yu Qiao, Yali Wang, Yi Wang, Limin Wang, "VRBench: A Benchmark for Multi-Step Reasoning in Long Narrative Videos", ICCV 2025 https://openaccess.thecvf.com/content/ICCV2025/html/Yu_VRBench_A_Benchmark_for_Multi-Step_Reasoning_in_Long_Narrative_Videos_ICCV_2025_paper.html published: October 30, 26 canonical: https://www.docswell.com/s/tttamaki/ZVJ3JJ-2026-10-30-232956 --- # Page. 1 ![Page Image](https://bcdn.docswell.com/page/VEP3ZM1Z78.jpg) 長尺映像理解における評価と記憶の設計 大島慈温（名工大玉木・丁研） 2026/10/22 # Page. 2 ![Page Image](https://bcdn.docswell.com/page/27V4W9YMEQ.jpg) 概要 ◼ 背景 • 動画言語モデルは短いクリップの理解では高い性能 • 数時間〜数日の長尺映像では，情報をまとめて推論することが難しい • 「長尺映像のどこでつまずくのか」と「どう記憶すれば解けるのか」 ◼ 今回紹介する論文 • 長尺映像理解をどう評価するか • VRBench：長い物語映像での多段階推論を，答えと推論過程の両面で評価 • ELV-Halluc：情報を集約する段階のハルシネーションを評価 • 長尺映像をどう記憶するか • WorldMM： 3種類のマルチモーダル記憶と適応的な検索で長尺映像を推論 # Page. 3 ![Page Image](https://bcdn.docswell.com/page/5JG1DZ9X7L.jpg) VRBench: A Benchmark for MultiStep Reasoning in Long Narrative Videos Jiashuo Yu, Yue Wu, Meng Chu, Zhifei Ren, Zizheng Huang, Pei Chu, Ruijie Zhang, Yinan He, Qirui Li, Songze Li, Zhenxiang Li, Zhongying Tu, Conghui He, Yu Qiao, Yali Wang, Yi Wang, Limin Wang ICCV2025 # Page. 4 ![Page Image](https://bcdn.docswell.com/page/47QD1LW5EP.jpg) 概要 VRBench ◼ 多段階推論（ Multi-Step Reasoning） • 複数の手がかりを時系列に沿ってつなぎ，結論を導く ◼ 本研究の目的 • 長い物語映像における多段階推論を，答えと推論過程の両面で評価するベンチ マーク構築 # Page. 5 ![Page Image](https://bcdn.docswell.com/page/KE4ZRDKVJ1.jpg) 関連研究 VRBench ◼ テキストの推論ベンチマーク • MMLU [Hendrycks+, ICLR2021] など • 専門知識を問う問題が中心で，物語の文脈は扱わない ◼ 画像のマルチモーダル推論 • MMMU [Yue+, CVPR2024]， MathVista [Lu+, ICLR2024] • 推論過程のアノテーションが少ない ◼ 長尺動画ベンチマーク • Video-MME [Fu+, CVPR2025]， LongVideoBench [Wu+, NeurIPS2024]， MLVU [Zhou+, CVPR2025] • 長尺化は進んだが，問題の多くは 1ステップで解ける • 評価は最終的な答えの正誤のみ # Page. 6 ![Page Image](https://bcdn.docswell.com/page/L71RQZX47G.jpg) 既存ベンチマークとの比較 ◼ 物語映像・ 多段階のアノテーション VRBench ・ 多段階評価 # Page. 7 ![Page Image](https://bcdn.docswell.com/page/G7W1M9NZJ2.jpg) 本研究での提案 VRBench ◼ VRBenchデータセット • 960本の長尺物語映像（平均 1.6時間） • 8,243個の多段階QAと，タイムスタンプ付きの推論ステップ • 7種類の推論タイプ 25,106個 ◼ 人間と AIの協調によるアノテーション • AI作成のQAの下書きを人間が書き直し，時間的根拠のある推論チェー ◼ 多段階の評価パイプライン • 結果の評価：選択式問題（ MCQ）の正解率 • 過程の評価：推論チェーンの質を LLMで採点 ンを作成 # Page. 8 ![Page Image](https://bcdn.docswell.com/page/4JZPQ93L73.jpg) データセットの構築 ◼ 動画の収集 • YouTubeの公開動画1万本以上から収集 • 20分以上の物語性のある動画 • 英語・中国語以外の 8言語 ◼ 専門家によるフィルタリング • 14名の専門家が物語の一貫性を 10段階 で評価 • 7未満を除外し 960本に ◼ QAと推論チェーンの作成 • GPT-4oがQAの下書きを作成 • 67名のアノテーターが 1動画8〜10問に 書き直し • 2ステップ以上の推論を必須に • 動画の後半からも出題 VRBench # Page. 9 ![Page Image](https://bcdn.docswell.com/page/YE6M6KXMJV.jpg) 7種類の推論タイプ ◼ Event Prediction • 今後の展開を予測 ◼ Hypothetical Reasoning • 仮定から結果を推論 ◼ Event Attribution • 出来事の原因・動機を特定 ◼ Implicit Inference • 映像の手がかりから，明示されない関係 や感情を推論 ◼ Logical Linkage • 出来事を通じて物語の要素をつなぐ ◼ Information Synopsis • 複数のモダリティの情報を要約 ◼ Counting Problems • 状態変化を数える VRBench # Page. 10 ![Page Image](https://bcdn.docswell.com/page/GE5Z6PXQ74.jpg) 評価方法 VRBench ◼ 結果の評価（ MCQ-O） • モデルに推論過程を書かせた後，選択肢から答えを選ばせる • 正解：人手で作成 • 誤答： DeepSeek-V3が正解をもとに 作成 ◼ 過程の評価（ OE-P） • 自由記述の推論チェーンを， LLM（ DeepSeek-V3）が 0〜10点で採点 • 論理的一貫性 40%， 正解ステップとの類似度 40%， 事実の正確さ 10%， 明 瞭さ 10% • 予測・仮定の問題は正解が一意でないため，類似度を除いて採点 • 人手評価との相関は Spearman ρ > 0.8 ◼ 総合スコア • Overall = (MCQ-O + OE-P) / 2 # Page. 11 ![Page Image](https://bcdn.docswell.com/page/972RM6XWER.jpg) 実験条件 VRBench ◼ 評価モデル（計 31モデル） • LLM 12種（動画の代わりに，キャプションと字幕から作った要約を入力） • GPT-4o [OpenAI, System Card2024]， o1-preview [OpenAI, arXiv2024]， Claude-3.7-Sonnet [Anthropic, 2025]， DeepSeek-R1 [Guo+, arXiv2025]， QwQ-32B [Qwen Team, 2025] など • VLM 19種（ Gemini-2.0-Proは0.5fps，他は 4〜512フレームを入力） • Gemini-2.0-Pro [Gemini Team+, arXiv2023]， GPT-4o， Qwen2.5-VL [Bai+, arXiv2025]， InternVL2.5 [Chen+, arXiv2024] など ◼ 評価指標 • MCQ-O（結果）， OE-P（過程）， • 推論タイプごとのスコア Overall # Page. 12 ![Page Image](https://bcdn.docswell.com/page/DJYDX989JM.jpg) 実験結果 VRBench ◼ Gemini-2.0-Proが最も高い 性能 ◼ 答えは合っても推論過程の 評価は低い • 例. GPT-4o（ VLM） • MCQ-O 81.2 → OE-P 56.1 ◼ 正答率はVLM >> LLM • 動画が見れることが要因 • 推論の質はあまり変わらない ◼ カウント 問題が最も難しい • 大半のモデルが 30％台 ※表が非常に大きいので一部抜粋 # Page. 13 ![Page Image](https://bcdn.docswell.com/page/V7N61LQD78.jpg) ここまでのまとめ ◼ 論文のまとめ • 長尺物語映像での多段階推論を評価する VRBenchを構築 • 960本・平均 1.6時間，タイムスタンプ付き推論チェーン • 答え（ MCQ）と推論過程（ LLM採点）の両面で評価 • 答えが合っていても，推論過程は不十分なことが多い ◼ 次の論文 • 推論過程のどこで間違えているのかは詳しく分析していない • 次の論文では，場面の情報をまとめる段階の誤りに着目 • 長尺映像のハルシネーションはどこから生まれる？ VRBench # Page. 14 ![Page Image](https://bcdn.docswell.com/page/YJ9L54D8E3.jpg) ELV-Halluc: Benchmarking Semantic Aggregation Hallucinations in Video Understanding Hao Lu, Jiahao Wang, Yaolun Zhang, Ruohui Wang, Xuanyu Zheng, Yepeng Tang, Dahua Lin, Lewei Lu, CVPR2026 # Page. 15 ![Page Image](https://bcdn.docswell.com/page/GJ8XYQ3Z7D.jpg) 概要 ◼ 動画のハルシネーション • 映像に存在しない内容をモデルが出力す る現象 • 言語事前知識やエンコーダの偏り という 説が一般的 ◼ SAH（ Semantic Aggregation Hallucination） • 各フレームの意味は正しく認識できてい るのに，イベント単位にまとめる段階で 誤る現象 • 例：後半のニュースに出た「 Starbucks」を 最初のニュースの内容と回答 ◼ 本研究の目的 • SAHを評価するベンチマ ークの構築＆ その抑制 ELV-Halluc # Page. 16 ![Page Image](https://bcdn.docswell.com/page/LJL84XV1ER.jpg) 関連研究 ELV-Halluc ◼ 動画理解ベンチマーク • Video-MME [Fu+, CVPR2025]， MVBench [Li+, CVPR2024]， LVBench [Wang+, ICCV2025] • ハルシネーションはほとんど評価されていない ◼ 動画のハルシネーション評価 • VideoHallucer [Wang+, arXiv2024]： 映像内／映像外の矛盾を区別 • EventHallusion [Zhang+, arXiv2024]： 言語事前知識による誤りに着目 • VidHalluc [Li+, CVPR2025]： エンコーダの偏りに着目 • 多くが短い動画（平均 11〜86秒）で， SAHは扱っていない # Page. 17 ![Page Image](https://bcdn.docswell.com/page/47M6KLG5JW.jpg) 本研究での提案 ELV-Halluc ◼ ELV-Halluc ベンチマーク • 初めて SAHを細かく評価するための 長尺動画ベンチマーク • イベントごとのキャプションを改変， 映像内／映像外の誤りを作り分け • SAHの度合いを測る指標 SAH Ratioを 提案 ◼ SAHの分析 • イベント数や意味の変化の速さと の関係を調査 ◼ SAHの抑制手法 • 位置エンコーディングの改良 • 強化学習（ RL）による事後学習， DPOによる学習 SAH # Page. 18 ![Page Image](https://bcdn.docswell.com/page/P7RPXKZZJ9.jpg) ベンチマークの構築 ELV-Halluc ◼ 動画の収集 • YouTubeから 500本を収集 • 2〜10個のイベントを含む 348本を採用 • 200本を評価用， 148本を DPOの学習用に • 平均672秒（既存 研究は平均11〜86秒） ◼ キャプションの作成 • Gemini-2.5 Flashがイベントごとに作成 人手で修正 ◼ 誤りキャプションの作成 • GPT-4oが正解キャプションの一部を置換 • 映像内（ In-video） • 同じ動画の別イベントの内容に置換 • 映像外（ Out-of-video） • 動画に存在しない内容に置換 & # Page. 19 ![Page Image](https://bcdn.docswell.com/page/PJX36L917X.jpg) 実験条件 ELV-Halluc ◼ 問題形式 • 「 このキャプションは完全に正しいか ？」 にYes / No • 正解キャプションに Yes，かつ誤りキャプションに Noで正解 • 4つの観点：見た目の詳細，動作，物体 ， 叙述内容（ 計4,800問， 3,200ペア） ◼ 評価指標 • In-video Acc：映像内の誤りを見抜けた割合 • Out-video Acc：映像外の誤りを見抜けた割合 • SAH Ratio = (OutAcc − InAcc) / (1 − InAcc) • 映像外の誤りは見抜けるのに，映像内の誤りは見抜けない度合い ◼ 使用モデル • オープンソースモデル（ 1B〜78B） • Qwen2.5-VL [Bai+, arXiv2025]， Qwen3-VL [Bai+, arXiv2025]， InternVL3 [Zhu+, arXiv2025] など • プロプライエタリモデル • GPT-4o [OpenAI, System Card2024]， Gemini-2.5 Flash [Comanici+, arXiv2025] # Page. 20 ![Page Image](https://bcdn.docswell.com/page/3JKY1LPM7D.jpg) 実験結果 ELV-Halluc ◼ 全モデルで SAHが発生 ◼ SAHと全体の正解率は必ずしも一致しない ※Gemini-2.5 Flash はキャプション作成 に使われたため，直 接比較はできない # Page. 21 ![Page Image](https://bcdn.docswell.com/page/LE39Q3X2E5.jpg) SAHの分析 ◼ イベント数 • イベントが多いほど SAHが増加 • 動画の長さとは一貫した関係なし ◼ 観点ごとの違い • 見た目の詳細 > 動作 > 物体 > 叙述 内容 • 意味的に変化が大きい 観点ほど SAHが高い ELV-Halluc # Page. 22 ![Page Image](https://bcdn.docswell.com/page/8EDG9426EG.jpg) SAHの分析 ◼ フレーム数・モデルサイズ • フレームを増やすと正解率は 上がるが， SAHも増加 • モデルサイズと SAHに一貫し た関係なし ELV-Halluc # Page. 23 ![Page Image](https://bcdn.docswell.com/page/V7P3ZMLZJ8.jpg) SAHの抑制① ◼ 位置エンコーディングの比較 • Qwen2-VL [Wang+, arXiv2024] ベース でRoPEの改良版を比較 • VideoRoPE [Wei+, ICML2025] が最も SAHが低い • 時間構造を保持できる位置エンコーデ ィングが SAHを抑制 ◼ RLによる事後学習 • RLで事後学習された Qwen2.5-VL-32B はSAHが特に低い • Qwen3-VLでも， Thinkingモデルは全 サイズで Instructモデルより SAHが低い ELV-Halluc # Page. 24 ![Page Image](https://bcdn.docswell.com/page/2JV4W9QM7Q.jpg) SAHの抑制② ◼ DPO [Rafailov+, NeurIPS2023] による学習 • Qwen2.5-VL-7Bを学習 • 正解キャプションを 正例， 誤り キャプションを 負例と する • 映像内／映像外の誤り （ 各4k，計 8kペア ） ◼ 結果 • 映像内の誤りで学習 すると SAHが 27.7%減少 • 映像外の誤りで学習すると SAHは むしろ増加 • 言語事前知識に頼っている？ ELV-Halluc # Page. 25 ![Page Image](https://bcdn.docswell.com/page/5EG1DZWXJL.jpg) ここまでのまとめ ELV-Halluc ◼ 論文のまとめ • 情報をまとめる段階のハルシネーション（ SAH）を定義 • SAHを評価する ELV-Hallucを構築 • イベントが多く，意味の変化が速いほど SAHが増加 • 位置エンコーディング， RL， DPOでSAHを抑制 ◼ 次の論文 • 今回の対策はモデル内部の改善で，動画も平均約 11分 • 数時間〜数日の映像は，そもそも一度にモデルへ入力できない • モデルの外に記憶を持たせて，必要な情報だけ取り出せないか？ # Page. 26 ![Page Image](https://bcdn.docswell.com/page/4JQD1L357P.jpg) WorldMM: Dynamic Multimodal Memory Agent for Long Video Reasoning Woongyeong Yeo, Kangsan Kim, Jaehong Yoon, Sung Ju Hwang, CVPR2026 # Page. 27 ![Page Image](https://bcdn.docswell.com/page/K74ZRD1VE1.jpg) 概要 WorldMM ◼ 長尺映像の課題 • 数時間〜数日の動画は全フレームを入力できない • 既存手法 • テキストの要約頼り &無関係なフレームに惑わされる ◼ 本研究の目的 • テキストと映像の両方を記憶し，質問に応じて使い分けるエージェントの提案 # Page. 28 ![Page Image](https://bcdn.docswell.com/page/LJ1RQZG4JG.jpg) 関連研究 WorldMM ◼ 長尺動画向けLLM • LongVU [Shen+, ICML2025]， VideoChat-Flash [Li+, ICLR2026]， VideoTree [Wang+, CVPR2025] • 10時間を超える動画では性能が大きく低下 ◼ RAGを用いた動画理解 • Video-RAG [Luo+, NeurIPS2025]， HippoRAG 2 [Gutiérrez+, ICML2025] • テキストや単純な類似度による検索に依存 LongVU [Shen+, ICML2025] ◼ 記憶を持つエージェント • EgoRAG [Yang+, CVPR2025]， Ego-R1 [Tian+, arXiv2025]， M3-Agent [Long+, ICLR2026] • マルチモーダルな情報の統合や，時間幅を変えた 検索ができない M3-Agent [Long+, ICLR2026] # Page. 29 ![Page Image](https://bcdn.docswell.com/page/GJW1M9KZE2.jpg) 提案手法の概要 WorldMM ◼ 3段階で構成 • （左） • （中） • （右） 記憶の構築： Episodic / Semantic / Visual Memory 適応的な検索：質問に応じて記憶の種類と時間幅 の選択と 検索を 反復 回答の生成：検索結果と検索履歴から回答 # Page. 30 ![Page Image](https://bcdn.docswell.com/page/4EZPQ9ZLJ3.jpg) 1. Episodic Memory ◼ 役割 • 「 いつ・何が起きたか」という事実を記憶 ◼ 構築方法 • 動画を短い区間に分割し，フレームと音声 の書き起こしからキャプションを生成 • キャプションをまとめて，より長い時間幅 のキャプションも生成 • 例： 30秒 / 3分 / 10分 / 1時間 • キャプションを（主体，動作，対象）の 3つ 組に変換し，時間幅ごとに知識グラフを作 成 ◼ 検索 • グラフ上で Personalized PageRankにより検 索し， LLMが時間幅をまたいで並べ替え WorldMM # Page. 31 ![Page Image](https://bcdn.docswell.com/page/Y76M6KZMEV.jpg) 2. Semantic Memory WorldMM ◼ 役割 • 長期的な知識を記憶 （人物の習慣など） ◼ 構築方法 • 長い区間から概念的な tripletを抽出し 1つのグラフに統合 • 似たtriplet（類似度 0.6以上）は LLMが削除・更新を判断 • 新しい情報で知識を更新し続ける ◼ 検索 • Personalized PageRankで関連する 3つ組を上位 10件取得 例. 1つの出来事からは分からない 「習慣」を Semantic Memoryで回答 # Page. 32 ![Page Image](https://bcdn.docswell.com/page/G75Z6PWQJ4.jpg) 3. Visual Memory WorldMM ◼ 役割 • テキストでは失われる映像の細部記憶 ◼ 2種類の検索 • 特徴量メモリ • 区間を VLM2Vec-V2 [Meng+, TMLR2026]で埋め込み，テキストと の類似度で検索 • タイムスタンプメモリ • 時刻を指定してフレームを直接取得 例. キャプションにない「焼いた物」 をフレームから確認して回答 # Page. 33 ![Page Image](https://bcdn.docswell.com/page/9J2RM6QW7R.jpg) 4. 適応的な検索と回答生成 ◼ 検索エージェント • 質問とこれまでの検索履歴を見て，次の 行動を決定 • どの記憶を使うか＋検索クエリ • または検索終了（ STOP） • 十分な情報が集まるまで繰り返す • 最大5回 ◼ 回答エージェント • 質問，検索結果，検索履歴 を利用 WorldMM # Page. 34 ![Page Image](https://bcdn.docswell.com/page/DEYDX9W9EM.jpg) 実験条件（データセット＆評価指標） WorldMM ◼ データセット • EgoLifeQA [Yang+, CVPR2025] • Ego-R1 Bench [Tian+, arXiv2025] • 1週間分の一人称視点動画（平均 44.3 時間） • HippoVlog [Lin+, arXiv2025] • Vlog動画（平均 0.45時間） • LVBench [Wang+, ICCV2025] • 一般的な長尺動画（平均 1.14時間） • Video-MME [Fu+, CVPR2025] • 一般的な長尺動画（平均 0.69時間） ◼ 評価指標 • 選択式問題の正解率 LVBench [Wang+, ICCV2025] # Page. 35 ![Page Image](https://bcdn.docswell.com/page/VJN61L9DJ8.jpg) 実験条件（ベースライン＆使用モデル） ◼ ベースライン • ベースモデル（ 0.5fps，最大 768フレーム） • GPT-5 [OpenAI, arXiv2025]， Gemini 2.5 Pro [Comanici+, arXiv2025]， Qwen3-VL8B [Bai+, arXiv2025] • 長尺動画向けLLM • VideoChat-Flash [Li+, ICLR2026]， TimeR1 [Wang+, NeurIPS2025]， Video-RTS [Wang+, EMNLP2025] • RAG • HippoRAG 2 [Gutiérrez+, ICML2025]， LightRAG [Guo+, EMNLP Findings2025]， Video-RAG [Luo+, NeurIPS2025] • 記憶を持つエージェント • EgoRAG [Yang+, CVPR2025]， Ego-R1 [Tian+, arXiv2025]， HippoMM [Lin+, arXiv2025]， M3-Agent [Long+, ICLR2026] WorldMM ◼ 提案手法 • 使用モデル • WorldMM-GPT： GPT-5 • 記憶の構築にはGPT-5-miniを使 用 • WorldMM-8B： Qwen3-VL-8BInstruct # Page. 36 ![Page Image](https://bcdn.docswell.com/page/YE9L542873.jpg) 実験結果 ◼ 全データセットで WorldMMGPTが最も高い性能 • 最も強いベースライン (GPT-5)よ り平均 8.4pt向上 • WorldMM-8Bもベースモデル (Qwen3-VL-8B)より平均 8.3pt向 上 WorldMM # Page. 37 ![Page Image](https://bcdn.docswell.com/page/GE8XYQ5ZJD.jpg) Ablation Study ◼ QA種別ごとのメモリの使い方 • 習慣・関係： Semantic Memory • 物・出来事の想起： Visual Memory ◼ 記憶の組み合わせ • Episodicが基盤で， 3種類を組み合わせたものが 最も高い WorldMM # Page. 38 ![Page Image](https://bcdn.docswell.com/page/LEL84XY17R.jpg) まとめ WorldMM ◼ 論文のまとめ • テキストと映像の 3種類の記憶を持つエージェント WorldMMを提案 • 質問に応じて記憶の種類と時間幅を選び，検索を繰り返す • 5つのベンチマークで最高性能 ◼ 全体のまとめ • 「 長尺映像理解をどう評価するか」という観点で VRBench， ELV-Hallucを紹介 • 答えが合っていても推論過程や情報の集約で誤っている • 「 長尺映像をどう記憶するか」という観点で WorldMMを紹介 • モデルの外に記憶を持たせ，必要な情報を取り出して推論 # Page. 39 ![Page Image](https://bcdn.docswell.com/page/4JM6KLN5EW.jpg) 補足 # Page. 40 ![Page Image](https://bcdn.docswell.com/page/PJRPXKDZE9.jpg) VRBenchの実験結果の表（ LLMs） # Page. 41 ![Page Image](https://bcdn.docswell.com/page/PEX36L11JX.jpg) VRBenchの実験結果の表（ VLMs） # Page. 42 ![Page Image](https://bcdn.docswell.com/page/3EKY1L2MJD.jpg) 分析 ◼ 推論モデルの効果 • o1-previewはGPT-4oより総合 4.3pt高い • 推論過程のスコアは伸びるが 正しい答えにつなげるのはまだ課題 ◼ 入力フレーム数 • フレームが多いモデルほど高性能 • Qwen, Kimiなど • フレームが少ないと MCQはランダムに 近い VRBench # Page. 43 ![Page Image](https://bcdn.docswell.com/page/L739Q34275.jpg) DPO [Rafailov+, NeurIPS2023] ELV-Halluc ◼ 従来のRLHFでは，報酬モデルの学習と強化学習（ PPO）が必要であり，学習が 複雑で不安定になりやすい． ◼ DPOは，好ましい回答と好ましくない回答のペアを用い，報酬モデルや強化学習 を必要とせず，分類損失によって言語モデルを直接最適化する手法． ◼ 実験では，文章要約や対話生成において従来の PPOベースの RLHFと同等以上の 性能を示し，より簡潔で安定した学習を実現． # Page. 44 ![Page Image](https://bcdn.docswell.com/page/87DG94Q67G.jpg) Ablation Study ◼ 検索の回数 • 最大回数を 1回→5回にすると EgoLifeQAで9.3%向上 ◼ その他 • 時間幅を固定すると性能が低下 WorldMM