精读笔记

Problem Setting

[ReQuest: Rethinking-based Question-Aware Frame Selection for Long-Form Video QA]（arXiv preprint / 2026-07-03）

这篇论文实际处理的是长视频 QA 的 test-time evidence selection，而不是提升 MLLM 的视频推理架构。给定固定视觉 token/帧预算，系统必须在长时间轴上挑出少量对当前问题有用的帧。真正困难点在于 decisive evidence 往往稀疏、短暂、局部，而且不一定包含问题里的显式名词；因此“看更多帧”和“看更清楚”之间存在硬 trade-off。

以前方法主要卡在两端：uniform sampling 成本低但没有问题适配，长视频里漏证据是结构性问题；CLIP/SigLIP/BLIP 相似度检索能 question-conditioned，但它优化的是视觉-文本表面语义接近，不是回答正确性的边际贡献；MLLM-agent/MLLM-selector 更懂问题，但成本高，通常要先稀疏观察，导致早期漏掉的信息不可恢复。这个任务的关键矛盾就是：要全局搜索长视频证据，但又不能对每个问题都用重型 MLLM 逐帧推理。

Motivation

作者的核心动机不是“再做一个 frame selector”，而是指出相似度作为 frame importance proxy 本身不够。很多 QA 里的关键帧并不直接匹配问题词，例如问题问“哪天不运动”时，证据可能是日程、字幕、上下文缺失模式，而不是某个和问题词强匹配的物体。相似度检索会偏向 lexical/object overlap，却不一定捕捉 answer-discriminative evidence。

关键缺口是：现有选择器缺少回答模型视角下的 supervision。一个帧是否重要，应由它是否改变 MLLM 对正确答案的信念来定义，而不是由它和问题 embedding 的距离来定义。进一步，额外检索并非所有样本都需要；只有 first-pass MLLM 不确定时，dense observation 才有较高边际收益。因此论文自然走向 uncertainty-triggered retrieval：用模型自己的不确定性决定是否投入更多视觉计算。

Core Idea

论文真正的核心思想是把长视频 QA 的帧选择改写为“回答模型的证据贡献估计”。训练时，用 MLLM 对某个视频 segment 的正确选项概率减去 masked-visual baseline 的正确选项概率，作为该 segment 的视觉贡献分数。这个设计试图剥离 text-only prior，让 selector 学到“这段视觉信息是否真的推动了正确答案”，而不是“这帧看起来是否像问题”。这是它和 prior 的本质差异。

第二层思想是把长视频处理变成条件式 test-time compute。先用 uniform sampling 得到一个便宜的一阶回答；如果熵高，说明当前帧集不足以支持稳定判断，于是触发 re-thinking，使用轻量 selector 在更大候选集合里重新分配帧预算。这个 pipeline 的 inductive bias 很明确：uncertainty ≈ missing evidence，video length ≈ uniform sampling failure risk，selector score ≈ answer-relevant evidence density。它更 scalable 的原因不是完全省计算，而是把 dense candidate search 限定在“不确定样本”上，并把昂贵的 MLLM 语义理解蒸馏成轻量检索器。

Method

方法层面可以压缩成三个必要机制。

1. Response-guided selector：它解决的是相似度 selector 不知道“什么帧会改变答案”的问题。训练信号来自 MLLM response delta，即 segment visual input 相对 masked visual baseline 对正确选项概率的增量。核心变化是从 representation similarity 转向 answer-contribution regression。

2. Re-thinking router：它解决的是全样本 dense selection 成本不可接受的问题。先用 uniform frames 让 MLLM 给出选项分布，用 entropy 估计不确定性，再用视频长度降低触发阈值。它不是 learned planner，而是 cost-aware gating rule；价值在于避免把 selector 和第二次 MLLM inference 浪费在已经容易的问题上。

3. Uncertainty-adaptive NMS：它解决的是 top-k 选帧容易重复、固定间隔不适配问题难度的问题。selector 给出每帧分数后，NMS 保证 temporal diversity；熵越高，抑制间隔越小，允许在局部密集区域抓多个候选。核心变化是把“覆盖 vs. 聚焦”的取舍交给 first-pass uncertainty 调节。

Key Insight / Why It Works

最重要的 insight 是：长视频 QA 的瓶颈经常不是 MLLM 不会推理，而是输入帧没有包含 decisive evidence；因此提升性能的有效路径是 evidence retrieval，而不是继续堆回答模型。ReQuest 的增益大概率主要来自 retrieval quality + test-time compute allocation，而不是所谓 re-thinking 产生了新的 reasoning capability。

真正核心贡献是 MLLM-response supervision。相比相似度监督，它把 selector 对齐到 answering objective：某帧重要，因为它改变正确答案概率，而不是因为它和问题在 embedding space 接近。这是一种弱 counterfactual signal，虽然不严格因果，但比 CLIP-style relevance 更贴近 QA。Table 8 中 response supervision 明显优于 feature/model similarity supervision，支持这一点。

router 是有用但更像工程上合理的 compute gating。它能提升 cost-accuracy trade-off，但技术新意有限：entropy routing、length-aware threshold、second-pass retrieval 都是已有 test-time compute 思路的组合。Adaptive NMS 也是辅助项，贡献主要在长视频里减少冗余和允许局部密集证据；它不像 selector supervision 那样改变问题建模方式。

需要直接判断的是：这篇的“rethinking”命名偏强。系统并没有构建长期记忆、显式规划或多步 temporal reasoning；它是在 first-pass 不确定后重新检索更好的帧，再让同一个 MLLM 重答。更准确地说，它是 uncertainty-triggered question-aware retrieval。若 benchmark 中答案依赖可见短证据帧，这种方法很有效；若问题需要跨长时间状态累积、事件因果链或非局部计数，selector 的单帧/segment contribution 假设会触顶。

Relation To Prior Work

它最接近三条路线：query-aware frame selection、MLLM-based frame selection、long-video test-time search。和 CLIP/SigLIP/BLIP 相似度检索相比，本质差异是监督目标从 semantic matching 变成 answer-likelihood contribution；这是实质创新。和 Frame-Voyager、M-LLM frame selection 这类用 MLLM 产生排序/重要性信号的方法相比，它的差异在于把重型 MLLM 的判断离线蒸馏到轻量 BLIP-based selector，并用 router 避免全量触发。

看似新的部分里，re-thinking routing、entropy threshold、NMS spacing 更像已有思想重组：active inference、selective computation、uncertainty-based retrieval、temporal NMS 在别的场景都很常见。真正新增的信息是：用 masked-visual baseline 下的 MLLM option probability delta 作为 frame/segment selection supervision，并证明这种信号在长视频 QA 上比相似度更贴近证据定位。

在技术谱系上，它不是视频基础模型路线，也不是 memory architecture 路线，而是 plug-and-play retrieval front-end / adaptive input allocation。它把 MLLM 当成固定回答器，把研究重点放在“给 MLLM 喂什么”。

Dataset / Evaluation

评测覆盖 Video-MME、MLVU、LongVideoBench，基本能覆盖多类长视频 QA 场景，并且包括不同视频长度区间；从 claim 来看，medium/long subset 的提升确实比 short 更关键，支持“uniform sampling 在长视频中更容易漏证据”的论点。跨 LLaVA-Video、LLaVA-OneVision、Qwen3-VL、Qwen3-VL-32B 的结果也支持 plug-and-play 和一定程度的 transferability。

但 evaluation 仍主要是 offline benchmark。它验证了在这些 benchmark 上更好的 frame allocation 能涨分，没有充分验证真实部署中的 streaming、低延迟、长达小时级视频、非多选自由问答的鲁棒性。开放式 VQA 只做了有限补充，而且 uncertainty 从选项熵换成生成 token entropy 后，是否同样校准，文中未充分说明。

另一个问题是训练数据和评测生态可能同源：使用 LLaVA-Video-178K 多选数据生成 pseudo-label，再在流行长视频 QA benchmark 上评测，不能完全排除 benchmark 风格、问题模板或视觉证据分布的 overlap。泛化结果有价值，但还不足以证明 selector 学到了通用视频证据定位能力。

Limitation

第一，方法强依赖 MLLM 概率作为监督和 routing 信号。但 MLLM option logits 往往校准不好，且会受语言先验、选项格式、prompt template 影响。masked visual baseline 能减轻 text prior，但不能保证 Δci 是真实视觉贡献；它可能只是模型对某些 segment 的偶然偏置。

第二，pseudo-label 的质量上限由 teacher MLLM 决定。如果 teacher 对某类问题本来就错、依赖 shortcut 或被选项诱导，selector 会把这些偏差蒸馏下来。文中未充分说明如何处理 teacher 错误贡献、负贡献帧、多个互补证据帧之间的 interaction。

第三，所谓全局探索仍要先 decode/encode 大量候选帧。Table 2 显示 dense observation 下 decode 和 feature extraction 是主要成本，实际部署并不轻。ReQuest 是 plug-and-play 于 MLLM，不是 plug-and-play 于 real-time video system。

第四，方法把 reasoning 难题部分转移成 retrieval 难题。对答案依赖单个或少数 decisive frames 的任务，它很合适；对需要长期状态维护、跨事件聚合、时间顺序推断、多段证据组合的问题，单帧打分 + NMS 可能不够。它没有真正建模 latent temporal structure。

第五，增益归因仍不完全清晰。额外一次 inference、候选帧观察范围扩大、response-distilled selector、adaptive NMS、routing 阈值调参都同时存在。虽然有 ablation，但还不能完全拆出“rethinking”本身的贡献。

Takeaway

• 1. 长视频 MLLM 的关键不一定是接收更多帧，而是把有限 token 分配给 answer-discriminative evidence；frame allocation 会成为比 frame capacity 更重要的系统层问题。
• 2. 对 selector 来说，最有迁移价值的监督不是 image-text similarity，而是回答模型的 belief change。
• 这个思想可以迁移到文档 QA、GUI agent、长上下文检索、多模态 RAG：检索目标应对齐 downstream answer likelihood，而不是 embedding relevance。
• 3. ReQuest 代表一种很实用的方向：冻结大模型，用轻量模块学习其 evidence preference，再用 uncertainty 做 test-time compute gating。

一句话总结

ReQuest 是一篇把长视频 QA 从“均匀喂更多帧”推进到“基于回答模型信念变化的自适应证据检索”的工作，真正贡献在于 response-supervised frame selection 与 uncertainty-triggered test-time compute，而不是新的视频推理模型。