精读笔记

Problem Setting

这篇论文真正处理的是高分辨率细粒度感知中的 evidence acquisition 问题：给定一个 UHR 图像和带有属性/空间关系的 query，如何在极少数 MLLM forward 内找到足够支持最终回答的局部视觉证据。难点不只是“目标小”，而是目标常常只占 0.2%–1% 面积，且关系问题需要同时覆盖多个对象；单个错误 crop 会造成 contextual void。以前方法的瓶颈在于搜索空间和搜索策略之间的矛盾：离散网格会切碎语义，grounding proposal 会漏掉长尾目标，无先验搜索成本高，静态 prior 裁剪又不可纠错。关键矛盾是：需要利用 MLLM 已有的内部语义先验来省 compute，但又不能相信这个先验到把搜索锁死。

Motivation

已有路线缺的是一个“可被修正的先验”。prior-free 搜索把图像当未知空间从零开始探索，理论上稳但实际 interaction budget 太贵；prior-driven 搜索直接把 CLIP similarity、object noun embedding 或某层 attention 当作最终裁剪依据，效率高但过度依赖一次性判断。作者的核心观察是：MLLM attention 不是没用，而是不能以 greedy heuristic 的方式使用；它更适合作为 Bayesian belief 的 initial mean。另一个观察是 full-layer attention rollout 在深层 MLLM 上会过度平滑/发散，中间层反而更保留 query-conditioned visual focus。因此缺口不是再训练一个 search policy，而是在 inference time 给已有弱定位信号加 posterior correction。

Core Idea

BVS 的核心思想是把视觉搜索建模为连续空间-尺度流形上的全局优化：每个候选观测点是一个位置加尺度，目标函数是该 crop 对 query 的未知 relevance。MLLM 的内部 attention 先验给出初始 belief，局部 crop 的 MLLM 打分提供 noisy observation，GP posterior 把二者合并，GP-UCB 决定下一步看哪里。

这个建模改变了信息流：prior 不再直接决定裁剪结果，而是影响早期搜索分布；局部观测不再只是一次性验证，而是持续修正全局 posterior。和 prior-driven 方法的本质差别是 self-correction；和 prior-free 方法的本质差别是 warm-started active search。它引入的 inductive bias 是：视觉相关性在空间和尺度上具有相关结构，但这种相关结构随 zoom level 改变。这个 bias 比固定网格或单层 attention 更 generalizable，因为它不要求目标恰好落在预定义 patch 内，也不要求 initial prior 完全正确。

Method

关键机制可以压缩为三件事。第一，Early-stop Attention Rollout 解决的是 prior 的语义覆盖问题：直接用 object noun 或浅层 embedding 会丢逻辑约束，full rollout 又会把注意力传播到浅层噪声而发散；中途停止相当于保留深层 query-conditioned signal，同时避免低层过平滑。第二，Scale-Aware Non-stationary Kernel 解决的是多尺度搜索的信息共享问题：粗尺度 crop 的小位移不敏感，细尺度 crop 的小位移可能导致目标出界；如果用普通 stationary kernel，会错误假设所有尺度下空间相关长度一致。第三，Information Consolidation 解决的是最终输入预算问题：posterior 不只选一个最高分 crop，而是聚合多尺度高置信区域并 squeeze 掉无关背景，这对多对象空间关系尤其重要。

MLLM 在这里扮演两个角色：一个是 prior generator，一个是 relevance oracle。前者提供全局但噪声较大的信号，后者提供局部但昂贵的反馈。BVS 的价值在于把二者组织成闭环，而不是在某个模块上发明了新的视觉表征。

Key Insight / Why It Works

最核心的有效性来自 better inductive bias + test-time compute，而不是模型本身获得了新的 perception capability。BVS 把“看哪里”这个问题从 heuristic crop selection 变成 posterior inference：即使 initial attention 有偏，GP-UCB 也会因为不确定性项去探索未观测区域；即使局部 oracle 有噪声，多次观测也能平滑掉一部分错误。这比 greedy attention crop 更抗局部最优。

最可能是真正贡献的是 scale-aware BO framing，而不是单独的 attention rollout。early-stop attention prior 很有用，但更像一个 strong warm start；如果没有 posterior correction，它仍然会落入 prior-driven 方法的问题。scale-aware kernel 的贡献在于让跨尺度观测可以合理共享信息：粗尺度用于快速定位区域，细尺度用于确认小目标，这正好匹配 UHR fine-grained perception 的搜索结构。

也要直接说，所谓“Bayesian”部分的理论保证主要是把问题放进 GP-UCB 标准框架后得到的形式化支撑，依赖 residual function 在 RKHS 中有界、kernel 合理、oracle 噪声可控等强假设。实际收益更可能来自工程上把 attention prior、局部打分、multi-region squeeze 串成了高效 test-time retrieval pipeline。这里的“推理”很大程度不是新的 reasoning，而是更可靠地把相关视觉证据送进原 MLLM。

Relation To Prior Work

BVS 最接近 inference-time visual refinement / active perception 这条线，包括 ZoomEye、RAP、ViCrop、FOCUS、DyFo，以及训练式的 DeepEyes、Thyme、PixelReasoner。它与 ViCrop/FOCUS 的相似点是利用 MLLM 内部信号作为 saliency prior；不同点是 BVS 不把 saliency map 当最终裁剪，而是把它作为 GP prior mean。它与 ZoomEye/DyFo 的相似点是多轮搜索；不同点是 BVS 不是树搜索或离散 patch traversal，而是连续空间-尺度上的 acquisition optimization。

看似新的部分里，GP-UCB、attention rollout、Paciorek-Schervish non-stationary kernel 都不是新思想；实质创新在于把这些已有思想重组到 MLLM UHR visual search，并且用 scale-dependent covariance 对齐 zoom search 的结构。它属于“training-free test-time compute for perception”的技术谱系，而不是“训练出更强 MLLM”或“端到端 planner”。真正新增的信息是：MLLM 内部 attention 可以作为可纠错 prior，而不是只能作为一次性 localization signal。

Dataset / Evaluation

实验覆盖了 V*、HRBench 4K/8K 和 MMStar，基本覆盖了论文声称的高分辨率细粒度感知场景，并且包含 attribute、spatial、single-object、cross-object 等不同类型。结果支持 BVS 在细粒度 UHR benchmark 上改善 accuracy-efficiency Pareto frontier，尤其是少步数搜索时比普通 Matérn 和其他 training-free 方法更有效。

但 evaluation 仍主要是离线 benchmark，没有真实部署、交互延迟、内存占用、失败恢复或动态场景测试。MMStar 上 fine-grained perception 提升但 reasoning 类别下降，说明 BVS 是感知增强器，不是通用推理增强器。benchmark 是否完全验证“global optimization over continuous manifold”也存疑，因为实际 acquisition 必然要离散候选化；文中未充分说明候选生成和搜索实现对结果的影响。另一个潜在问题是使用 proxy model 构建 offline attention cache，这虽然作者声称不引入更强 prior，但仍让系统复杂度和实际端到端成本变得不够透明。

Limitation

第一，方法高度依赖 initial attention prior 的 coverage。GP-UCB 理论上能探索，但默认 5 步预算下，如果 prior 完全漏掉小目标，靠不确定性恢复的概率未必高；文中没有充分展示 hard miss cases。第二，MLLM relevance oracle 的打分 prompt 明确偏向 noun presence，并要求忽略 action/position，这会让搜索阶段更像实体检索，而非关系理解；最终关系推理仍由 base MLLM 完成。因此 BVS 可能只是把关系任务拆成“找齐名词证据 + 原模型回答”。

第三，理论上漂亮的 regret bound 依赖 residual RKHS norm、有界噪声、紧致域、kernel 匹配等假设，这些在 MLLM crop scoring 上都很难验证。第四，scalability 上限不清：GP 在少步数下便宜，但如果扩展到视频、多目标开放词汇、多轮规划或非常大候选空间，acquisition optimization 和 oracle query 成本可能迅速上升。第五，增益归因仍不完全清楚：early-stop prior、BO posterior、scale-aware kernel、squeezing、proxy cache、prompted scoring 各自贡献没有被完全隔离。部分提升可能主要来自更好的 test-time retrieval / compression，而不是 Bayesian optimization 本身。

Takeaway

• 1. 值得记住的不是“用 GP 做搜索”，而是把 MLLM 内部 saliency 从 hard decision 变成 soft prior，并允许后验纠错；这个思想可以迁移到文档检索、视频帧选择、工具调用路由等 test-time selection 问题。
• 2. UHR perception 的关键不是盲目提高输入分辨率，而是构造一个 evidence bottleneck：只把足够回答问题的视觉证据送进模型。
• BVS 提供了一个比 greedy crop 更稳的组织方式。
• 3. 多尺度任务需要 scale-aware inductive bias。

一句话总结

BVS 是一类 training-free、test-time active perception 方法的代表：它的真正贡献是把 MLLM 的不可靠视觉先验改造成可后验纠错的贝叶斯搜索过程，从而在 UHR 细粒度感知中更高效地检索并压缩关键视觉证据。