精读笔记

Problem Setting

论文标题：Towards High-Resolution Visual Perception via Hierarchical Entity Exploration（arXiv preprint / 2026）。这篇论文处理的不是一般意义上的高分辨率输入，而是固定输入分辨率 MLLM 在 HR 场景中无法稳定保留小目标、OCR、局部属性和跨实例细节的问题。真正困难点在于：相关证据通常只占图像很小区域，但如果直接 resize 会丢细节；如果裁剪搜索，又容易把实体切碎或引入大量背景。以往方法卡在搜索单元过于几何化：grid、patch、固定尺度 crop 都不理解 object boundary。关键矛盾是，模型需要更局部的视觉证据，但局部化本身如果不语义化，就会破坏证据完整性。

Motivation

作者对已有路线的批评是比较准确的：训练式 zoom / tool-use 方法成本高且跨模型迁移差；training-free grid search / patch retrieval 虽然便宜，但搜索空间仍然由人工几何划分定义。论文最有价值的 motivation 是背景干扰分析：他们试图证明 crop 的收益并不只来自目标放大，而是来自背景被移除。这个观察把问题从“如何放大目标”改写成“如何构造高 foreground-ratio 且保持实体完整的候选视野”。缺口因此变成：需要一种不训练、可迁移、但带有 object-level inductive bias 的 test-time perception 策略。

Core Idea

HEE 的核心思想是把高分辨率视觉感知从静态整图问答改成动态实体探索。它不再把图像看成均匀像素平面，而是先通过检测器把场景离散成实体，再把实体聚合成层级节点，用 query relevance 和 VLM confidence 决定向哪里看、何时停止、何时回退。

本质区别在于搜索空间的定义变了：ZoomEye / RAP 的节点是几何 patch，HEE 的节点是检测实体或实体簇。这个改变引入了很强的先验：视觉问答中的有效证据通常依附于完整物体或物体局部，而不是任意矩形网格。这个先验使它理论上更 scalable：不必穷举所有 patch，而是把 test-time compute 分配给更可能携带语义证据的区域。它的 generalization 也主要来自这种外部实体先验，而不是 MLLM 自身学到了新的高分辨率能力。

Method

方法层面只需要抓住三个机制。第一，entity-based partitioning 解决的是搜索单元错误问题：用检测框和实体簇替代 grid，尽量保证候选区域包含完整对象并减少背景比例。它带来的核心变化是把视觉 token 预算花在语义前景上，而不是均匀覆盖像素。

第二，dual scoring 解决的是候选区域排序问题：CLIP / SigLIP 类相似度提供粗粒度 query-region alignment，目标 VLM confidence 提供任务相关的可回答性判断。这里真正重要的是后者，因为它让搜索不只是 text-image retrieval，而是带有 answerability check 的局部验证。

第三，confidence-guided backtracking 解决的是贪心搜索不可恢复的问题。单一路径 zoom-in 一旦选错区域，后续所有计算都会浪费；回溯把未展开候选保留下来，使过程更像受限 beam search。它不是复杂规划，但能显著降低早期误选的灾难性影响。

Key Insight / Why It Works

这篇论文最值得记住的 insight 是：HR crop 的有效性很可能主要来自 foreground purification，而不是单纯 resolution amplification。这个判断如果成立，就解释了为什么几何 patch 方法存在上限：无论 patch 多小、多密、多轮，只要边界不跟实体对齐，就会同时遭遇 object fragmentation 和 background interference。

HEE 有效的主要原因不是“层级”本身，而是 detection prior 改变了候选分布。它把原来均匀像素空间上的搜索，转成以实体为中心的 sparse retrieval。因而这更接近 retrieval + test-time compute allocation，而不是 MLLM perception capability 的内生提升。双评分和回溯是稳定性增强项：双评分减少无关实体被选中，回溯减少贪心失败；但核心贡献仍是实体化搜索单元。

我会把它归类为 better inductive bias + external perception tool + test-time compute。不是 scaling，也不是训练数据带来的新能力；但它确实把 DINO-X 和 SigLIP 的外部视觉能力注入到了 MLLM 推理流程中。因此若说“model-agnostic”是成立的，前提是外部 detector / aligner 本身足够强。文中未充分说明的地方是：性能提升中有多少来自更好的 detector coverage，有多少来自层级搜索策略；尤其 DINO-X 本身可能已经承载了大量语义定位能力。

Relation To Prior Work

最接近的路线是 ZoomEye、RAP、ViCrop、DC2 这类 training-free high-res search / crop 方法，以及 DeepEyes 这类训练式 visual tool-use 方法。HEE 与 training-based tool-use 的区别是它不学习策略，而是用检测器和启发式评分构造策略；与 RAP / ZoomEye 的区别是搜索单元从 geometry patch 变成 semantic entity。

看似新的部分如递归探索、候选评分、回溯，其实在搜索式视觉推理中并不新；实质创新在于把 object detection 作为 test-time search space constructor，并明确指出背景干扰是几何划分的核心瓶颈。它属于“外部视觉工具增强 MLLM”的技术谱系，而不是 native high-resolution encoder 或 end-to-end multimodal reasoning 的谱系。

它新增的信息不是一个复杂算法，而是一个强归因：高分辨率感知失败的很大一部分来自错误的区域组织方式。这个判断比具体 HEE pipeline 更可迁移。

Dataset / Evaluation

评测覆盖了 Visual Probe、HR-Bench 和 MME-RealWorld，整体上能覆盖小目标搜索、4K/8K 细粒度感知、OCR、遥感、监控等高分辨率场景。实验也跨了 Qwen2.5-VL、InternVL2.5、LLaVA-OneVision，说明它不是单一模型特化 trick。

不过这些 benchmark 更能验证“entity-guided crop retrieval 对离线 VQA 有帮助”，还不能充分验证“通用 HR perception framework”。原因是多数任务仍可被局部证据检索解决；对全局关系、密集计数、多实体交互、长链视觉规划的覆盖不够。效率实验显示 HEE 比 RAP / ZoomEye 快，但这里的公平性依赖检测器调用、缓存、硬件实现和候选数量设定，文中未充分说明端到端部署成本。真实系统里 DINO-X 的延迟和可用性可能是主要瓶颈。

Limitation

第一，HEE 把问题从 MLLM high-res perception 转移到了 detector coverage 和 detector granularity。只要答案相关区域不是检测器能稳定捕获的 object，或者需要理解非实体化证据，如纹理、全局布局、关系模式、异常区域，实体先验就可能失效。

第二，VLM confidence 被当作 answerability signal，但多模态模型的置信度通常并不可靠。论文的 failure case 已经显示模型可能经过正确区域后漂移到 hallucinated high-confidence 区域。这说明回溯只能修复搜索路径错误，不能修复 confidence calibration 错误。

第三，所谓 hierarchical exploration 更像局部 retrieval policy，不是强 reasoning / planning。它没有长期状态建模，也没有显式维护跨区域证据组合；如果问题需要多个远距离实体共同推断，单路径展开加回溯可能不够。

第四，泛化 claim 要谨慎。跨模型有效说明 pipeline 可迁移，但不等于认知泛化；它可能主要依赖 DINO-X / SigLIP 在这些 benchmark domain 上的覆盖。若 benchmark 与 detector 预训练分布重合较高，增益可能被外部工具能力放大。文中未充分说明 hidden supervision 或外部模型数据覆盖对结果的影响。

Takeaway

• 1. 高分辨率 MLLM 的一个核心问题不是只缺 token，而是视觉证据被错误组织；entity-aware search 是比 uniform patch 更合理的 inductive bias。
• 2. 这篇论文真正推动的是 test-time perception pipeline 的设计：用外部 detector 构造 sparse semantic search space，再用 MLLM 做局部 answerability verification。
• 3. 可迁移 insight 是 foreground purification：在很多视觉推理任务中，减少背景干扰可能比继续放大目标更重要。
• 4. 未来更值得做的是把 entity search 从单区域检索扩展到多实体证据组合，并解决 detector dependence 和 confidence calibration，而不是继续调 grid / crop 策略。

一句话总结

HEE 是一篇把高分辨率 MLLM 感知从几何 patch 搜索推进到实体先验驱动 test-time retrieval 的工作，核心贡献在于重新定义搜索单元，而不是提升模型本体的视觉理解能力。