精读笔记

Problem Setting

这篇论文实际处理的是 MLLM 视觉-语言感知研究的“组织方式”问题，而不是提出一个新的 perception 模型。作者把问题限定在自然语言条件下的 region / instance / pixel-level visual evidence extraction：模型不仅要回答，还要能找到、重读、结构化表达和验证视觉证据。困难点在于，MLLM 的感知能力并不等价于 vision encoder 的分辨率或 detector 的精度，而是跨越视觉 token、语言 token、空间引用、结构化输出、外部工具、奖励信号和测试时计算的系统能力。以前方法的问题是研究轴过于碎片化：检测、分割、grounding、VQA、CoT、tool use 各自优化，导致很难判断一个方法到底是在提升 representation alignment、localization prior、data coverage，还是只是借助更强工具或更大模型。关键矛盾是：感知任务需要细粒度、局部、可验证的视觉证据，而 MLLM 的主干能力天然偏向全局语义压缩和语言生成；如何让模型在开放语言接口下保持局部证据的可访问性，是整条技术线的核心。

Motivation

作者的核心观察是，MLLM perception 的演化已经不再能用“加一个视觉模块”或“换一个 benchmark”解释。早期路线通过 encoder/decoder 结构增强解决局部信息丢失，但仍是一次性、静态的信息注入；后续 dynamic perception 和 tool use 让模型能多次访问视觉输入，但常依赖启发式调度和外部专家；最近 instruction/RL 方法看似不改架构，却开始把感知转化为可优化的决策过程。已有综述缺的是一个统一视角：把这些变化看成 perception information flow 从静态对齐到闭环协同的演化。作者想到这个方向，是因为 O-series、R-series、DeepEyes、Active-o3 这类系统暗示：真正有用的视觉-语言感知不是单次编码后的答案生成，而是“看—定位—重看—验证—回答”的循环。

Core Idea

论文真正的核心不是五阶段列表，而是一个建模方式的转换：把 MLLM 感知从模块能力重新定义为统一视觉-语言系统中的内生能力。也就是说，region proposal、seg token、structured box output、zoom-in、tool routing、GRPO reward 等不应被看作孤立技巧，而是同一问题的不同解法：如何让语言条件控制视觉证据的选择，并让视觉证据反过来约束语言推理。

这个框架引入的 inductive bias 是“感知即受语言目标调制的证据获取过程”。相比 prior 的任务式组织，它更 scalable 的地方在于可以容纳不同粒度、不同接口、不同计算预算下的视觉访问机制；相比单纯架构综述，它更接近未来 agentic MLLM 的真实形态，因为高性能感知很可能来自 test-time compute、adaptive routing、verifiable reward 和 representation reuse 的组合，而不是某个固定 encoder 或 decoder。

Method

论文的方法可以理解为四个机制层面的取舍。第一，范围收窄到自然语言引导下的局部感知，解决 survey 过宽导致分析失焦的问题；这个限定使 detection、grounding、segmentation、visual search、RL perception 可以放到同一坐标系里。第二，用 encoder-centric 到 decoder-centric 的阶段解释感知粒度如何从 global/region 走向 pixel；其必要性在于说明早期进步主要来自结构性补偿，即补足 MLLM 对局部视觉 token 的不可访问性。第三，用 dynamic perception 解释为什么静态编码不够：复杂视觉任务往往需要二次观察、局部放大、工具选择或代码执行，本质上是引入 test-time perception compute。第四，用 architecture-free 和 unified perception 讨论最近 RL/instruction/active perception 的意义：这些方法不只是训练技巧，而是在把视觉感知重写成可奖励、可调度、可验证的策略学习问题。

Key Insight / Why It Works

这篇论文最有价值的 insight 是：MLLM 感知能力提升的主线不是“视觉模块越来越强”，而是“视觉证据与语言推理之间的接口越来越可控”。Encoder-centric 方法有效，是因为它减少局部信息在进入 LLM 前的压缩损失；decoder-centric 方法有效，是因为它给语言 hidden state 一个可落地到 pixel/box/mask 的监督出口；dynamic perception 有效，是因为它用额外测试时计算弥补一次性视觉编码的信息瓶颈；RL-based perception 有效，是因为 grounding、counting、segmentation 等任务天然有可验证信号，可以把模型从“说得像”推向“指得准”。

最可能的核心贡献是 taxonomy 把这些机制统一到“从结构到协同”的演化路径中，而不是某个具体分类细节。辅助部分是大量方法枚举，其中不少只是模块替换或 task-specific engineering。很多近期工作增益来源不清：可能主要来自更强 backbone、更密集数据覆盖、更高分辨率、更长推理链、更强外部工具，而不一定来自所谓 reasoning。尤其 RL perception 中，若 reward 只覆盖 box IoU、mask IoU、format correctness，则模型学到的可能是 benchmark-specific verification shortcut，而不是开放世界视觉理解。Active zoom/tool-use 的收益也很大程度来自 test-time compute 和 retrieval-style evidence acquisition；所谓 planning 是否真实存在，文中未充分说明。

Relation To Prior Work

它最接近三类 prior：MLLM 总览综述、任务型 perception survey、multimodal CoT / interactive reasoning survey。与 MLLM 总览不同，它不关心完整架构谱系，而把视角压到局部视觉证据如何被语言条件化；与检测/分割/grounding survey 不同，它不把任务边界当作主轴，而把 encoder、decoder、tool、RL 看成同一感知接口问题；与 CoT survey 不同，它不把视觉当上下文，而强调 perception 本身如何成为推理循环的一部分。

看似新的地方，如 unified perception、thinking with images、active perception，本质上重组了已有的 visual search、tool use、structured prediction、RLHF/RFT 思想；实质创新在于把这些路线放进同一技术谱系，并指出未来瓶颈在 unified representation、task interface 和 resource-aware scheduling。它属于 perception-centric MLLM / agentic visual reasoning 的元分析工作，而不是算法论文。

Dataset / Evaluation

这篇论文没有新数据集、没有新 benchmark、没有统一实验，因此 evaluation 主要是文献覆盖和概念论证。它覆盖任务范围很广，包括 grounding、referring expression、segmentation、video perception、multi-image grounding、tool-use、RL perception、active zoom 等，足以说明领域正在向多任务、动态、闭环方向移动。但它并没有真正验证核心 claim：例如五阶段 taxonomy 是否比任务式 taxonomy 更能预测方法泛化，unified perception 是否能在跨场景真实部署中成立，RL/active perception 是否优于简单 scaling 或更强 detector。

benchmark 讨论较清醒地指出传统静态数据集饱和、标注精度有限、和真实应用脱节，但论文自身仍主要依赖已有 benchmark 论文的叙述。也就是说，它批判了 benchmark，却没有给出替代评估协议。对真实世界、真机、在线交互、长期状态、多轮工具成本的验证基本缺失。

Limitation

最大限制是增益归因不清。许多被归入不同阶段的方法同时改变 backbone、数据、分辨率、tool、prompt、decoder 和训练目标，很难判断范式本身是否有效。所谓从 structure 到 synergy 的演化很有解释力，但也可能是 hindsight taxonomy：先观察到近期趋势，再把历史工作排列成线性叙事。文中也承认五阶段不是严格时间线，这降低了分类的可证伪性。

方法成立依赖几个隐含前提：第一，局部视觉证据可以被稳定地 token 化、结构化或奖励化；第二，自然语言查询足以指定需要观察的视觉区域；第三，外部工具或 crop/zoom 操作的代价可以被调度；第四，可验证 reward 能代表真实感知质量。这些前提在开放世界场景都很脆弱。RL-based perception 目前 heavily rely on curated tasks 和 dense supervision，泛化可能依赖 benchmark overlap。Planner 很可能没有形成长期状态建模，而是在有限 action space 中做启发式搜索。统一感知也可能只是把问题从模型内部转移到工具、reward、数据和计算预算管理上。

Takeaway

• 第一，未来 MLLM perception 的关键不再是单独更强的视觉 encoder，而是让模型拥有可控的视觉访问接口：能选择看哪里、何时重看、用什么工具看、如何验证。
• 第二，RL 在视觉感知中的真正价值不是让模型“更会推理”，而是给局部证据选择提供可优化的闭环；但 reward 设计会成为新瓶颈。
• 第三，很多当前工作所谓 unified，其实仍是 task-specific heads、tool APIs 和 reward hacks 的拼接；真正值得做的是统一中间表示和成本感知调度。
• 第四，这篇论文最可迁移的 insight 是把 multimodal capability 拆成 information access、evidence grounding、verification signal、test-time compute 四个维度，而不是按任务名分类。

一句话总结

这篇 survey 的位置是 perception-centric MLLM 方向的范式重构笔记：它真正贡献的是把局部视觉感知从模块增强问题重新组织为语言条件下的证据获取、结构化对齐、动态重读和奖励闭环的协同演化。