精读笔记
Problem Setting
这篇论文实际解决的是 MLLM GUI grounding 中自回归坐标生成的结构性失配：模型需要先在截图中形成目标区域证据，再把它转化成一个可点击坐标，但标准 decoder 并没有显式机制保证局部证据在多层语义变换后仍可被最终坐标 token 使用。以前路线大致有两类：一类靠更强数据、RL 或更大模型提升整体 grounding；另一类靠 ZoomIn / crop-and-rerun 在测试时重新获取局部高分辨率证据。前者没有直接处理“区域到点”的信息瓶颈，后者有效但用额外 forward 买精度。关键矛盾是：GUI 点击需要局部、空间敏感、低层级的证据，而 MLLM 解码路径天然倾向于把视觉信息压成语义状态并生成离散 token。
Motivation
作者最有价值的动机不是“zoom 太慢”，而是通过诊断指出：模型并非完全找不到目标。中间 decoder 层的 text-to-vision response 已经能高概率覆盖真实目标区域，但这些响应到最后层显著衰减，最终坐标仍会偏到邻近 distractor。也就是说，缺口不是视觉证据不存在，而是证据没有被持续保留、精炼并暴露给坐标解码。ZoomIn 的成功从侧面说明局部证据有用，但它默认必须重新观察；InnerZoom 的出发点是质疑这个默认假设：如果内部已经出现过目标区域证据，是否可以把它变成一种跨层 memory，而不是第二次看图？
Core Idea
InnerZoom 的核心思想是把 GUI grounding 从“直接生成坐标”改造成“证据保持型坐标解码”。它在一次 forward 内部先利用中间层响应找到目标相关区域，再把该区域的细粒度视觉特征压缩成一个小的 evidence workspace，并在后续层中反复更新和注入，使最终坐标 token 不只依赖普通 hidden state 中隐式残留的视觉信息。
本质区别在于信息流被重新组织了：ZoomIn 是外部闭环，先粗定位、裁剪、再跑模型；InnerZoom 是内部闭环，把同一次前向中的中间表征当作 proposal，把 vision encoder 的局部特征当作 evidence bank，把 decoder 后半段当作 refinement path。它引入的 inductive bias 是“目标区域证据应跨层持久存在，并在坐标生成阶段以局部 KV 的形式被访问”。这比外部 zoom 更 scalable 的地方在于不增加完整第二次 forward；但它的 generalization 上限受限于第一次 forward 已经看到并编码的视觉细节。
Method
方法层面可以压缩成三个必要机制。第一，target-region evidence extraction 解决“从哪里取证据”的问题：用中间层 instruction-to-vision 响应产生粗 ROI，而不是额外训练检测器或依赖外部 crop policy。它的核心变化是把 decoder 自己的内部注意/响应当作可复用定位信号。
第二，cross-layer evidence workspace 解决“证据如何不丢”的问题：局部视觉证据被聚合进少量 slot，并在若干后续层中递归更新。这里的关键不是 slot 数本身，而是把原本会在层间漂移的局部信息显式化为可传递状态，类似一个很小的 visual working memory。
第三，KV-only evidence injection 解决“如何影响坐标生成但不破坏模型接口”的问题：它只替换目标区域位置的 key/value，让后续 coordinate token 仍按原始 autoregressive 方式查询序列，但读到的是被局部证据增强后的区域表示。这是一个相对低侵入的改造，比直接改 query 或插入新 token 更不容易扰乱语言生成格式。
Key Insight / Why It Works
最核心贡献是把“中间层已经出现但最终层丢失的目标区域证据”识别为一个可操作对象，并设计了跨层 evidence bridge。这个 insight 比具体模块更重要。它解释了为什么 ZoomIn 有效：不是因为两阶段推理本身神奇，而是因为第二次 forward 强行把局部证据重新注入了解码上下文。InnerZoom 则尝试在模型内部复现这个证据再注入过程。
它有效的主要原因可能是 representation alignment 和 memory reuse，而不是传统意义上的 reasoning。方法没有真正引入新的规划能力，也没有解决复杂指令语义理解；它更像是在 decoder 后半段给坐标生成提供一个局部视觉 evidence cache，降低语义压缩导致的空间信息丢失。诊断中的 attention modulation 也支持这一点：只要把目标区域 token 的影响放大，坐标就会变好，说明瓶颈是可访问性而非完全缺失。
最可能是核心贡献的部分是“中间层 ROI → 未合并视觉特征 retrieval → 后层 KV 注入”这条信息通道。双 slot、slot separation、三阶段 SFT、GRPO 更像稳定训练和提升上限的辅助设计。文中没有充分拆清楚每个训练阶段和结构模块的独立贡献，因此部分增益来源不清，尤其在强 SFT+RL、283K SFT、100K RL 样本和同源 GUI 数据处理管线下，不能排除相当一部分提升来自 data / recipe。尽管如此，scale-matched Zoom-In 对比说明结构本身至少不是纯 scaling。
Relation To Prior Work
它最接近 ZoomIn / visual test-time scaling / iterative focus refinement 这条线，但把外部重观察改成内部证据复用。与 RegionFocus、ZoomClick、MVP、GUI-Spotlight 等方法相比，InnerZoom 不依赖第二次图像输入或多视图推理，而是复用第一次 forward 中已经生成的 localization signal 和 vision encoder 细节特征。
从更宽的谱系看，它也接近 latent memory、adapter-based evidence routing、attention steering 和 retrieval-augmented decoding 的组合。所谓“InnerZoom”并不是凭空新范式，而是把 ROI proposal、局部 feature retrieval、cross-layer memory、KV injection 这些已有思想重组到 GUI grounding 的 coordinate decoding bottleneck 上。实质创新在于问题定位很准确：不是泛泛说 GUI grounding 需要更好视觉，而是指出 autoregressive 坐标 token 无法稳定消费中间层目标证据，并给出单 forward 的证据桥接机制。
Dataset / Evaluation
评测覆盖桌面、移动、网页、跨平台和高分辨率专业 GUI，基本能支撑“不是只在单一 UI 分布上有效”的 claim。规模匹配实验也相对重要，因为它把 InnerZoom 和同 backbone 的 Base SFT+RL、Base+Zoom-In 放在一起比较，避免只靠更大模型讲故事。效率实验直接回应了论文标题：相比两次 forward，InnerZoom 用较小额外开销换取接近或更好的精度。
但 evaluation 仍主要是离线单步点击准确率，不能证明真实 GUI agent 的长期任务成功率会等比例提升。Action accuracy 只判断坐标是否落入目标框，对真实交互中的状态转移、误点击代价、滚动/遮挡/动态界面没有充分覆盖。训练数据和 benchmark 都来自当前 GUI grounding 生态，潜在分布重叠、界面模板相似性、任务格式相似性可能放大收益；文中没有充分排除 benchmark overlap 或 implicit memorization。另一个问题是 SS-Pro 上 Zoom-In 仍有优势，这恰好说明在真实需要更高有效分辨率的场景，内部证据复用不能完全替代视觉重观察。
Limitation
最大隐含前提是：中间层响应必须已经“看对了”。InnerZoom 不是一个从零发现目标的机制，而是一个证据保留和放大机制；如果 proposal 偏了，后续 slot refinement 和 KV 注入可能只是把错误局部证据强化到坐标解码中。论文自己承认 region selection 只是间接优化，这意味着核心瓶颈被部分转移到了 proposal 的可靠性上。
第二个上限是分辨率。外部 ZoomIn 能真实改变目标区域的有效像素密度，InnerZoom 只能复用原始 forward 中已经编码的视觉特征；对于超宽屏、双屏、小图标、低对比度控件，它无法恢复从未被编码充分的细节。第三，增益归因不完全清楚：新结构、SFT schedule、RL、数据规模、prompt/output format、Qwen3-VL backbone 的中间层性质都可能贡献收益。第四，这不是 reasoning 或 planning 方法，所谓更强 grounding 很可能主要是局部 retrieval 和 representation routing 更好；在需要应用语义、工具知识或多步状态建模的任务中，提升可能有限。
Takeaway
- 最值得记住的第一点是：GUI grounding 的一个关键瓶颈不是“模型不知道目标在哪”，而是“知道过但最后没用上”。
- 这为分析 MLLM grounding 提供了比单纯堆数据/堆模型更细的 failure mode。
- 第二，ZoomIn 的本质可以被重新解释为 evidence reinjection，而不一定必须是 test-time re-observation。
- 未来更好的方法可能会在内部证据复用和外部自适应 zoom 之间动态选择：能靠内部 memory 解决就单 forward，确实缺分辨率时再 crop。
一句话总结
InnerZoom 是一篇把 GUI grounding 中“外部两次 zoom”重新解释并内化为“单 forward 跨层证据复用”的工作，真正贡献在于识别并缓解 MLLM 坐标生成里的区域证据到点坐标的信息传递瓶颈。