精读笔记

Problem Setting

这篇论文实际解决的是 VLM interpretability 中一个经常被跳过的归因问题：内部变量可被 probe 读出、也可被 steering 改变，并不等价于模型在任务中 grounded 使用了该变量。空间推理只是载体，真正困难点是区分三件表面相似的现象：模型看图并答对、模型不看图但靠先验答、模型看图但把信号反号用错。以前的 probe/steer 路线卡在“representation presence”和“behavioral use”之间，默认二者存在可解释连续性。本文指出这个假设在 VLM 空间轴上会系统性失效：最可解码的轴可能最不视觉，最差的轴反而可能最依赖视觉。

Motivation

已有路线不够的原因不是 probe 不够复杂，而是它回答的问题错了。probe 只能说明某个 label 在 activation 中线性可分；steering 只能说明沿某方向推动会改变输出分布。二者合起来仍不能说明模型是在根据图像改变答案。作者的关键观察是：如果一个所谓 recovered spatial capability 在 blank image 上同样 recovered，那它不是 latent visual knowledge 被释放，而是 prior 被放大。缺的不是更强 steering，而是一个行为层面的视觉因果对照。

Core Idea

核心思想是引入一个极低成本但概念上很强的 arbiter：保持问题、选项、解码过程不变，只把图像替换成灰图或错配图，然后看行为差分。这个操作把空间推理的评估从“答得对不对 / 能不能 decode”改成“行为是否由视觉输入驱动”。它引入的 inductive bias 很朴素：真正 grounded 的视觉能力必须对图像内容敏感；如果去掉或错配图像后行为不变，则无论 probe 多漂亮，都更像 prior 或语言侧默认策略。

和 prior 的本质差异在于，本文不再把 representation 当作 capability 的充分证据，而把 deployment 的 image-dependence 当作必要证据。这个视角比常规 probe validity 更直接，因为它不在 probe 侧做控制，而是在模型行为侧做 causal ablation。它也更 scalable：不需要重新训练 probe、不需要构造复杂 counterfactual，只要对任意 latent-knowledge claim 加一条 blank/mismatch pass，就能快速排除 prior amplification。

Method

方法上可以压缩为三个机制。第一，作者先完整复现标准叙事：在 decision-token residual stream 上做 per-axis probe，并用 activation steering / projection 证明方向可控。这一步不是贡献本身，而是为了构造一个会被通常论文接受的“latent knowledge recovered”案例。

第二，vision-ablation arbiter 是核心机制。它解决的是“行为改变是否依赖图像”这一缺口。horizontal 作为 positive control，去图后掉到 chance，说明消融不是简单破坏输入；vertical 在 real/blank/mismatch 下几乎不变，说明其 decoded direction 主要是语言侧方向默认；depth 去图后从 below chance 回到 chance，说明模型确实看到了视觉 cue，但部署 sign 错了。

第三，correction battery 用来诊断 inversion geometry，而不是单纯提高 accuracy。若 training-free rotation 能修复，说明错误接近低维角度错位；若必须 trained low-rank edit，说明 inversion 分布式或不对齐 probe axis；若只能 suppress，说明 decodable channel 未必可直接 install 为正确行为。这里真正有价值的是“最小修正复杂度”作为模型内部几何的读数。

Key Insight / Why It Works

最重要 insight 是：decodability、controllability、grounding 是三个不同层级，不能互相替代。probe 高说明 label information 在 activation 中可被外部读出；steering 有效说明存在可操控输出的方向；grounding 则要求模型的行为对图像内容有因果依赖。本文的 arbiter 正好切在第三层，所以能揭穿前两层共同制造的假阳性。

vertical 是最强证据：它满足几乎所有传统 latent capability 的信号——高 probe、projection 提升、局部 layer band、off-band control 无效——但 blank image 下提升同样存在。这说明所谓 recovery 不是 representation alignment 到视觉，而是放大一个 default-to-above prior。这里的核心贡献不是 projection，而是证明 projection success 可以完全不 grounded。

depth 更有机制价值：below chance 通常会被解释为无能力、prompt 不清或 bias，但 blank 后回 chance 表明错误需要图像参与。也就是说模型不是没有读深度，而是把 camera-egocentric front/back 的 readout sign 学反。这个现象比“VLM 空间弱”更有信息量，因为它暗示当前 VLM 的视觉-语言对齐中存在 frame convention conflict。

哪些可能只是辅助：多模型 battery、九种 correction、layer localization 增强了可信度，但不是论文成立的必要条件。真正不可替代的是 signed real-minus-ablated behavior。哪些可能来自 scaling/data：depth inversion 随 family 内 scale 加深，很可能不是 reasoning emergence，而是更大 LM backbone 更强地继承或放大某种语言/训练数据中的视角约定；文中未充分说明其数据来源。correction 的成功也不应被过度解读为通用修复方法，很多增益更像对特定 representation geometry 的局部再对齐。

Relation To Prior Work

最接近的是 linear probing、spatial IDs、representation engineering、activation steering 这条谱系。那些工作通常关心“空间变量是否在线性子空间中存在”以及“能否通过 intervention 改变输出”。本文的本质不同是把问题从 representation availability 转向 grounded deployment：不是问模型里面有没有空间变量，而是问模型回答时是否用了图像里的空间变量。

和 VQA blind baseline 的关系也很近，但本文比传统 blind baseline 更细。传统方法通常只判断模型是否依赖 question prior；本文按 axis 做 signed 差分，因此能识别 inverted 这种 blind baseline 看不出的 regime：真实图像让模型系统性更错，去图反而回 chance。

看似新的部分中，probe、steering、projection、LoRA/ReFT correction 都是已有思想重组；实质创新是三类 grounding taxonomy 以及把 vision ablation 作为 latent-knowledge claim 的默认 arbiter。它不是提出更强模型，而是提出更严格的证据标准。

Dataset / Evaluation

评估设计基本支持核心 claim，因为 claim 本身是诊断性的：probe/steer 会高估 grounding，而 blank/mismatch ablation 能区分 prior、grounded、inverted。ViewSpatial 的 pure-axis 分解给了足够干净的实验环境，horizontal 作为正控也使 blank 不是纯粹 degenerate input artifact。mismatch 图像尤其关键，因为它排除了“灰图分布外导致模型异常”的反驳。

跨 14 个 VLM、多个 LM family、外部 What’sUp / 3DSRBench 的补充，让结论从单 benchmark artifact 上升到 task-type boundary：camera-egocentric front/back inversion 不等于一般 depth failure。这个评估是本文较强的地方。

但 evaluation 仍有边界。它主要覆盖二选一或受控空间轴判断，不证明开放式多步空间 reasoning。外部 benchmark 更多是在验证 taxonomy 的可迁移性，而不是验证真实 embodied deployment。depth inversion 的成因仍无法通过当前 benchmark 定位，文中也承认缺少 pixel-level minimal pair。

Limitation

第一，arbiter 是判别器，不是解释器。它能说 vertical 不是视觉 grounded、depth 是 image-driven inversion，但不能充分说明 inversion 来自训练数据、坐标系冲突、prompt convention，还是 LM backbone 的语义 prior。文中未充分说明这一点。

第二，方法依赖任务能构造合理的视觉消融并有明确 chance baseline。对开放式生成、连续空间控制、多图记忆、长程规划，blank-image gap 未必直接可解释。scalability 上限在于：越复杂的任务，real-minus-blank 差分越可能混入语言流畅性、answer format、uncertainty calibration 等因素。

第三，correction spectrum 的泛化不能过度解读。某些模型上 rotation 能修复，说明局部几何简单；另一些模型需要 trained low-rank edit 或无法 training-free install。增益来源不清，可能只是小样本任务上的 representation alignment，而不是真正修复空间能力。

第四，scale-emergent inversion 很可疑。它更像 scaling 放大了某种数据/语言 backbone 中已有的 frame-convention bias，而不是推理能力增强。所谓“模型看图但用反”很重要，但为什么越大越反，论文还没有给出令人满意的因果解释。

Takeaway

• 1. 对 VLM latent knowledge 的最低证据标准应该从“probe + steer”升级为“probe + steer + image-dependence arbiter”；否则很容易把 prior amplification 当成 grounded recovery。
• 2. 空间能力不应只按 axis accuracy 讨论，而应按 deployment regime 讨论：grounded-correct、prior-driven、grounded-inverted 是三种完全不同的 failure mode，对应不同修复策略。
• 3. below-chance 结果值得认真分析。
• 它可能不是无能力，而是强视觉信号被 wrong-sign readout 部署；这种 failure 比 chance-level failure 更有机制信息。

一句话总结

这篇论文在 VLM 空间推理解释性研究中把证据标准从“可解码且可操控”推进到“行为必须视觉条件化”，核心贡献是用极简视觉消融区分 grounded perception、prior amplification 和 wrong-sign deployment。