精读笔记

Problem Setting

《Disentangling Pictorial Cue Understanding from Language Bias in VLMs via Depth Ordering Task》（arXiv preprint / 2026）实际解决的是 VLM 深度评测中的归因问题：模型在 depth-related VQA 上的输出，到底由图像里的深度线索驱动，还是由语言模板和答案偏置驱动。

真正困难点不是构造一个“更难的深度问题”，而是让视觉信息和语言信息在评测中可分离。现有 VQA benchmark 往往把 object semantics、spatial relation wording、prompt prior、option order 和 visual depth cue 混在一起；模型答对时无法确认是否真的利用了 monocular cues，答错时也无法知道是 depth perception 失败还是 referring expression / question parsing 失败。

这个任务的关键矛盾是：VLM 被设计成视觉-语言联合系统，但 depth cue utilization 是一个视觉侧能力；用语言问答去测视觉侧能力，本身就会引入语言捷径。论文的贡献在于把这个矛盾显式化，并把它变成可测变量。

Motivation

已有路线不够的地方在于，它们通常只测“空间问答表现”，而不是测“深度线索使用机制”。自然图像 benchmark 中多个 cue 高度共现，occlusion、relative size、height-in-plane、linear perspective 很难拆开；因此模型的高分可能来自某个强 cue、语义常识，甚至数据重叠，而不是稳定的 cue integration。

作者的核心观察是：如果 VLM 真有类似人类的 pictorial depth understanding，那么在控制语义和对象类别后，单个 cue 的存在、cue 强度增加、两个 cue 组合，都应该对 depth ordering 产生可预测影响；同时，等价问题的不同表述不应该大幅改变答案。

关键缺口是一个同时控制视觉 cue 和语言表达的 benchmark。单独做 cue isolation 不够，因为 VQA 输出仍会被语言污染；单独做 prompt robustness 也不够，因为看不到视觉 cue 是否被用上。O3-D 正是把这两个维度放到同一个实验设计里。

Core Idea

核心思想是用 psychophysics-style controlled stimuli 替代自然图像问答：构造 3D odd-one-out 场景，让 5 个同类物体中只有一个目标物位于不同深度平面，然后渲染成只含特定 pictorial cues 的 2D 图像。模型只需判断目标物相对 distractors 是更近还是更远。

这个设计改变了评测的建模方式：不是把深度理解当作开放世界 VQA，而是当作对可控视觉证据的二元判别。它引入的 inductive bias 是“如果模型真的利用某类 cue，则在只提供该 cue 时应系统性高于 chance，并随 cue 强度或 cue 组合改善”。这比自然图像 benchmark 更适合做归因，也更 scalable，因为合成场景可以组合对象、环境、cue 类型和 prompt variants。

和 prior 的本质区别不在于 depth ordering 本身，而在于把 depth ordering、odd-one-out、cue isolation 和 language perturbation 组合成一个可诊断框架。它不是增加任务多样性，而是降低混杂因素。

Method

方法的关键机制可以压缩为四点。

第一，odd-one-out 场景用于压低语义捷径。所有物体同类且近似相同，目标物只是尺寸和深度平面不同；这迫使模型不能简单依赖类别常识或显著对象语义。它解决的是 natural image benchmark 中 object semantics 与 depth prior 纠缠的问题。

第二，controlled rendering 用于隔离 pictorial cues。从一个 ambiguous base view 出发，通过移动相机、调整目标位置、光照、纹理、雾化、焦距等方式打开单个或两个 depth cues。核心变化是把“图像里有什么深度线索”从不可控观测变量变成实验干预变量。

第三，referring clarity variation 用于分离 grounding failure 和 depth failure。低清晰度表达要求模型识别 salient/odd object，高级别表达用空间位置或 marker 直接指向目标。它不是为了提升任务，而是为了判断错误是否主要来自 referring expression comprehension。

第四，SDGM 用于量化 modality sensitivity。把 prompt tags 或 cue types 作为 group，计算组内平均表现的标准差；如果语言组间方差大于视觉组间方差，说明模型输出更受语言扰动控制。这个指标的价值在于把“语言 bias”从定性观察变成可比较的量。

Key Insight / Why It Works

这篇最重要的 insight 是：在 VLM depth benchmark 中，控制视觉 stimulus 本身还不够，必须同时控制语言接口。否则所谓 depth ability 很可能只是 prompt-dependent behavior。

O3-D 有效的原因不是任务更难，而是对照关系更干净。同一 3D scene 可以派生出 0-cue、1-cue、2-cue view，同一 image 可以派生出多种等价 question。这样模型表现的变化才有机会被归因到“视觉 cue 是否增加了有效证据”或“语言形式是否改变了决策”。这是一个典型的 causal probing 思路，而不是普通 benchmark scaling。

最可能的核心贡献是 cue-level controllability + language sensitivity metric。前者让 depth cue utilization 变得可测，后者揭示 VLM 的 VQA 输出在该任务中主要被语言扰动牵引。相比之下，真实图像子集、ICL/CoT、marker referring 更像辅助验证：它们帮助排除一些简单反驳，但不是方法成立的根本。

实验结论也相当直接：现有 VLM 对 HP 和 RS 有一点弱信号，但大多数 cue 接近随机；cue strength 增大并不会稳定降低 near/far bias；语言词汇、yes/no 形式、选项顺序的影响反而更大。这说明当前 VLM 的 depth-related VQA 表现很可能不是由可组合的 pictorial cue representation 支撑，而是由浅层视觉相关性、语言先验和 instruction-tuning artifacts 混合产生。

CoT/ICL 的有限提升尤其值得警惕。商业模型的增益可能主要来自更好地调用文本中关于“height-in-plane / relative size implies depth”的规则，而不是更强视觉感知；开源模型甚至下降，说明 demonstration 并没有稳定注入视觉 cue parser。这里所谓 reasoning 更像 test-time verbal heuristic，不像真实 perceptual improvement。

这篇论文不是 scaling story。它反而指出了 scaling VLM 在静态图像深度上可能遇到的结构性上限：如果训练目标主要是 image-text alignment 和 VQA instruction following，模型可能学会谈论深度，但未必学会利用低层/中层 pictorial cues 做稳定排序。

Relation To Prior Work

它最接近三条线：VLM 空间/深度 benchmark、单目深度 cue probing、VQA language bias / question robustness。和 SpatialVLM、BLINK、GeoMeter、3D-PC 等工作相比，O3-D 的重点不是覆盖更多空间关系，而是把一个关系拆到 cue-level 并做语言解耦。

和 DepthCues 这类 cue probing 更接近，但本质差异在于 O3-D 不依赖自然图像后验标注 cue，而是主动生成 cue。自然图像中 cue 共现太强，标注“有某 cue”并不代表模型使用了该 cue；O3-D 通过 controlled rendering 把 cue presence 变成实验变量，这是实质创新。

和传统 VQA bias 研究相比，这篇不是只证明语言偏置存在，而是把语言偏置放在 depth perception 诊断中，说明即便任务看似视觉主导，VLM 仍可能被 wording、yes/no framing 和 option order 牵着走。它属于“controlled diagnostic benchmark / psychophysical probing for foundation models”这条谱系，而不是模型架构创新。

看似新的部分中，odd-one-out 和 depth ordering 都不是新思想；真正新增的信息是它们和 cue isolation、referring clarity、SDGM 的组合，使得 depth perception 与 language bias 可以在同一坐标系下比较。

Dataset / Evaluation

O3-D 的覆盖范围主要在静态单帧 pictorial depth cues：9 类 cue、单 cue、双 cue、0-cue、少量真实受控图像和混合真实图像。它不是多任务 benchmark，也不是 embodied/robotic setting；它更像一个高控制度的诊断仪器。

评测基本支持论文的核心 claim。因为有 0-cue baseline、cue 数量变化、cue 强度变化、真实/合成对照、referring clarity 对照，以及 DepthAnythingV2 baseline，所以“VLM 没有稳定利用 pictorial cues，且语言影响更大”这个结论有足够支撑。

但 evaluation 也有明显边界。真实世界受控数据规模较小，物体类别和场景有限；合成图像虽然避免 leakage 并提供控制，但可能引入不自然的 cue statistics。DepthAnythingV2 作为 baseline 合理，但它使用 mask 后处理和 dense depth，本质上是给了比 VLM 更直接的视觉接口，因此它更像上界参考，不是公平同构比较。

SDGM 很适合揭示 sensitivity，但不能严格证明语言是因果来源；它测的是 performance variation under grouping。若某模型整体 collapse 到固定答案，低 variation 也可能伪装成 consistency。作者通过 accuracy 和 bias 一起看部分缓解了这个问题，但指标解释仍需谨慎。

Limitation

方法成立依赖一个强前提：受控合成 cue 能代表自然场景中 VLM 应该使用的 pictorial depth evidence。这个前提合理但不完整，因为自然场景的深度判断往往依赖 cue co-occurrence、object affordance、scene layout prior 和动态交互，而不是孤立 cue。

scalability 的上限在于 cue control 越精细，场景分布越人工；场景越自然，cue attribution 越不干净。O3-D 在控制性和生态有效性之间做了偏控制性的选择，这适合作为诊断 benchmark，但不能直接推出真实部署中的 depth competence。

泛化是否真实存在并非本文目标，也未充分说明。模型失败可能来自视觉 encoder 分辨率、pretraining 数据缺少这种 contrastive geometry、VQA head 对二元选项不稳、或 cross-modal alignment 无法读取 depth evidence。论文主要证明现象，没有定位内部机制。

所谓语言影响更大，也可能部分来自 evaluation interface：强制二选一、yes/no framing、选项顺序随机化会放大 instruction-following artifacts。这不是论文缺陷，而是 VQA 作为评测接口的固有问题；但也意味着结论应表述为“VQA-style VLM depth answering 被语言强烈控制”，而不是“模型视觉表征完全没有深度信息”。

ICL/CoT 部分的增益来源不清。商业模型的提升可能主要来自语言规则检索或更强 instruction following，而不是视觉 cue utilization；开源模型下降说明 few-shot/cot 本身不是可靠补救。文中未充分说明 demonstration 选择是否可能引入额外 template bias。

Takeaway

• 第一，未来做 VLM spatial/depth benchmark，不能只问更复杂的问题；必须把视觉证据和语言接口拆开，否则无法归因。
• 第二，cue-level controllability 是评估“是否真的看懂”的关键。
• 自然图像 benchmark 的高分很容易被语义 prior、数据覆盖和语言模板污染。
• 第三，当前 VLM 的 depth-related behavior 更像语言调制下的弱视觉相关性，而不是稳定的 pictorial cue integration。

一句话总结

这篇论文在 VLM 深度理解方向中的位置不是提出新模型，而是用受控心理物理式 benchmark 证明：现有 VLM 的静态图像深度 VQA 表现主要受语言偏置牵引，尚未形成稳定的 pictorial depth cue utilization。