精读笔记

Problem Setting

From Hallucination to Grounding: Diagnosing Visual Spatial Intelligence via CRISP（arXiv preprint / 2026）。这篇论文真正解决的是 VLM 空间智能评估中的归因问题：模型答对空间问题时，我们不知道它是基于视觉几何、语言先验、语义共现，还是随机碰巧。真正困难点不在于再造一个 spatial QA benchmark，而在于把“感知结构是否存在”“结构是否可外显”“推理是否使用该结构”这三件事拆开。以前方法卡在黑盒 QA：输出只有答案，无法判断模型内部是否有 3D scene model；文本 rationale 又不是可靠证据，因为它本身就是语言生成；2D grounding 则缺少 embodied control 需要的 metric scale。关键矛盾是：空间推理的证据应当是几何结构，但当前评估只奖励语言答案。

Motivation

已有路线不够的原因是它们默认 answer correctness 可以代表 spatial intelligence，而这在 VLM 上非常危险。空间关系问题往往有强语言先验，例如物体共现、常见摆放、类别尺度、室内布局统计，模型即使不看图也能取得不低分数。作者的核心观察是：VLM 可能存在两类相反失败，一类是 semantic shortcut，即 QA 答对但结构图不支持；另一类是 perception-reasoning disconnect，即结构估计相对合理但 QA 没用上。关键缺口是缺少一种跨输出形态的验证机制：不仅问模型“答案是什么”，还问“你认为世界结构是什么”，再检查两者是否互相支持。

Core Idea

CRISP 的核心思想是把空间智能从单一 QA 结果改写为“结构感知—显式推理”的一致性问题。模型必须同时完成 discriminative QA 和 generative 3D scene graph construction；后者不是解释文本，而是一个带 metric distance、object size、directional relation 的可计算结构。然后用规则 solver 从模型生成的图中推出对应 QA 答案，看它是否与直接 QA 一致。这个机制把 evaluation 的关注点从 final answer 移到 answer support。它引入的新 inductive bias 是：真正 grounded 的空间答案应当可由模型自己的结构表征推出。和 prior 的本质区别在于，CRISP 不满足于 probing hidden cognition 或要求 CoT，而是要求模型产生一个可验证、可反演到 QA 的中间世界模型。这比普通 QA 更 generalizable 的地方在于它不依赖某个问题模板是否答对，而检查跨任务、跨表示的信息一致性；但它也更依赖 3D SG 这个表示是否足够覆盖目标空间能力。

Method

第一，metric 3D SG 作为诊断瓶颈。它解决 QA 黑盒不可解释的问题，因为模型必须显式给出尺寸、相机距离、对象间距离和方向关系。需要它的原因是 spatial grounding 本质上不是一句 rationale，而是可用于规划的结构状态。核心变化是把隐式视觉空间假设转成可评分对象。第二，QA-SGC consistency。它解决“答对但没 grounding”的问题：从 SGC 解析出图，再用确定性规则推导答案，与直接 QA 对比。这个设计把 hallucination 从 accuracy 中剥离出来，因为一个答案必须同时在语言输出和结构输出中成立。第三，oracle intervention。GT SG 输入用来估计 reasoning ceiling，Pred SG 输入用来测试模型是否能利用或抵抗自身结构输出。这个机制的必要性在于仅凭 QA/SGC 分数无法判断瓶颈属于感知还是推理；干预把视觉感知噪声和符号推理能力拆开。第四，blind test。它不是为了证明模型不用图，而是建立 text-only prior floor，帮助区分视觉增益到底来自语义识别还是几何估计。

Key Insight / Why It Works

这篇最有价值的 insight 是：空间智能评估需要验证“结构是否支持答案”，而不是只验证“答案是否正确”。CRISP 有效的根本原因在于它制造了一个 representation alignment constraint：直接 QA、生成 SG、由 SG 推导的 QA 三者必须闭合。只要模型依赖语言 shortcut，这个闭环很容易断；只要模型有结构但 reasoning 没调用，闭环也会断。最可能的核心贡献是 consistency protocol 和 intervention protocol，而不是数据规模或 3D SG 指标本身。SGC 指标、模板生成、对象过滤更多是让诊断可执行的 engineering。论文的发现也可以更直接地归因为 representation alignment failure：很多强模型并非完全不会符号空间推理，而是视觉表征、结构外显和语言解码之间没有形成稳定接口。GT SG intervention 的大幅增益说明结构化输入本身是强 cognitive scaffold，但这里也要谨慎：这可能部分把任务降维成 structured text reasoning / table lookup，并不等价于模型拥有真实 3D world model。Pred SG 导致性能下降的解释为 modality trust bias 有道理，但文中未充分说明它与 prompt distribution shift、错误中间文本污染、以及模型对显式文本优先级的训练偏置之间的区别。总体判断：CRISP 的贡献更像 better diagnostic inductive bias，而不是提升模型能力的方法；它揭示了 scaling 后的 VLM 在空间任务上主要缺结构对齐，而不是单纯缺 CoT 或参数量。

Relation To Prior Work

它最接近三条路线：spatial VQA benchmark、3D scene graph for embodied AI、以及 self-consistency / rationale-based diagnostic。和 spatial VQA 的本质差异是 CRISP 不把 QA accuracy 当终点，而把它当一个待验证声明；和 CoT/rationale probe 的差异是 3D SG 可计算、可反演、可与 GT metric 对齐，不只是语言解释；和传统 3D SG 工作的差异是 CRISP 不把 SG 作为下游系统表示，而把它作为诊断 VLM 内部 spatial grounding 的 readout。看似新的部分中，使用 scene graph、oracle structure、blind baseline 都不是新思想；实质新增是把它们组织成一个闭环诊断：SGC → symbolic derivation → QA consistency → intervention ceiling。技术谱系上，它属于 evaluation-as-mechanistic-diagnosis，而不是 benchmark-as-leaderboard。真正新增的信息是：同一个模型在 QA、结构感知、结构利用上可以呈现系统性错位，因此空间智能不能由单一任务分数代表。

Dataset / Evaluation

CRISP 覆盖 indoor / outdoor 静态单视角场景，问题涉及距离、尺寸、方向、计数、排序、视角变换和多跳逻辑，任务覆盖比普通 spatial QA 更偏向 embodied prerequisite。它使用 nuScenes 和 ScanNet++ 的 3D annotation 构建 master scene graph，并通过对象可见性和语义冗余过滤控制噪声；这提高了诊断干净度，但也让 benchmark 更像 curated diagnostic set，而不是真实开放世界部署。evaluation 对核心 claim 的支持较强：QA-SGC 不一致支撑“QA illusion”；blind test 支撑“语言/分布先验不可忽略”；GT SG 支撑“部分模型有 latent reasoning potential”；Pred SG 支撑“错误结构会干扰推理”。但它没有真正验证动态、多视角、主动探索或机器人执行，因此不能直接声称解决 embodied spatial intelligence。另一个 limitation 是对象列表已给定，这有意剥离 detection recall，但也移除了真实系统中很大一部分 grounding 难度。

Limitation

CRISP 成立依赖几个强前提。第一，3D SG 必须是空间智能的充分中间表示；但实际 embodied reasoning 还需要 affordance、稳定性、遮挡可推断性、可达性、动态状态和不确定性。第二，单视角 monocular metric estimation 本身病态，模型被期待用 world priors 恢复尺度；因此低 SGC 既可能是模型差，也可能是任务信息不足。第三，consistency 不等于 correctness，论文也承认 consistent hallucination；高一致性可能只是模型在两个输出通道中复用了同一个错误 prior。第四，GT SG intervention 的提升可能主要来自把视觉问题转成结构化文本推理，增益来源不清，不能直接证明内部 latent 3D reasoning engine 已经存在。第五，benchmark 依赖模板问题和 curated objects，泛化到长尾物体、非刚体、复杂遮挡、交互式任务仍未证明。第六，所谓 Perception-Reasoning Disconnect 是行为层诊断，不是因果机制；没有内部表征分析或干预实验能证明模型确实先建图再忽略它。第七，specialized spatial models 表现差可能受格式、训练分布、接口适配影响，不能简单归因为空间 post-training 无效。

Takeaway

• 第一，空间智能 benchmark 以后不应只看 QA，而应要求答案能被某种可计算结构支持；这是比 CoT 更可靠的 grounding check。
• 第二，VLM 的空间瓶颈可能不只是“不会推理”，而是视觉结构、符号结构和语言解码之间缺少稳定对齐接口；未来值得做的是 structural alignment training，而不是继续堆 end-to-end QA。
• 第三，显式结构即使有噪声也可能作为 cognitive scaffold，帮助组合推理；这对 embodied planning、robot instruction following、video world modeling 都可迁移。
• 第四，CRISP 最重要的价值不是排行榜，而是提供 failure taxonomy：semantic shortcut、perception-reasoning disconnect、modality trust bias。

一句话总结

CRISP 是一篇把 VLM 空间评估从黑盒 QA 推向结构一致性诊断的工作，真正贡献在于用 metric 3D scene graph 和 oracle intervention 暴露 perception、reasoning 与 representation alignment 的错位，而不是提出新的空间推理模型。