精读笔记

Problem Setting

论文标题：Does VLA Even Know the Basics? Measuring Commonsense and World Knowledge Retention in Vision-Language-Action Models（arXiv preprint / 2026）。

这篇论文的真实问题不是评估 VLA 的 general robot control，而是评估 VLA 在从 VLM fine-tune / adapt 成 policy 后，是否仍然保留并能调用基础 commonsense 与 world knowledge。关键矛盾在于：VLA 的最终输出是 action，现有 benchmark 只看 task success；但 task success 是 perception、knowledge、control、environment dynamics 的混合结果，不能诊断知识是否存在、是否可访问、是否能驱动动作。

困难点有两个。第一，knowledge-sensitive embodied task 天然容易被低层控制失败污染：机器人放错位置可能是不会判断，也可能是不会执行。第二，直接测 VLM backbone 的文本回答又绕开了 action interface，无法说明 knowledge 是否进入 policy。因此这篇论文试图建立一个介于 VQA 和 manipulation benchmark 之间的诊断层：既保持 embodied action response，又尽量把 motor demand 压到最低。

以前方法卡在两个极端：robotics benchmark 太重、不可归因；VQA probing 太轻、不验证 action use。Act2Answer 的定位就是填这个中间空白。

Motivation

作者的核心观察是：VLA 社区经常把强 VLM backbone 作为 selling point，默认 web-scale VLM 学到的世界知识会随 fine-tuning 保留下来；但 robotics adaptation 很可能让这些知识在 action-relevant path 上失效。这个假设目前缺少系统测量。

已有路线不够的地方在于，它们要么问“能不能完成任务”，要么问“VLM 部分还能不能答题”。前者无法分辨 knowledge 和 control，后者不关心 knowledge 是否能被 action head 使用。对于 embodied agent 来说，真正重要的不是“能不能说出哪个杯子脏”，而是“能不能把动作落到脏杯子上”。

因此论文缺口非常明确：需要一个 action-grounded、低控制复杂度、可从现有 VLM knowledge benchmark 扩展的评测协议，用于测量 VLA 的 knowledge retention 和 knowledge-to-action transfer，而不是再构造一个复杂 manipulation leaderboard。

Core Idea

核心思想是把 VLM 的 knowledge QA 变成最小化 embodied choice：给 agent 一个自然语言指令和两个候选视觉答案，让它通过把 cube 放到正确图片上来“回答”。这改变了评测建模方式：答案不再是 token，而是一个空间动作；但动作本身被设计得极短、极简单，使得成功率主要反映语义选择而非长程控制能力。

这个设计引入的 inductive bias 是 forced-choice action grounding。它不要求 VLA 生成语言，也不要求复杂 planning，而是强迫模型把视觉-语言语义压缩成一个 action target。相比 prior 的 manipulation success，它更诊断；相比 text VQA，它更接近 policy 的真实使用路径。

第二个核心思想是 layerwise intent probing。作者不是只看最终动作，而是检查正确答案标签是否能从不同层 representation 线性读出。这个分析重新组织了问题：VLA 失败可能不是知识消失，而是 knowledge signal 在从 VLM backbone 到 action expert 的过程中衰减。这个判断比单纯 leaderboard 更有价值，因为它指向 representation alignment / interface bottleneck，而不是泛泛说模型“不懂”。

Method

方法中真正有机制意义的部分如下。

1. Act2Answer episode：把知识问题转换成 tabletop 二选一动作选择。它解决的是 embodied evaluation 中控制 confound 过强的问题。动作只需要放置 cube 到候选图像区域，因此比普通 manipulation task 更能暴露语义选择能力。核心变化是把 VLA 的 output modality 保持为 action，但把 task horizon 和 dynamics complexity 降到最低。

2. Binary conversion + benchmark adaptation：作者从已有 VLM benchmark 中筛选可转化的问题，统一成短指令和两个视觉候选项。它解决的是数据可信度与覆盖问题：不从零发明 commonsense taxonomy，而是借用已有 VLM benchmark 的语义来源。这里的必要性在于 scalability；如果每个 embodied knowledge task 都手工设计，难以覆盖多类别。

3. Soft Success Rate + left/right swap：SR 用最终 cube 位置是否落入目标区域来计分，swap 用于抵消固定左右偏置。它解决的是 action selection 评测中常见的位置偏好和落点噪声。这个机制很重要，因为很多 VLA 在低置信度任务上可能只是偏向某一侧；不做 swap 会把 spatial bias 误当作 knowledge。

4. VLM action-free baseline：用原 VLM 在相同视觉输入上做文本/位置判断，作为知识上界或对照。它不是完美上界，但能揭示 VLM-to-VLA gap。它解决的是“原始 backbone 是否本来就不会”的归因问题。

5. Layerwise intent probing：对每层 hidden state 训练线性 probe 预测正确答案。它解决的是最终动作失败的内部归因问题：知识是否仍在线性可读空间内，还是完全消失。这个部分是论文最有研究价值的诊断工具。

Key Insight / Why It Works

这篇论文最重要的 insight 是：VLA 的 commonsense failure 很可能不是单一的“模型不知道”，而是“知道但不能行动化”。probe 显示中层 backbone 中答案相关信号仍可恢复，但到上层和 action expert 衰减，这说明问题可能发生在 representation-to-action alignment，而不是知识存储本身。这一点比最终成功率更有信息量。

Act2Answer 有效的原因不是它构造了更真实的机器人任务，而恰恰是它不试图真实。它把任务压缩成 binary action report，使评测更像 cognitive science 中用行为选择测非语言知识：动作只承担 readout 功能，而不是成为主要难点。这个 reduction 让它能够在 VLA 上复用 VLM benchmark，并系统比较类别差异。

最可能的核心贡献是 evaluation protocol + diagnostic framing，而不是某个算法。它没有提出新的 VLA 训练方法，也没有真正解决知识保留；它提供的是一个让问题可见的测量工具。

哪些部分可能只是辅助：texture / tile size / lighting ablation 是必要的 hygiene check，但不是核心；soft SR 也是合理工程设计。真正有迁移价值的是“minimal action as answer channel”和“layerwise knowledge-to-action attenuation probe”。

关于结果归因，需要直接说：Magma 的优势增益来源不清。它可能来自 continued VQA / VL supervision，也可能来自更大数据覆盖、更接近 benchmark distribution、模型架构或 scaling。论文将其解释为 VQA co-training associated with retention 是合理相关性，但不是因果证明。

另一个需要警惕的是 benchmark leakage / implicit memorization。因为 Act2Answer 从已有 VLM benchmark 改写而来，强 VLM 或带 VL co-training 的 VLA 可能通过数据覆盖或近邻概念记忆获益。尤其 celebrity、public info、living world 这类类别，本质上很容易变成 retrieval，而不是真正 embodied reasoning。论文的 claim 应该理解为“action-accessible benchmark knowledge retention”，而不是开放世界 commonsense reasoning 能力。

Relation To Prior Work

这篇工作最接近三条路线。

第一是传统 VLA manipulation benchmark，如 LIBERO、CALVIN、VLABench、BEHAVIOR 等。这些 benchmark 关心任务完成和控制泛化，但缺少知识归因。Act2Answer 的不同点是反向简化环境和动作复杂度，把评测目标从 task competence 转到 knowledge-conditioned action selection。

第二是 VLM/VQA benchmark。Act2Answer 大量借用其问题来源，但关键差异是 response modality：不是文本答案，而是 embodied action。这个差异不是形式上的，因为它测试的是 knowledge 是否穿过 VLA policy interface。

第三是 RT-2 / OpenVLA 等关于 web knowledge transfer to robotics 的叙事。已有工作通常用下游任务成功暗示知识迁移，或者直接测 backbone 的 VQA 能力。本文的新增信息是：VLM 知识可以在转成 VLA 后仍存在于中间层，但未必能被 action head 使用。

看似新的地方中，benchmark adaptation 和二选一选择本身并不新，本质是 VQA multiple-choice 的 embodied reparameterization；实质创新在于将其系统化为 VLA 诊断协议，并配合 layerwise probing 给出 knowledge-to-action bottleneck 的证据。

Dataset / Evaluation

评测覆盖 12 个类别，横跨浅层感知、物理属性、状态、情绪、计数、时间、交通/公共信息、名人、living world 等。覆盖面对于诊断当前 VLA 的基础语义能力是足够有用的，但不是完整 commonsense taxonomy。它更像一个 curated diagnostic suite，而不是通用 embodied intelligence benchmark。

场景上主要是 simulated tabletop，没有真实世界或真机验证。这个选择符合论文目标：降低控制复杂度，而不是测试 deployment robustness。但也意味着结论不能直接外推到真实机器人环境中的长期任务、动态交互和多步规划。

评测是否支持核心 claim？基本支持。它能说明当前多个 VLA 在 action-grounded knowledge selection 上明显弱于 VLM，且浅层感知类能力比高层语义类更稳定。它也通过 probing 支持“信息在中层存在但到动作端衰减”的解释。

但 evaluation 不能完全证明 catastrophic forgetting。因为 VLA 与 VLM 的输入处理、分辨率、prompt、action interface、训练数据和 checkpoint 都不同，gap 可能由多因素造成。论文做了 prompt/resolution/rendering ablation，能排除一部分 artifact，但不能完成因果归因。

此外，binary choice 既是优点也是限制。优点是稳定、可规模化、控制 confound 小；缺点是容易受 dataset bias、candidate construction 和位置偏好影响，也不测试开放式目标生成、歧义澄清、长期记忆或真实 affordance reasoning。

Limitation

最核心的前提是：如果动作足够简单，那么 failure 主要反映 knowledge/action-selection 问题。这个前提大体合理，但不完全成立。VLA 对 tabletop layout、tile texture、camera view、instruction phrasing、end-effector calibration 仍可能敏感；低控制复杂度只是降低 confound，不是消除 confound。

第二，Act2Answer 将 commonsense 压成二选一视觉选择，这会把复杂 embodied knowledge 变成 recognition / retrieval。对于 celebrity、public info、living world 等类别，所谓 knowledge 很可能主要来自数据覆盖；对于 emotion/state/attribute，失败也可能来自视觉细粒度分辨率和图像域差异，而非抽象语义缺失。

第三，VLM-VLA gap 的因果链不清。论文倾向于解释为 robotics fine-tuning 造成 knowledge erosion，但也可能是 action head 没有学会 readout、final-layer representation 被 policy objective 重塑、输入预处理不一致，或 instruction distribution shift。probe 结果支持 bottleneck，但没有精确定位是哪个训练阶段、哪个 loss 或哪个架构连接导致衰减。

第四，Magma 等模型的优势归因不清。文中认为 VQA co-training 与知识保留相关，但缺少严格 controlled ablation。可能主要来自 scaling / data / benchmark overlap，而不是训练范式本身。

第五，benchmark 的 scalability 依赖已有 VLM 数据能否可靠转成 embodied binary choices。对于真正需要交互、因果干预、长期状态追踪的 commonsense，这种转换会失真。换言之，Act2Answer 是很好的 diagnostic readout，不是完整 embodied reasoning benchmark。

第六，probe 的线性可读性不等于 causal usability。中层 probe 能读出答案，只说明信息存在于 representation 中，不说明 policy 可以或应该使用它。要证明 causal bottleneck，还需要 activation patching、representation steering、action head retraining 或 intervention 实验。文中未充分说明这部分因果性。

Takeaway

• 1. VLA 评测需要从“任务成功率”转向“能力归因”。
• Act2Answer 的价值在于证明可以用 minimal embodied action 把 VLM knowledge benchmark 转成 VLA diagnostic，而不必总是构造复杂 manipulation task。
• 2. 当前 VLA 的主要问题可能不是完全失去知识，而是知识没有稳定进入 action channel。
• 未来方向应关注 representation alignment、action head readout、semantic preservation loss、VL rehearsal / distillation，而不是只堆更多 robot trajectories。

一句话总结

这篇论文不是提出更强 VLA，而是把 VLA 的世界知识保留问题从不可归因的 manipulation success 中剥离出来，提供了一个 action-grounded 的诊断协议，并指出当前瓶颈更像是 VLM 语义表示到 action policy 的对齐与保留失败。