精读笔记
Problem Setting
论文题目：Present but Not Remembered: Auditing How Frozen VLAs Encode, Deploy, and Steer Visual History（arXiv preprint / 2026）。这篇论文真正处理的是冻结多帧 VLA 的“时间轴机制诊断”：历史帧已经作为输入存在时，模型到底是在存储可用于决策的过去，还是只是在内部保留一个与当前帧高度重合的冗余副本。困难点在于，VLA 的行为输出和中间表示都容易给出误导性信号：动作会被历史扰动影响，但这可能只是扰动敏感；表示能解码过去，但这可能只是因为相邻帧高度相关。以前 memory-augmented 方法卡在没有 baseline diagnosis：不知道原生模型缺的是容量、读出路径、历史独有信息，还是训练分布里根本没有迫使模型使用历史。关键矛盾是：模型“有历史输入”不等于“有记忆机制”；“过去 present in representation”不等于“过去 remembered as decision-relevant state”。
Motivation
已有路线的不足在于太快进入 add memory，而没有回答原生 VLA 对已有 history window 做了什么。长上下文、retrieval buffer、trajectory overlay、recurrent latent 都可能提升 benchmark，但这些提升很难归因：可能来自额外数据覆盖、test-time retrieval、regularization，也可能只是给模型更多当前帧的近邻冗余。作者的核心观察是，VLA 机制解释已有一条单帧内 modality/fusion 轴，例如 vision 是否主导 action；但时间轴是正交问题：跨 timestep 的信息是否被编码、是否独立、是否读出、是否可 steering。真正缺口是一个 training-free audit：在不重新训练、不引入新 memory module 的前提下，把“历史存在”“历史独有”“历史部署”“历史可写入”分开测。
Core Idea
核心思想是把“记忆”从一个行为层面的黑箱属性拆成表示与因果读出两个层次。表示层面先问：history token 中是否能线性读出 t-1；再问：这部分读出是否包含当前帧 t 解释不了的信息。因果层面再问：如果把历史激活替换成 donor 的历史，动作是否随之改变；如果当前帧失效，这种改变是否增强；以及这种依赖在哪一层之后被切断。这个建模方式的改变在于，它不再把多帧输入视为天然 memory，而是把 history 当成一个可被残差化、干预和定位的信息通道。它的 inductive bias 不是让模型更强，而是让分析更可证伪：如果 A1 高但 A4 低，说明历史只是 present-correlated trace；如果 decode 高但 interchange gap 为零，说明 representation 不被 readout 使用。相对 prior，本质区别不是更复杂的模块，而是把 temporal memory 的 claim 从 performance improvement 变成 causal deployment profile。
Method
第一，A1/A4 probe 解决“历史是否真的独有”的问题。A1 只说明历史内容可解码；A4 把当前帧可预测的部分剔除，专门测 t-1 中 current-frame-irreducible 的残差。这个设计必要，因为机器人相邻帧高度相关，普通 probing 几乎必然高估记忆。核心变化是把 memory capacity 重新定义为 unique-to-history information，而不是 raw decode。第二，interchange intervention 解决“表示是否被动作使用”的问题。把 donor 的历史激活移植到目标样本，观察动作分布的噪声校正变化，直接测 causal deployment。它必要是因为 probing 只能证明可读，不证明 readout 读了。第三，occlusion ladder 解决“什么时候用历史”的问题。通过只破坏当前帧制造受控非 Markov 条件，看历史贡献是否在当前失败时上升。第四，attention-knockout 作为正交验证，解决 interchange 可能只是激活分布扰动的疑问。第五，injectability gate 检查 pre-cutoff 通道是否真正携带内容：如果注入历史不能修复 occlusion 或 disambiguate aliasing，那么这个通道即使可扰动，也不是 content-bearing memory。
Key Insight / Why It Works
最核心 insight 是：VLA 不是简单“忘记过去”，而是把过去编码成当前帧的冗余副本，因此在大多数 near-Markov demonstration 中没有压力形成独立 temporal state。这个解释比“模型记忆不足”更强，因为它同时解释了三件事：为什么 history decode 高、为什么 unique history 低、为什么 action readout 只在当前帧完全崩掉时才 fallback。方法有效的原因在于它抓住了时间通道的因果瓶颈：真正重要的不是历史是否在 hidden state 中，而是 readout 是否在决策时需要它，以及它是否提供当前帧没有的信息。最可能的核心贡献是 A1/A4 与 deploy gap 的组合；attention-knockout 和 multi-seed 统计是必要的可信度加固，但不是概念核心。Octo 的 injection inert 也很关键：它说明 fallback 通道不是一个可被简单写入的 memory slot，而更像一个 content-blind perturbation-sensitive path。CronusVLA 的 standing-use 结果则提供了更有意思的负例：相同的 A4≈0 不决定 deployment regime，说明 encoding redundancy 与 readout policy 可以解耦。这里的本质不是 scaling，也不是 retrieval，而是 representation alignment 与 readout routing 的问题。Octo-Base 反而更少用历史，提示简单 scaling 可能加剧 near-Markov shortcut。需要警惕的是，Cronus 的 standing-use 是否来自架构本身、训练数据、action head 或 multi-frame cognition feature，文中未充分说明；所谓 architecture-conditional 更准确地说是“在这两个实现上 observation 到了 regime flip”，不是完整架构规律。
Relation To Prior Work
最接近的是 VLA mechanistic interpretability 与 memory-augmented VLA 两条线。与 Grant et al. 的差异很清楚：Grant 研究单帧内 modality/fusion，结论是 vision dominance 且跨架构稳定；本文研究跨帧时间轴，结论是 encoding 近似一致但 deployment regime 架构相关。两者不是竞争，而是坐标系互补。与 MemoryVLA、MemER、TraceVLA、ContextVLA 等相比，本文不是提出更强 memory module，而是质疑这些方法的前提：如果原生历史通道主要存冗余，继续加历史长度可能只是扩大冗余缓存。与 probing 文献相比，实质创新在于 residualized history-unique probe 和 causal interchange 的配对；单独 probe 并不新，activation patching 也不新，但把它们组织成 temporal-deployment audit 是新增信息。与 activation steering 工作相比，本文更强调何时可 steering：steerability 不由是否 encode history 决定，而由 deployment regime 决定。这一点比“能否 steering 某个特征”更机制化。
Dataset / Evaluation
评估选择是有意识的显微镜式设计：frozen public checkpoints、BridgeData V2 中固定 hash 的 250 对 matched stimuli、open-loop action readout、layer-wise intervention。它非常适合支持“在哪里读历史、是否因果部署、是否在 L6 后切断”这类机制 claim，因为闭环 rollout 很难逐层 patch。它不适合支持“真实机器人长期任务会怎样”或“memory augmentation 一定无效”这类行为 claim。任务覆盖主要是 Bridge 分布内近 Markov 操作，天然非 Markov 情况很少；这恰好支持作者关于训练分布不给历史独有信息压力的解释，但也限制了泛化。跨模型包含 Octo-Small、Octo-Base、CronusVLA-0.5B，足以展示一个反例式 architecture dependence，但远不足以建立系统 taxonomy。没有真实世界闭环或 long-horizon success rate；因此 evaluation 支持机制定位强，支持部署性能弱。benchmark leakage 不是主要风险，因为不是在比性能；更大的风险是 stimulus distribution 太 near-Markov，使得“历史冗余”部分是数据分布事实而非 VLA 普遍属性。
Limitation
方法成立依赖几个前提。第一，A4 的目标是 previous-frame scene target 的线性残差；如果模型存的是非线性、抽象任务进度、隐含接触状态或 intention，A4 可能低估。文中用 deploy intervention 补强这一点，但没有完全排除 abstract memory。第二，open-loop action distribution 不等于闭环行为；层级 cutoff 的定位可信，但它对真实恢复、误差累积、long-horizon correction 的意义仍需验证。第三，architecture-conditional 的解释可能过强：Octo 与 Cronus 不只架构不同，也可能在训练目标、数据、feature locus、diffusion head wiring 上不同，增益来源不清。第四，当前结论很依赖 near-Markov imitation 数据；如果训练集包含大量 occlusion、state aliasing、partial observability，模型是否仍只学 redundant history 未知。第五，injectability negative 不等于外部 memory 无效，只说明 Octo 的 native pre-cutoff pathway 不能被简单写入；真正有效的 memory 可能需要重新训练 readout 或改变 objective。第六，所谓 inverse scaling 目前更像观察，不足以推出大模型普遍更少用历史；可能主要来自 scaling / data / architecture interaction。
Takeaway
- 最值得带走的不是“VLA 没记忆”，而是“多帧 VLA 的历史通道默认会坍缩成当前帧冗余，除非训练目标迫使它保留 present-irreducible 信息”。
- 未来 memory VLA 不应该只加长窗口，而应该显式构造和监督历史独有变量，例如被当前帧遮挡的物体状态、任务阶段、接触事件、branch disambiguation。
- 机制评估上，probe 必须和 causal deployment 配对；否则高 decode 很可能只是 temporal correlation。
- 架构设计上，关键不是有没有 history token，而是 readout 是否在中后层仍保留到历史的可写、content-bearing 路径。
一句话总结
这篇论文在 VLA 记忆研究中提供的是一套因果时间通道审计，而不是新 memory 模型；它的真正贡献是证明冻结多帧 VLA 往往“编码了过去的冗余痕迹，却没有把过去当作独立决策状态”。