精读笔记

Problem Setting

这篇论文处理的是非 Markovian manipulation imitation：机器人当前观测不足以决定下一步动作，正确动作依赖过去发生过什么。真正困难点是 observation aliasing，而不是单纯的 long horizon。很多长时程任务看似需要 planning，实际上最先失败的是 phase disambiguation：同一个画面可能对应“还没做”“已经做完一半”“需要返回”“需要确认”等不同控制阶段。

以前方法卡在两类假设上：Markovian VLA 假设当前视觉语义足够；短窗口或外接 memory 假设关键历史可以被局部上下文或离散检索补回来。但如果决定性事件发生在窗口之外，或历史信息需要连续调制低层动作，而不是只作为一个符号 cue 被取回，这些方法就会在结构上欠定。关键矛盾是：物理环境可能 Markovian，但 policy 可见的 observation space 不是 Markovian；扩大模型规模不能自动恢复不可见的状态变量。

Motivation

作者的出发点比较清楚：当前 VLA / diffusion policy 的主流 scaling 主要提升语义识别、数据覆盖和局部动作建模，但没有解决 partial observability 下的 state estimation。换句话说，模型更大可以更好地识别杯子、按钮、积木，却不能知道这个按钮是否已经按过，除非历史被编码成 policy state。

关键缺口是历史建模方式。已有 memory-VLA 往往把 memory 当作外挂模块：存 anchor、滑窗、检索历史、加 recurrent query。Chronos 的动机是把历史从 auxiliary context 提升为 latent state，也就是让 policy 本身成为一个因果动力系统。另一个动机是动作生成：diffusion / flow 已经很强，但它们主要在 action 或 velocity 层面做生成，接触操作中的 jitter、endpoint velocity 和插入精度问题需要更强的二阶平滑 inductive bias。

Core Idea

Chronos 的核心思想可以概括为：用 full-history state estimation 解决“该做什么阶段”的问题，用二阶动作 refinement 解决“怎么平滑地做”的问题。每个物理时间步只产生一个 state token，这个 token 融合当前 observation 和 proprioception；SSM 沿物理时间递推，形成 causal historical context。这样时间轴不再被视觉 patch、语言 token 或短窗口切碎，而是直接对应控制过程本身。

本质区别在于它改变了 policy 的 sufficient statistic：动作不再条件化于当前帧或固定窗口，而是条件化于由全历史递推得到的 hidden state。这个 hidden state 可以承载 task phase、尝试过的动作、隐藏 object-location binding、permutation progress 等不可见变量。二阶 bridge 则引入 action-space dynamics 的 inductive bias：不是一步预测动作，也不是一阶 transport，而是让 coarse action prior 通过 acceleration field 被局部修正。直觉上，这更适合机器人连续控制，因为动作变化应经过速度/加速度约束，而不是在 chunk 空间中被任意抖动式更新。

Method

方法中真正必要的机制有三层。

第一，one state token per physical step。它解决的是 temporal representation 被高维视觉 token 混淆的问题。把每个控制步压成一个状态 token 后，SSM 的序列长度等于真实轨迹长度，模型容量主要用于记忆物理时间上的状态演化，而不是处理单帧内部空间结构。这是一个很关键但容易被低估的设计。

第二，full-history causal SSM。它解决的是历史阶段变量的持续传播和训练 credit assignment。相比 detached recurrent training 或短窗口 transformer，完整序列训练允许后期失败反向更新早期 hidden phase 的形成方式。这里的核心变化不是“用了 Mamba”，而是把 memory 作为 policy dynamics 的状态，而不是作为检索缓存。

第三，IMLE prior + second-order bridge。IMLE 解决多模态 demonstration 下的均值化问题，给出一个 plausible action mode；bridge 解决从 coarse mode 到精细动作 chunk 的平滑修正。文中 Schrödinger–Madelung–Kostin 推导最终落到 acceleration target、position stabilization、velocity damping 和 quartic schedule。机制上可以理解为一个带 learned acceleration 的二阶局部控制器，而不是严格意义上的高维 Schrödinger bridge 求解器。

Key Insight / Why It Works

最可能的核心贡献是 full-history latent state，而不是 Schrödinger bridge。RMBench 和真实 Swap-T-Mem 的结果说明，当任务被设计成当前观测不足时，Markovian VLA 的失败不是因为参数少，而是因为输入信息结构错了。Chronos 把历史变成 hidden state 后，等价于为 POMDP 学了一个 belief-like recurrent representation；这正好补上了缺失的状态变量。

它有效的原因更接近 latent structure + memory reuse，而不是 reasoning。模型并没有显式规划，也没有证明学到了抽象任务图；它更可能学到的是 demonstration distribution 中稳定出现的 phase manifold。对于 rearrange、put back、swap、cover 这类任务，这种 phase manifold 足够低维，因此 SSM 很适合。所谓“长期记忆”在这些 benchmark 中很可能是连续 phase tracking，而不是开放式 episodic memory。

二阶动作桥的贡献更像 better inductive bias / engineering refinement。ALOHA 插入和真实机 smoothness 支持 acceleration-level correction 有价值，尤其在 contact-rich 和 precision motion 中。但 Schrödinger 形式本身是否必要并不清楚；增益可能主要来自三件工程事实：IMLE 避免动作平均，quartic schedule 避免 endpoint velocity noise，semi-implicit integration 抑制 action jitter。把它称为 physics-informed 是合理的，但不应过度解读为真正求解物理或概率桥问题。

需要警惕的是，强结果可能部分来自 benchmark 与方法假设高度匹配：RMBench 明确构造了 observation aliasing，Chronos 正好是 full-history recurrent state；任务阶段也相对可由 demonstrations 覆盖。这里验证的是“历史状态建模优于当前帧策略”，而不是证明该方法具备开放世界长程推理能力。

Relation To Prior Work

Chronos 最接近三条谱系：recurrent / SSM imitation learning、memory-augmented VLA、generative action policy。和 MTIL 的差异主要在 full-history training credit assignment 与动作头；和 Mem-0 / MemoryVLA 的差异在 memory 的位置：后者更像给 VLA 加外部记忆，Chronos 则把记忆放进 policy state transition。

和 diffusion policy / flow policy 相比，Chronos 不把动作生成看成从噪声到动作的一阶生成过程，而是 coarse prior 加二阶 refinement。这个变化在机器人控制里是实质性的，因为它引入了 acceleration smoothing 和 endpoint velocity constraints。与 ACT 相比，它保留 action chunking 的稳定执行优势，但避免纯 regression 的 mode averaging。

看似新的部分里，IMLE、多步 action chunk、SSM memory、PD-like stabilization、symplectic integration 都不是新思想；实质创新是把这些机制组织成一个针对 POMDP manipulation 的统一信息流：full-history state estimation 决定 phase，多模态 prior 决定 action mode，二阶 refinement 决定 motion quality。Schrödinger 叙事更多是理论 framing，真正新增的信息是“memory as latent policy state + acceleration-level action refinement”这一组合在 memory benchmark 上被系统验证。

Dataset / Evaluation

评估覆盖了三类能力：精细动作生成、一般 3D manipulation、显式 memory-dependent manipulation，并包含真实机器人实验。这个设计总体上能支撑论文的主 claim，因为它没有只在 memory benchmark 上报结果，也展示了在一般 manipulation 上不明显退化。

最有说服力的是 RMBench 和真实 Swap-T / Swap-T-Mem 对照。它们直接测试当前观测是否足够，能较干净地区分 Markovian failure 和 history-state failure。真实机器人使用单 RGB 相机还能成功完成部分 memory task，说明方法不是纯模拟 artifact。

但 evaluation 也有明显限制。大量大模型 baseline 使用 reported results，不是统一训练、统一 encoder、统一数据预算，横向比较只能作为上下文，不能作为严格结论。Chronos 在 RoboTwin 上的优势可能混有 point-cloud encoder、任务选择和训练实现差异。Press Button 和 Battery Try 暴露出它并没有解决视觉符号识别和接触鲁棒性。更重要的是，benchmark 验证的是固定任务分布内的历史 phase tracking，而不是跨任务组合泛化或真正长期 planning。

Limitation

Chronos 的成立前提是历史中存在可学习、可压缩、可递推的 latent state，并且 demonstrations 覆盖了这些状态转移。如果任务需要开放式语言推理、外部知识、未见过的分支组合，SSM hidden state 未必能泛化。它更像 learned belief tracker，而不是 planner。

scalability 上限也不清楚。one-token-per-step 让全历史建模更干净，但如果 horizon 极长、状态变量很多、关键事件稀疏且跨 episode，SSM 是否会保留足够信息没有证明。full-history backprop 在训练上也依赖轨迹长度和 perception chunking；冻结视觉 backbone 虽然省内存，但也可能限制需要精确空间绑定的任务。

二阶 bridge 的理论动机存在过度包装风险。文中最终使用的 acceleration target 很接近 cubic reference + position/velocity stabilizer；Schrödinger derivation 是否带来不可替代的设计原则，文中未充分说明。增益来源不清，可能来自 IMLE、多步 refinement、schedule、integration、loss 权重或 action smoothing 的共同作用。

泛化结论需要谨慎。RMBench 的强优势说明方法非常适合 observation aliasing benchmark，但这不等价于通用 long-horizon intelligence。所谓 memory 可能主要是对训练分布内 phase transitions 的隐式记忆；所谓推理更像 trajectory-conditioned retrieval / phase tracking，而不是符号级任务分解。

Takeaway

• 1. 对 memory-dependent manipulation，关键不是给 VLA 加更长上下文，而是重新定义 policy 的 state：history 应该是动力系统状态，不是 prompt。
• 2. one-token-per-physical-step 是可迁移 insight。
• 对于机器人序列建模，时间轴应对应控制时间，而不是混入视觉 patch 或任意上下文 token。
• 3. 动作生成里二阶结构值得继续做。

一句话总结

Chronos 是一篇把 POMDP 式历史状态估计和二阶动作生成重新组织进 imitation policy 的工作，真正贡献在于证明 memory-dependent manipulation 需要“history-as-state”而不是更大的 current-frame VLA。