精读笔记
Problem Setting
论文标题：MotionVLA: Injecting Geometric Motion into Vision-Language-Action Model（arXiv preprint / 2026）。
这篇论文实际处理的是 VLA 在长程 manipulation 中的“历史证据可用性”问题，而不是单纯的 VLA 架构扩展。长程任务里，当前 observation 往往不足以决定控制状态：同一个画面可能对应继续当前 subgoal、切换 subgoal、或者修正过去动作。纯 reactive VLA 会在这些 aliasing 状态下出现不稳定动作。
但论文更重要的判断是：直接加历史帧、深度、点云、4D token 并不自动解决这个问题。以前方法卡在一个隐含假设上，即 injected spatiotemporal evidence 本身是几何一致且控制可用的。实际上，逐帧 lift 到 3D/4D 的历史 token 可能在同一物理点上产生漂移，稀疏 keyframe 又会造成 temporal fragmentation。于是策略看到的是“形式上 4D、实际上不连续”的 evidence，控制头会把这种不一致解释成需要修正的状态误差，表现为绕路、抖动或多余 correction。
关键矛盾是：VLA 需要历史来 disambiguate state，但历史如果以错误结构注入，会放大控制不稳定性。MotionVLA 的问题定义可以概括为：如何把短期历史转换成一种对当前控制可查询、几何运动一致、且不会压垮 VLA context 的 memory interface。
Motivation
已有路线的不足不在于缺少历史，而在于历史的表示粒度错了。frame stacking、memory bank、keyframe retrieval、RGB-D/point cloud injection 都偏向“存储过去观测”。这些表示可以带来更多上下文，但它们没有显式描述过去帧之间的物理对应关系。对于 manipulation，真正有用的往往不是某一帧里物体在哪里，而是 end-effector / object / scene 在最近时间窗内如何移动，以及当前状态是这个运动过程的哪个阶段。
作者的核心观察是 path efficiency：一些 4D-injected VLA 即使成功完成任务，执行路径也明显更绕。这是一个比 success rate 更敏感的信号，说明 policy 并没有稳定利用 4D evidence，而是在 noisy geometry 上做局部修正。这个观察非常关键，因为它把问题从“终点是否成功”转向“控制过程是否符合 motion geometry”。
因此论文缺的不是一个更大的 memory，也不是更强的 3D predictor，而是一个 motion-consistent interface：它应该表达观察之间的连续运动，而不是把历史离散帧当作互相独立的 evidence 塞给模型。
Core Idea
MotionVLA 的核心思想是：VLA 不应该记住过去帧，而应该记住连接过去帧的运动。具体地，它把短的 past-only head-camera video window 交给 frozen trajectory-field extractor，得到 compact trajectory-field tokens；这些 token 不是直接拼进 VLA prefix，而是作为 key-value memory，被当前视觉 token 查询。查询结果再与当前多视角视觉 token 重新融合，用于 flow-based action generation。
这改变了历史建模方式：从 observation memory 变成 motion memory；从离散 frame evidence 变成连续 trajectory evidence；从无条件拼接变成 current-state-conditioned retrieval。新的 inductive bias 是“历史只有在能解释当前视觉 token 时才进入控制”，并且进入的是最近物理进展的 latent representation。
和 prior 的本质区别在于，MotionVLA 不是强调更强的 4D perception，而是强调 4D evidence 的控制接口。它不追求把所有历史几何都暴露给 policy，而是把历史压缩成可查询的 motion field token。这一点更 scalable：token 数不随历史帧线性膨胀太多，也避免了 VLA 自己在长 prefix 里学习时序对齐。
Method
方法上真正必要的机制只有几件事。
第一，past-only motion history。它显式排除当前帧，只使用当前时刻之前的 head-camera window。这不是实现细节，而是为了让 motion token 表达“到达当前状态之前发生了什么”，避免把当前 observation 泄漏进 motion branch，使其退化为另一个视觉 encoder。
第二，trajectory-field tokenization。论文没有把 dense trajectory field 全部喂给 VLA，而是取 trajectory extractor 的 decoder tokens 并投影到 VLA hidden space。它解决的是两个问题：一是逐帧 3D lifting 的几何漂移，二是 dense 4D representation 的 token 爆炸和噪声敏感。核心变化是把历史压缩成连续运动 latent，而不是逐帧空间 token。
第三，query-conditioned retrieval。当前 head-view visual tokens 作为 query，motion history 作为 key/value。这个设计的必要性在于：历史中并非所有运动都与当前控制有关；让当前视觉状态主动读取历史，相当于把 temporal alignment 问题从 VLA backbone 中提前解耦出来。
第四，trajectory-grounded supervision。仅靠 action loss，cross-attention 读出的 motion token 可能学成 appearance shortcut。辅助预测历史 action sequence 迫使这些 token 保留与 robot progress 相关的信息。这里的监督对象是历史动作而不是像素/轨迹重建，说明作者更关心 control-relevant dynamics，而非视觉重建质量。
第五，recouple。motion token 最终还是要回到 VLA token stream，而不是单独接 action head。它的作用是让语言、当前视觉、proprioception 和 motion evidence 在共享 attention 中交互。这个模块本身可能不新，但在机制上承担了从 motion-specific latent 回到 general VLA policy 的接口转换。
Key Insight / Why It Works
最核心的有效性来源大概率不是 trajectory extractor 本身有多强，而是 representation alignment + retrieval 共同减少了 VLA 需要自己解决的时序对齐负担。原始 VLA 如果直接看到历史帧，需要在 backbone 内部同时完成 object correspondence、motion inference、state disambiguation 和 action mapping；MotionVLA 把前两个问题交给 trajectory-field prior，把第三个问题交给 current-query retrieval，把最后一个留给 action expert。这是一个合理的 decomposition。
真正的贡献是 inductive bias：把历史约束为“连续运动证据”。这比 naive history 更强，因为 naive history 增加的是信息量，也增加了噪声和 ambiguity；motion field 增加的是结构化 latent。它比普通 4D token injection 更稳，因为逐帧 lifted geometry 并不保证同一物理点的 temporal consistency，而 trajectory field 至少显式建模了跨帧轨迹。
消融很有说服力的一点是 naive history 和 unaligned 4D token 会显著变差。这说明不是“加历史就好”，甚至不是“加 4D 就好”。Stage-I alignment 的提升很大，意味着 MotionVLA 的实际瓶颈是把外部 motion representation 对齐到 VLA action space。这里也暴露一个归因问题：部分增益可能来自额外 Stage-I 训练和 heterogeneous manipulation mixture，而不是 motion token 形式本身。论文虽然做了组件消融，但没有完全隔离 data/compute/alignment recipe 的贡献。
auxiliary trajectory loss 我认为是辅助但重要的 regularizer。它不是推理时能力来源，而是防止 retrieved token 退化。它本质上引入了一个 latent structure constraint：motion memory 必须能解释过去 action progress。这会让模型更像在做 recent trajectory retrieval，而不是 abstract reasoning。
这篇论文的“长期推理”不应被高估。它没有形成显式 subgoal planner，也没有长期状态图。它更像是用短期 motion-conditioned memory 缓解 state chaos。所谓 temporal reasoning 很大程度是 retrieval + representation alignment，而不是 planning。这个判断很重要，因为方法的上限也在这里：它能让执行更连贯，但不一定能解决需要长期因果记忆或语言级任务分解的问题。
Relation To Prior Work
最接近的谱系有三条：VLA history/memory、geometry-aware VLA、4D spatiotemporal injection。
相对 MemoryVLA、TraceVLA、CronusVLA 这类历史建模方法，MotionVLA 的区别不是“也用了历史”，而是历史不是 frame/token cache，而是 motion-field latent。它避免把 temporal binding 任务留给 transformer 自己学习。
相对 DepthVLA、GeoVLA、PointVLA，MotionVLA 关注的不是静态几何增强。静态 3D cue 解决的是空间定位和 metric grounding，但不解决“这一状态是如何到达的”。MotionVLA 的新增信息是 recent physical progress。
相对 4D-VLA、SwiftVLA，MotionVLA 的差异更微妙。它们都在给 policy 加 spatiotemporal evidence，但 4D-VLA/SwiftVLA 更像把 4D 特征作为额外上下文；MotionVLA 强调这些 4D evidence 必须是 motion-consistent 且 queryable。也就是说，它的实质创新不是发现 4D 有用，而是把 4D 从 prefix feature 改成 motion memory interface。
看似新的部分里，cross-attention retrieval、auxiliary action reconstruction、two-stage alignment 都是已有思想的重组；实质较新的地方是把 trajectory-field representation 放在 VLA memory interface 这个位置，并用 path efficiency 论证“几何一致性影响控制质量”。这是一个有价值的 framing。
Dataset / Evaluation
评估覆盖 RoboTwin2.0、LIBERO 和少量 Agilex Piper 真机。整体上足以支持一个中等强度的 claim：motion-consistent short-history interface 对长程 manipulation 有帮助，尤其在 temporal ambiguity 更明显的任务上。
LIBERO 的结果需要谨慎看。LIBERO 已经被大量 VLA 方法刷到高分区间，平均成功率差异很小，真正有价值的是 LIBERO-Long 和 path efficiency。论文加入 PE 是正确的，因为它直接对准“motion consistency” claim，而不是只看 terminal success。4D-VLA 在 PE 上变差这一点支持作者对 discrete 4D evidence 的批评。
RoboTwin2.0 的长程任务更能体现方法优势，尤其 custom blocks_touching_rgb 直接考察顺序进展和状态混淆。但 custom task 也带来评估偏置风险：它可能更贴合 MotionVLA 的假设，即 recent motion 足以 disambiguate subgoal。
真机实验只能算 preliminary evidence。任务数少、demo 数有限、embodiment 单一，不能证明跨场景或跨机器人泛化。它说明接口没有完全 simulation-only，但距离 deployment claim 还远。
整体 evaluation 支持“motion interface 比 naive history 更好”，但没有充分证明 trajectory field 是唯一或最优选择。缺少与 optical flow tokens、proprioceptive history、action-history transformer、learned video encoder 的强控制对比。
Limitation
方法成立依赖几个强前提。
第一，trajectory extractor 必须可靠。Frozen TraceAnything 是外部能力来源，MotionVLA 把一部分 perception/motion estimation 问题外包给它。如果遇到遮挡、反光、快速手部运动、textureless object，motion history 可能产生错误轨迹。论文做了 corrupted history robustness，但这只是受控扰动，不等价于真实 deployment 中系统性 tracker failure。
第二，它主要解决 short-term temporal ambiguity，不是长期记忆。默认 history window 很短，过长反而下降，说明方法依赖“最近运动足以解释当前控制状态”。对于需要跨分钟记忆、隐藏状态、对象永久性或多阶段计划的任务，这个接口可能不够。
第三，scalability 有上限。每个 timestep 运行 frozen trajectory extractor 是额外 test-time compute；历史窗口变长会显著降速并引入 stale motion。它不是免费 memory scaling，而是用计算换更结构化的短期 motion prior。
第四，增益归因不完全干净。Stage-I 100 小时 heterogeneous mixture、auxiliary supervision、projector alignment 都可能贡献明显提升。文中未充分说明相同数据/compute 下更简单 video-history encoder 或 proprio-action history baseline 是否能接近效果。因此不能把全部提升都归因于 trajectory-field geometry。
第五，所谓 reasoning 可能主要是 retrieval。模型没有显式规划器，也没有 subgoal state machine；成功更可能来自 motion-conditioned latent 对视觉 aliasing 的缓解。若 benchmark 中任务分布和 demonstrations 覆盖充分，模型可能只是学到“看到某类 recent motion 就继续某类 action”的 implicit retrieval policy。
第六，单 head-camera history 可能限制泛化。多视角 current observation 被用在 VLA 中，但 motion field 主要来自 head camera；在遮挡严重或手眼视角不稳定的场景，这个设计可能不足。
Takeaway
- 1. 对 VLA memory 来说，信息结构比信息量更重要。
- 历史帧、3D、4D token 如果没有 temporal consistency，可能提高 perception richness 但降低 control smoothness。
- 2. 一个值得迁移的设计范式是：先用外部/专门模型把历史压缩成 task-relevant latent，再让当前 observation query 这个 latent，而不是把所有历史直接拼进 policy backbone。
- 3. path efficiency 是评估 spatiotemporal VLA 的重要指标。
一句话总结
MotionVLA 是一篇把 VLA 历史建模从“更多离散时空上下文”推进到“可查询的运动一致 memory interface”的工作，真正贡献在于用 trajectory-field inductive bias 和 representation alignment 改善长程 manipulation 的控制稳定性，而不是单纯增加 4D 特征。