精读笔记

Problem Setting

KEMO: Event-Driven Keyframe Memory for Long-Horizon Robot Manipulation with VLA Policies（arXiv preprint / 2026）

这篇论文实际处理的是长时序真实机器人操控中的非 Markovian 决策：当前观测可能看起来相似，但正确动作取决于之前完成了哪些操作、哪些物体曾经在哪、当前处于第几个阶段。真正困难点不是单步 visuomotor control，而是 stage ambiguity 下的历史状态恢复。

以前方法主要卡在两个方向：dense memory 要么保留近期帧，要么把长历史压成少量 token，关键转折容易被冗余运动帧稀释；task decomposition / VLM memory 虽然能显式跟踪阶段，但需要额外语义推理、可能 hallucinate，并且引入在线成本。关键矛盾是：长时序任务需要历史，但可用历史里绝大多数帧没有信息量；若全保留则不可扩展，若只保留近期则丢掉早期关键事实。

Motivation

作者的出发点不是“VLA 缺 memory”这么泛，而是更具体地观察到：真实操控轨迹中的任务状态变化通常是稀疏事件，往往发生在抓取、放置、覆盖、打开、替换等动作转折附近。也就是说，长期依赖并不一定需要长上下文建模，可能只需要保留少数 interaction-induced state changes。

已有路线缺的是一种 cheap、causal、无需 subtask annotation 的事件抽取机制。纯视觉/VLM keyframe selection 语义更强但成本高且不稳定；纯运动 heuristic 便宜但会产生很多停顿伪事件。KEMO 的动机就是把机器人本体运动作为 event proposal，把视觉变化作为真实性验证，从而构造一种介于 hand-coded keyframe 和 learned semantic memory 之间的轻量机制。

Core Idea

论文的核心思想是：不要让 VLA 从连续历史中自己压缩“任务进度”，而是先用物理交互结构把历史离散化为事件序列，再把这个事件序列作为 memory tokens 注入当前视觉表示。它改变的是 memory 的建模单位：从 frame/window/recurrent state 变成 task-state transition evidence。

这个 inductive bias 很强：长时序操控的 latent state 被假设可以由少数有序 keyframes 近似表示。相比 dense compression，它减少了历史噪声；相比 VLM decomposition，它不显式生成语言 subgoal，也不要求在线高层推理；相比 recent memory，它保留远期但关键的状态证据。因此它更 scalable 的点不在模型规模，而在 history bandwidth：只让 memory 通道承载低频、强语义的状态变化。

Method

方法里最关键的不是 cross-attention 本身，而是 memory content 的定义。

第一，事件检测解决“哪些历史值得记住”。运动减速/停顿提供 causal proposal，因为很多操控阶段切换确实伴随减速、对齐、释放或重新规划；DINOv2 visual dissimilarity 过滤解决纯运动停顿的误触发。核心变化是把 long horizon history 变成稀疏 event stream。

第二，keyframe memory 解决“如何让历史可被当前决策读取”。它保存最近若干 accepted keyframes，并加 temporal slot embedding，使 policy 不只看到发生过什么，还能区分顺序。这对 cover/uncover、remove/refill 这类视觉重复但阶段不同的任务很关键。

第三，gated cross-attention 解决“memory 如何不破坏 base VLA”。memory 作为补充证据注入当前 visual tokens，而不是替换当前观测；负偏置 gate 初始关闭，实质上是在保护 pretrained / finetuned VLA 的即时感知能力。

第四，keyframe-aligned loss weighting 解决“关键转折处错误代价更高”。这部分更像 training curriculum 或 importance weighting：它让模型在未来会被写入 memory 的位置附近学得更准，从而减少错误状态进入后续阶段。

Key Insight / Why It Works

我认为这篇真正有效的部分是 event-driven memory selection，而不是 memory attention 架构。cross-attention、gated residual、temporal embedding 都是合理但常规的组件；真正的贡献是把历史选择问题绑定到机器人交互事件，而不是绑定到固定时间窗口或语义规划器。

它有效的根本原因是 better inductive bias：在这些任务里，长期依赖变量大多是离散阶段变量或物体-位置关联，而这些变量通常在少数动作完成瞬间被写入世界状态。KEMO 相当于把这些写入点显式采样出来，给 policy 一个近似 sufficient statistic。所谓 memory 更像 retrieval of past state evidence，而不是持续的 latent state modeling。

loss weighting 的增益很大，说明性能提升可能不完全来自 inference-time memory，也来自训练分布重加权：模型被迫更重视 stage boundary 附近的动作。这里增益来源不清，尤其是在 Cover Blocks 上，去掉 loss weighting 后性能明显下降，意味着 KEMO 部分是在做 event-centric curriculum，而不仅是 memory augmentation。

gated fusion 的作用也值得重视，但更像稳定训练的 engineering necessity。没有 gate 时性能崩掉，说明 memory token 对视觉表示的扰动很强；这反过来说明 memory integration 并非天然稳健，必须靠 gate 约束。它不是证明 memory 表示更好，而是证明 uncontrolled memory fusion 很容易破坏 base policy。

是否存在 hidden supervision？严格说没有人工 subtask label，但 detector 超参数和 memory capacity K 按任务设置，且任务本身设计成阶段转折清晰、视觉变化明显。这使得“task-agnostic”需要打折：它避免了显式 subtask annotation，但仍利用了任务结构先验。泛化 claim 不能过度解读。

Relation To Prior Work

KEMO 最接近 sparse keyframe memory 和 memory-augmented VLA 两条线。和 MemoryVLA / ContextVLA / recurrent-query 类方法的本质差异是 memory granularity：KEMO 不试图压缩所有历史，而是先选择少数事件。和 BPP / MemER / Mem-0 的差异是 keyframe selection 不依赖在线 VLM 或高层语义 decomposition，而依赖 proprioception + frozen visual filter。

看似新的部分有不少是已有思想重组：kinematic keyframes 在 PerAct、C2F-ARM、FrameSkip 等工作中早已有；cross-attention memory 和 gated fusion 也不是新机制；loss reweighting 本质上是 importance sampling / curriculum。实质创新在于把这些组件组合成一个面向 VLA 长时序操控的闭环：同一组事件既决定 memory 写入，也决定训练加权，从而让 memory construction 和 policy learning 对齐。

技术谱系上，它不是 planning 方法，也不是高层 reasoning 方法，而是 event-indexed memory retrieval for imitation-learned VLA。它把“长期推理”降解为“在正确时间保存正确证据，并在后续阶段检索”。这个判断很重要：KEMO 的能力边界会接近 retrieval memory，而不是 symbolic planner。

Dataset / Evaluation

实验优点是真机、双臂、长轨迹，并且任务确实围绕 memory dependency 设计：遮挡后找目标、反序 uncover、remove/refill 对应关系、drawer-object association 等都能测试当前观测不足时的历史依赖。相比很多短 horizon tabletop benchmark，这里的任务更能体现 stage ambiguity。

但 evaluation 仍然是小规模 real-world study：每任务 12 trials，任务都在同一硬件和相对受控场景内，训练数据每任务约百级 demonstrations。它能支持“在这些真实长时序任务上 event memory 有效”，但不足以证明强泛化或 open-world 长期记忆能力。

baseline 对比需要谨慎。MemoryVLA 的表现极差，但其输入相机、训练 batch、训练设置与 KEMO 并不完全同构，文中未充分说明这种差异是否影响公平性。π0.5 baseline 更有参考价值，因为 backbone 和数据更接近。总体上，实验最有力支持的是 event keyframe vs uniform/recent 的 ablation，而不是 KEMO 全面优于所有 memory VLA 设计。

Limitation

核心前提是任务关键事件必须能由运动停顿和视觉变化捕捉。如果状态变化是纯语义的、不可见的、延迟显现的，或者机器人没有明显减速，detector 会漏掉关键 memory。反过来，复杂操作中的无效停顿也可能被误选，只是视觉过滤缓解了一部分。

scalability 上限来自手动 memory capacity 和 detector 超参数。K 按预期阶段数设置，本质上把任务结构先验注入系统；当任务阶段数未知、可变或分支很多时，这种固定 bank 会变得脆弱。文中未充分说明动态任务或失败恢复中 memory 如何维护一致性。

所谓 reasoning 可能主要是 retrieval。KEMO 并没有显式学习可组合的任务状态机，也没有规划搜索；它只是让 policy 看到过去关键帧。对于需要反事实、条件分支、符号约束或多步计划修正的任务，这种 memory evidence 可能不够。

增益归因不完全清晰。loss weighting 带来的提升很大，可能说明结果部分来自更好的训练样本加权，而非 memory 本身。再加上任务设计高度匹配“事件转折可视化”假设，benchmark 可能偏向 KEMO 的 inductive bias。

Takeaway

• 1. 长时序机器人操控的 memory 不一定要做长上下文建模；如果任务状态变化稀疏，事件级 memory 可能比 dense history 更有效。
• 2. 对 VLA 来说，memory content selection 可能比 memory architecture 更关键。
• 选错历史，再强的 fusion 也只是压缩噪声。
• 3. 机器人 proprioception 是被低估的 memory signal：它可以提供比纯视觉更稳定、更 cheap 的事件 proposal，但需要视觉验证避免退化成停顿检测。

一句话总结

KEMO 是一类把长时序 VLA 记忆从 dense context compression 转向 event-indexed retrieval 的方法，真正贡献在于用机器人交互事件构造稀疏历史状态证据，而不是形成新的高层规划或通用推理机制。