精读笔记

Problem Setting

论文标题：MemoryWAM: Efficient World Action Modeling with Persistent Memory（arXiv preprint / 2026）。这篇论文真正处理的是 WAM 在非 Markov 操作任务中的长期历史访问问题，而不是一般意义上的长程控制。困难点在于任务关键信息可能早已离开当前视野，但机器人执行又要求低延迟闭环；如果保留全部历史视觉 token，模型会变成不可部署的长上下文 Transformer，如果只看短窗口，又会在遮挡、计数、目标置换这类任务中失去因果线索。以前方法卡在把“历史”当作单一对象：短窗口方法默认最近观测足够，full-history 方法默认所有过去都同等重要。MemoryWAM 试图拆开这个假设：历史信息有不同时间尺度、不同保真度需求，因此应该用不同存储形态。

Motivation

已有 VLA/WAM 路线缺的不是动作头或视频先验，而是可部署的 persistent memory。短窗口 WAM 的高效性来自遗忘，full-history WAM 的记忆来自暴力保留，两者都没有回答“哪些历史必须高保真，哪些只需摘要”。作者的核心观察是机器人任务中的记忆需求具有结构：近端历史决定控制稳定性，任务开始/事件边界决定语义绑定和隐藏状态，远端历史更多提供粗粒度状态轨迹。这个观察使得 memory compression 不再只是工程优化，而成为一种 inductive bias：不要等模型在全 attention 中自己学会筛选历史，而是在 cache 结构上预先规定信息流。

Core Idea

MemoryWAM 的核心思想是把 WAM 的历史上下文从 full-token temporal cache 改成 hybrid persistent memory。它保留最近帧的完整视觉 token，以维持对接触、姿态、物体移动等短期细节的敏感性；保留初始 anchor 帧的完整 token，以避免任务初始配置被遮挡后彻底丢失；其余历史帧只留下少量 gist token，让长期历史以低带宽形式持续存在。

本质差异在于它没有追求通用长上下文注意力，而是改变了历史信息的表示密度：越近期、越可能是事件边界，表示越高保真；越远期，越抽象。这个 inductive bias 对机器人操作很合理，因为很多长程依赖并不需要逐像素回放，而需要“曾经看到过什么、发生过什么、计数/状态到哪一步”这类摘要。相比 full-history，它更 scalable；相比 RNN/TTT，它又避免把全部历史压成一个不可检索的隐状态。

Method

关键机制可以压缩成三点。第一，短期 full-token sliding window 解决实时控制需要的局部高频信息；如果只用 gist，接触状态、手物相对位姿、最近动作后果会被过度压缩，动作稳定性会下降。第二，anchor frames 解决任务边界信息保真保存的问题；很多 RMBench/真机任务的关键变量在初始观察中出现，随后可能被遮挡或移出视野，固定保留初始帧相当于给模型一个高保真外部记忆槽。第三，gist tokens 解决远程历史的可持续访问问题；每帧只保留少量可被后续 action token attention 到的压缩 token，full visual KV 被 eviction，从而把长期记忆成本从随视觉 token 全量增长变成随压缩 token 增长。

架构上，MemoryWAM 仍是视频 DiT + action DiT 的 WAM 范式：视频分支提供 dynamics-aware 表示和训练期视频预测监督，action 分支在推理时只 denoise action chunk，并 attend 到混合 video cache。真正关键不是 MoT 或具体超参数，而是训练时 attention mask 与推理时 KV eviction 对齐：模型在训练中就被迫学习在只有 anchor/recent/gist 可见的条件下决策，避免训练看 full history、推理看 compressed history 的错配。

Key Insight / Why It Works

最核心贡献是 memory layout，而不是视频扩散模型本身。MemoryWAM 有效的原因很可能是把长期记忆问题转化成 structured retrieval：action query 不需要在数千帧完整视觉 token 里搜索，而是在少量高价值 full frames 和每帧 gist 中检索。这个结构同时降低计算、降低注意力噪声，并提高任务相关信息的可达性。

其中 gist tokens 可能是最关键部分，尤其从 ablation 看去掉 gist 在 Press Button 上几乎崩溃，说明远程摘要承载了核心非 Markov 变量。anchor 和 sliding window 是必要但更偏任务结构/控制稳定性的辅助项：anchor 对依赖初始配置的任务有强 inductive bias，sliding window 对闭环控制必要，但不构成长程记忆创新。full attention 有时不如 hybrid，这一点很有意思：它暗示“更多上下文”并不等于“更好记忆”，过密历史可能增加 retrieval burden 和冗余干扰。

技术判断上，这篇不是 reasoning/planning paper，而是 memory-efficient retrieval paper。所谓长期推理更像“压缩历史条件下的动作生成”，不是显式因果状态估计或符号规划。增益也可能部分来自 backbone scaling、Wan2.2 视频先验、以及 RMBench 任务结构与 anchor/gist 假设的匹配；文中未充分说明不同 backbone/data scale 下 hybrid memory 是否仍保持同等优势。

Relation To Prior Work

它最接近的是 full-history autoregressive WAM（如 LingBot-VA/DreamZero/MotuBrain）和 efficient short-window WAM（如 FastWAM/GigaWorld Policy）之间的折中路线。与短窗口 WAM 的本质差异是保留了跨整段轨迹的 persistent context；与 full-history WAM 的本质差异是历史不再以均质 full visual tokens 存在，而是按时间角色分层压缩。

看似新的部分里，gist token、sink/anchor token、sliding window cache 都不是孤立新概念，在长上下文 LLM、视频生成、流式视觉系统里都有类似思想。实质创新在于把这些 memory engineering 组织成适合 WAM 推理的 cache 机制，并让训练 attention mask 与推理 eviction 机制一致。它属于“把大视频模型改造成实时机器人 policy”的技术谱系，而不是“从零学习世界模型”的谱系。

Dataset / Evaluation

RMBench 是合适的主 benchmark，因为它专门强调 memory-dependent manipulation，能区分短窗口策略和持久记忆策略；这比普通长程 manipulation benchmark 更能验证论文 claim。结果显示短窗口 VLA/WAM 在这些任务上基本不够，full-history WAM 强但贵，MemoryWAM 在性能和效率上给出更好的 Pareto 点。真机实验覆盖了遮挡跟踪和计数/工作记忆两类任务，虽然规模小，但支持“低延迟本身影响成功率”的论点。

明显 limitation 是评估任务仍高度围绕“初始信息保留、遮挡、计数、按钮”等记忆模式，和方法的 anchor+gist bias 匹配度很高。它没有充分证明在开放指令、多事件边界、长时间动态交互、环境分布变化下仍能泛化。实验也没有充分隔离预训练、action history、任务数据量、模型规模对结果的贡献；因此 benchmark 支持“混合记忆在这些 memory benchmark 上有效”，但还不足以证明“通用长期世界建模能力”。

Limitation

方法成立依赖几个强前提。第一，历史信息可以被少量 gist token 压缩而不丢失任务关键变量；这对状态低维、事件稀疏任务合理，但对需要精细几何回忆、多个相似物体长期绑定、复杂物理状态演化的任务未必成立。第二，重要事件边界基本出现在任务开始；如果任务中途出现关键事件，固定 anchor 初始帧就不够，必须有学习式 event boundary selection。第三，模型的长期能力可能主要是 retrieval，而不是真正的 planner：它记住历史线索并条件化动作，但没有显式维护可更新的任务状态。

scalability 上，gist cache 仍随时间线性增长，只是斜率降低，并非真正 O(1) memory；当轨迹极长或每帧 gist 数仍不足时，检索噪声和 cache 成本仍会累积。泛化方面，RMBench 与真机任务都可能强化了初始观察和短期/长期分离的假设；如果 benchmark overlap 或 demonstration coverage 足够强，模型可能通过数据覆盖和隐式模式匹配解决任务，而不是形成可迁移的长期推理。增益来源不清：hybrid memory、视频 backbone、训练 mask、数据/pretraining、action history 在不同任务上的贡献没有被完全拆干净。

Takeaway

• 最值得记住的不是“加 gist token”，而是机器人 WAM 的历史不应该按均匀 token 序列处理；不同时间位置需要不同保真度。
• 长期上下文的下一步可能不是无限扩 KV，而是做 task-aware memory layout、event selection 和 retrievable compression。
• MemoryWAM 推动的是 WAM 从短窗口 policy 向可部署 persistent-memory policy 的工程-建模折中，但它还没有解决真正的开放式长期规划。
• 可迁移 insight 是：在 embodied sequence modeling 中，压缩记忆如果与任务结构对齐，可能比 full context 更好，因为它同时减少计算和检索干扰。

一句话总结

MemoryWAM 是一篇把 full-history WAM 推向可部署化的混合记忆工作，真正贡献在于用 structured retrieval/压缩 KV cache 重组长期历史，而不是提出新的世界建模或规划范式。