精读笔记

Problem Setting

《Scaling Short-Term Memory of Visuomotor Policies for Long-Horizon Tasks》（arXiv preprint / 2026）解决的是闭环 visuomotor imitation learning 中的短期记忆扩展问题：策略需要根据过去几十秒到数分钟内观察到的物体位置、对象集合、动作阶段或延迟意图来决定当前动作。

真正难点有两层。第一，当前观测经常是动作歧义的：同一张图像可能对应“刚拿起”“准备放回”“已经完成一个子目标后继续下一个”等不同状态。第二，历史并不天然有益；长历史包含大量无关视觉细节和 distractor，在小规模机器人数据下很容易形成 spurious correlation。也就是说，任务的关键矛盾是：需要历史来消除 partial observability，但历史越长越容易污染策略。

以前方法卡在这个矛盾的两端：RNN/LSTM/Mamba 把历史压成隐状态，容量和 credit assignment 不够；Transformer 能直接访问历史，但视觉 token 代价太高且无关历史会进入注意力；手工 spatial memory 或 keyframe memory 则往往只对某类任务有效，缺少跨记忆类型的通用性。

Motivation

作者的动机不是简单说“机器人需要 memory”，而是指出现有 visuomotor policy 对 memory 的处理方式过于粗糙：要么几乎没有 history conditioning，要么把 context window 暴力加长，要么把历史压成过度简化的状态。

核心缺口在于：机器人短期记忆需要同时满足三件事——可寻址、可过滤、可扩展。可寻址意味着模型能直接访问过去某个时刻的信息；可过滤意味着不会把历史中所有东西都当作证据；可扩展意味着分钟级视觉历史不能以原始 token 形式全量保留。已有工作通常只解决其中一个维度。

因此作者选择的方向是给 Transformer policy 加上更强的信息流 inductive bias：不是更大的模型或更多预训练，而是让历史先被压缩成时间摘要，再让模型学习在动作预测前过滤取回的信息。

Core Idea

PRISM 的真正核心思想是把短期记忆建模从“长序列全注意力”改成“局部事件压缩后的选择性检索”。每个时间步的高维视觉输入先被局部编码并压缩成少量 summary token，跨时间只在这些 summary 上建立依赖；这样保留了 Transformer 可直接访问历史的优点，同时避免视觉 patch 序列导致的上下文爆炸。

第二个核心是 post-attention gating。注意力本身只决定从哪里取信息，但不保证取回的信息对当前动作有因果意义。PRISM 在 attention aggregation 之后再用当前输入条件化的 feature-wise gate 控制信息是否进入 residual path，相当于给记忆检索结果加了一个“相关性过滤器”。这比单纯 sparsify attention 更直接，因为它过滤的是被取回后的 feature，而不是只改变 token 权重。

本质区别在于：prior 要么把记忆当作一个隐状态，要么把所有历史 token 当作可用上下文；PRISM 把记忆当作一个需要压缩、缓存、再选择性注入的中间表示。这是一个更适合低数据机器人学习的 bias。

Method

方法上最值得保留的是两个机制，而不是具体实现细节。

第一，feature-wise gated attention。它解决的是“长历史引入无关信息”的问题。Transformer softmax 会在整个历史上归一化，哪怕注意力权重很小，无关 token 的 value 仍可能通过 residual path 影响动作预测。PRISM 在 attention 输出后加 gate，使模型可以按 feature 维度关闭某些被检索到的信息。这里关键不是多了一个 MLP，而是把 memory retrieval 和 memory utilization 解耦：模型可以看历史，但不必使用所有取回的信息。

第二，hierarchical temporal memory。它解决的是“视觉 token 长上下文不可扩展”的问题。每个时间步内先做局部编码，把大量视觉/状态 token 压成少数 summary；跨时间只对 summary 做全局 attention，并在测试时只缓存压缩后的 token。这改变了计算结构：长程依赖建模发生在低 token 密度的时间轴上，而不是完整空间-时间 patch 序列上。

这两个机制配合起来形成一个闭环 policy 的短期记忆路径：当前观测产生局部表示，历史以摘要形式被检索，检索结果经 gate 过滤后影响动作头。训练目标仍是 BC，因此论文的贡献主要是架构 bias，而非新的学习目标。

Key Insight / Why It Works

最关键 insight 是：在机器人 BC 中，memory failure 往往不是忘记，而是“记得太多且不会用”。长历史同时提供必要证据和大量伪证据；小数据下模型很容易把 distractor 位置、无关中间状态、偶然时间顺序当成动作条件。PRISM 的 gating 直接瞄准这个问题，因此它比单纯增加上下文长度更合理。

我认为核心贡献更可能是 gating + long-context feasibility 的组合，而不是 hierarchy 单独带来的新建模能力。hierarchy 很大程度上是必要的 engineering/scaling：没有压缩就无法在视觉 token 下训练/部署分钟级 context。但 hierarchy 也带来一个有用 bias：把每个时间步当作事件摘要，而不是让跨时间 attention 淹没在 patch-level 细节里。这个 bias 对 household manipulation 很自然，因为很多记忆需求是“之前对象在哪里/哪个容器/还剩几个/何时开始”等事件级信息。

gating 的有效性更像是 retrieval regularization。它不保证因果性，但能降低无关历史进入动作预测的自由度。附录里 blind gate 明显弱于 feature gate，说明性能不是简单来自参数量或 sigmoid 非线性；attention dropping 也有帮助但不足，进一步说明“限制历史信息流”本身是关键。

不过，所谓 prospective memory 或 object-set memory 很可能仍是模式检索，而不是显式计时、计数或状态机推理。比如等待时长可能依赖轨迹 token 数、动作阶段和训练分布，而非稳定的时间抽象；搬完所有 breadsticks 也可能是视觉/历史模式匹配，而非可靠 set update。论文展示的是可扩展短期 retrieval，不应解读为形成了长期任务级 planner。

Relation To Prior Work

这篇工作最接近三条谱系的交叉：长上下文 Transformer 的效率改造、memory-augmented visuomotor policy、以及 partial-observable imitation learning。

相对 RNN/LSTM/Mamba，PRISM 的本质差异是外显可寻址记忆：历史不是被压进单个隐状态，而是以 token 序列形式保留并可被注意力访问。相对 Transformer-XL/GTrXL，它没有主要依赖 segment recurrence，而是通过 per-step compression 降低视觉历史长度，并通过 gate 控制取回信息。相对 linear attention，它没有把历史压进一个核特征累积矩阵，因此细粒度时间信息保留得更好。

相对 SAM2Act++、SMT、手工 keyframe memory，PRISM 更 general：它不假设记忆一定是空间坐标，也不把整段交互压成单个 embedding。它的记忆表示仍是 learned token，因此可以覆盖 spatial、associative、set、prospective 等不同类型。但这也意味着可解释性和可靠状态更新不如 object-centric memory。

看似新的部分其实不少来自已有 NLP/Vision 思想：gated attention、hierarchical attention、Perceiver-style resampling 都不是新概念。实质创新在于把这些机制放进 closed-loop visuomotor BC，并明确针对“长历史有害”这一机器人学习痛点做系统验证。贡献更偏架构整合和问题定位，而非基础模型结构发明。

Dataset / Evaluation

ReMemBench 是论文中很重要的一部分，因为它试图把短期记忆拆成 spatial、prospective、object-associative、object-set 四类，并且要求当前观测不足以决定动作。这比只测空间 recall 的 benchmark 更能支撑“通用短期记忆机制”的 claim。

评估覆盖仿真多任务、标准 benchmark 和一个真机任务。仿真任务来自 RoboCasa 资产，训练数据是人类 teleoperation，每任务数据量不大，这符合论文强调的低数据机器人场景。真机实验显示方向有效，但规模太小，不能证明 robust deployment。

实验整体支持 PRISM 比常见 memory baseline 更适合长时程 visuomotor BC：尤其是 memory size 增大时性能继续提升、去 gating 后明显下降、hierarchy 降低测试时 memory/compute，这些都直接对应论文 claim。

但 evaluation 也有边界。ReMemBench 的绝对成功率不高，说明 benchmark 同时考察感知、控制、subtask execution，而不只是 memory。标准 RoboCasa/LIBERO 上的提升不一定证明复杂记忆能力，更多可能是 history conditioning 降低动作多模态。真机只测一个任务，且成功率仍低。文中未充分说明任务间训练/测试分布差异是否足以排除 implicit memorization 或 benchmark-specific shortcut。

Limitation

第一，PRISM 的短期记忆窗口仍是固定 recent context，本质上不是长期状态建模。超过窗口的信息会被丢弃；跨 episode、跨天、长期用户偏好或持久环境变化都不在能力范围内。

第二，summary compression 是双刃剑。它让长上下文可行，但也把“该记住什么”的压力集中到 local encoder。若关键信息是小物体、短暂遮挡、细粒度空间关系或多个对象间组合状态，单个或少量 summary token 可能丢失证据。论文中压缩因子很激进，虽然在 benchmark 上有效，但上限不清。

第三，gating 只能抑制信息流，不能保证检索正确或因果。它可能只是学到训练分布下哪些 feature 通常有用；在 distractor 结构、任务顺序、对象组合发生强分布外变化时，gate 本身也会成为 shortcut。

第四，增益归因仍有混杂。hierarchy 带来计算节省，也使训练更可行，还可能起到正则化作用；memory window 变长、token 数变少、attention 噪声下降、训练稳定性提高都可能贡献性能。文中有 ablation，但不足以完全分离“更好的 memory reasoning”和“更好的 scaling/optimization”。

第五，所谓推理能力要谨慎看待。prospective 和 object-set 任务听起来像计时和计数，但当前架构没有显式 counter、clock、state machine 或 planner；它更可能是在短期轨迹中做模式检索与阶段识别。对于需要组合泛化、精确计数、长延迟异常恢复的任务，上限可能很快暴露。

Takeaway

• 1. 对 visuomotor policy，加长历史不是免费收益；必须同时设计 memory filtering，否则历史会成为噪声源。
• 这个 insight 比具体 gate 形式更值得迁移。
• 2. 视觉长上下文更合理的组织单位可能不是 patch，而是 per-timestep/event summary。
• 先局部压缩、再跨时间检索，是未来长时程机器人 policy 的自然方向。

一句话总结

PRISM 是一篇把长上下文 Transformer 的选择性检索和层级压缩系统移植到 visuomotor imitation learning 的工作，真正贡献在于证明短期记忆策略需要“可扩展访问历史”与“抑制无关历史”同时成立，而不是单纯扩大 context。