精读笔记

Problem Setting

论文实际解决的是长上下文视觉模仿学习中的归因问题：当 Diffusion Policy 条件在更长 observation history 上时，性能下降到底来自 memory 机制缺失、输入融合方式差、数据覆盖不足，还是 manipulation skill 本身没有学稳。这个问题比“加长上下文能不能提升性能”更关键，因为已有路线默认 naive scaling brittle，并据此引入 retrieval、VLM filtering 或 auxiliary losses，但并没有证明 brittleness 是算法本质限制。

真正困难点在于长上下文不是单纯多给信息。它会扩大输入空间、增加 spurious temporal correlation、改变 observation encoder 的训练负担，并在闭环控制中放大小的动作误差。对于 imitation learning，open-loop validation loss 下降并不保证 rollout 成功；长上下文模型可能更好地拟合专家分布上的动作，却更容易在自己诱导出的状态分布中崩。论文抓住的关键矛盾是：长历史提供了解决 partial observability / latent phase 的必要信息，但也显著提高了样本复杂度和闭环鲁棒性要求。

Motivation

已有 long-context robot IL 工作的问题不是方向错，而是缺少 baseline 诊断。很多方法把历史压缩成语言、检索关键帧、或者用 VLM 选择 frame，本质上都是在绕开“直接给策略完整历史”这件事。它们通常声称 naive scaling 会失败，但失败原因没有被系统拆开：如果只是数据不够或架构不合适，那么复杂 memory module 的必要性就被高估了。

作者的核心观察是：短上下文 Diffusion Policy 的强表现掩盖了一个事实——很多任务确实不需要长记忆，或者可以从当前视觉状态隐式恢复 phase；而真正需要记忆的任务中，失败也未必是记忆失败。论文因此补的是一个领域缺口：在提出更高级 memory 机制之前，先建立 context length、data scale、architecture、task stability 之间的经验规律。

Core Idea

核心思想可以概括为：不要先假设长上下文需要特殊 memory system，而是把长上下文看作一个带有更高 sample complexity 的条件生成问题；然后用更合适的信息流组织方式和训练分布来降低这个复杂度。

第一个关键改变是信息融合方式。UNet+FiLM 会把所有历史 observation embedding 拼成一个全局 conditioning vector，这在短上下文下足够，但长上下文下等价于把时间结构压扁，模型必须从一个高维混合向量中自己恢复哪些帧重要。UNet+Cross-Attention 则保留历史为 token 序列，让 denoising backbone 在不同层选择性访问 observation tokens。这不是“attention 更强”这么简单，而是给长上下文引入了一个更合理的 inductive bias：历史信息可以被局部、选择性、层级地读取，而不是一次性全局调制。

第二个关键改变是训练分布。Variable History Training 不再把策略训练成只接受固定长度历史，而是让它在短到长的多个 context length 上共享参数。这相当于用短上下文样本稳定 manipulation behavior，用长上下文样本提供 memory signal。它的本质更接近 curriculum + regularization，而不是新的长期推理架构。

Method

方法层面值得保留的只有三个机制。

第一，系统性 naive scaling benchmark。它解决的是归因问题：如果只在一个数据规模、一个架构、一个任务上看长上下文失败，很容易把 data/architecture/task 的问题误判成 memory modeling 的问题。作者通过同时改变 context length、data scale 和任务类型，把“记忆是否可用”和“技能是否学稳”拆开。

第二，UNet+Cross-Attention conditioning。它解决的是长历史输入的信息瓶颈。FiLM 的全局 conditioning 在长上下文下会让参数规模随 history 增长，并且丢失 token 化时间结构；cross-attention 让 observation history 以序列形式参与 action denoising，核心变化是从“压缩后调制”变成“按需读取”。这降低了低数据 regime 下学习长上下文映射的难度。

第三，Variable History Training。它解决的是低数据下长上下文过拟合和闭环 covariate shift。训练时采样不同 history length，使同一个模型必须在信息较少和信息较多的条件下都产生合理动作。短历史训练提供一种行为正则，防止模型过度依赖长历史中的偶然模式；长历史训练则保留解决 partial observability 的能力。

Key Insight / Why It Works

这篇论文最重要的 insight 是：长上下文 Diffusion Policy 失败时，经常不是因为模型没有 memory，而是因为长上下文让 manipulation learning 变难。作者用 manipulation completion 和 contextual success 的拆分很有价值：在 push/grasp-and-return 中，很多长上下文策略只要能完成 manipulation，通常也能返回正确位置。这说明历史信息并非完全没被利用；更常见的瓶颈是低层技能在长输入、高维视觉条件下学不稳。

因此，论文中最可能的核心贡献不是某个新算法，而是这个归因框架：long-context IL 的瓶颈应被分解为 memory tracking、skill learning、closed-loop robustness、data coverage，而不是笼统归为 temporal reasoning failure。

Cross-Attention 的有效性也比较合理。它提供的是 better inductive bias，而不是更大模型或更复杂推理。长上下文下，conditioning token 的结构很重要；把历史保留为 token 序列，使模型可以选择忽略无关帧、聚焦 phase-relevant frames。尤其在低数据下，这种结构性偏置会比单纯增加参数更有用。文中也显示随着数据增加，FiLM 和 Cross-Attention 差距缩小，这反过来说明增益主要来自 sample efficiency，而非不可替代的表达能力。

Variable History Training 的机制更像 regularization/curriculum。它不是让模型形成显式长期状态，也不是 retrieval；它是在训练分布中混合不同可观测性条件，使模型不要把固定长上下文中的 spurious cues 当成必要条件。低数据下 progressive+short past prediction 更有效，说明减少历史动作预测负担、先学短上下文行为，再逐步增加历史，确实能缓解过拟合。高数据或 naive scaling 已足够时，random sprinkle+full 更好，则说明一旦数据覆盖充分，完整历史训练本身没有问题。

past-action prediction 的归因被论文相当有力地削弱了。作者指出原始 Diffusion Policy 本来就预测 past actions，而这并不保证长上下文成功；Torne et al. 的收益可能部分来自 frozen encoder，而不是 auxiliary loss 本身。这里的判断是：past-token prediction 可能只是辅助 temporal consistency 或 representation stabilization，增益来源不清，不应被解释为解决 long-context memory 的核心机制。

Relation To Prior Work

这篇工作最接近三条路线：Diffusion Policy 系列、long-context IL 的 past-token/retrieval/VLM filtering、以及更宽泛的 history-aware policy。它本质上仍属于 Diffusion Policy 的工程-经验谱系，而不是提出新的 sequential decision model。

和 Torne et al. 的 Past-Token Prediction 相比，真正差异在于归因。Torne et al. 把 past-action prediction 解释为长上下文学习的关键辅助目标；本文则显示这个解释不充分，冻结 observation encoder 可能同样甚至更重要。这里的新增信息是：过去一些 long-context trick 的收益可能来自 representation regularization 或 training stabilization，而不是 temporal memory 本身。

和 MemER、MEM、BPP 等 retrieval / VLM frame selection 路线相比，本文没有引入外部 memory index、语言摘要或关键帧过滤。它的立场更朴素：连续最近历史在很多任务上已经足够，先把 naive scaling 的 architecture 和 data regime 做对。这个区别很重要，因为 retrieval/VLM 方法通常把历史压缩问题外包给预训练模型或 heuristic selector，而本文证明至少在单任务 setting 下，这种复杂性未必必要。

和传统 short-context Diffusion Policy 相比，本文的实质创新是把 context length 当作一个需要系统 scaling law 式研究的变量，而不是固定超参数。Cross-Attention conditioning 本身不是新模块，但用于单任务 RGB Diffusion Policy 的长上下文学习，并配合系统归因实验，是有实际价值的重组。

Dataset / Evaluation

评估覆盖了短上下文可解任务、显式需要记忆的 return 类任务，以及一个小规模真机 marshmallows。这个设计总体能支撑论文的核心 claim：naive scaling 并非普遍灾难，长上下文成败高度依赖 data、architecture 和 task primitive。

最有说服力的是作者没有只看 task success，而是对 long-context tasks 拆出 manipulation completion 和 contextual success。这直接验证了“失败是否来自记忆”这一关键问题。这个指标设计比单纯报告成功率更接近机制诊断。

但 evaluation 的边界也明显。大多数实验是 single-task simulation，任务虽然覆盖 pushing/grasping 和不同 memory demand，但并不验证多任务泛化、跨环境泛化或开放式长期记忆。真机 marshmallows 只有少量 trials，且任务容错性较高；抓一碗 marshmallows 中的物体对精确 manipulation 的要求较低，成功不能外推到高精度、长时序、低容错的真实任务。checkpoint selection 采用多个 checkpoint 评估后取最好，也可能让 closed-loop 成功率略偏乐观；文中也承认没有系统统计训练随机性的方差。

Limitation

这篇论文成立的隐含前提是：任务所需记忆主要存在于最近连续 history 中，并且数据中覆盖了足够多的 phase/context 组合。如果任务需要稀疏远距离事件、组合式记忆、多目标切换或语言级状态抽象，简单扩 observation window 未必可行。

核心能力可能主要来自数据覆盖。论文反复显示数据规模上去后 naive scaling 明显改善，架构差距缩小。这说明长上下文策略并没有展现出很强的 out-of-distribution reasoning；它更像在更大的条件空间中做 density matching。一旦历史长度继续增加、任务模式数增加、或者历史中 irrelevant frames 占比上升，sample complexity 可能快速变成瓶颈。

所谓 memory use 也可能更接近 latent phase recovery，而不是长期状态建模。return 类任务中 contextual success 高，说明模型能利用历史区分初始位置；但这不等于策略形成了可更新的 belief state 或 planner。它可能只是从最近连续视觉片段中检索到演示模式。对于更长间隔、更强干扰、更复杂计数或条件分支，能力上限文中未充分说明。

Variable History Training 也把问题部分转移了：它降低固定长上下文过拟合，但没有解决 inference-time 应该选多长 history、如何压缩历史、如何避免视觉编码成本线性增长。长上下文输入在真机闭环部署中的延迟和算力问题仍然存在。

增益归因仍不完全干净。Cross-Attention、参数规模、encoder training、past-action horizon、checkpoint selection、task-specific hyperparameters 都有耦合。虽然作者做了不少 ablation，但要得出更强的因果结论仍需要多 seed、多任务、多容量控制。

Takeaway

• 1）不要再把“naive long-context scaling 会崩”当成默认事实。
• 至少对单任务 RGB Diffusion Policy，失败很可能是 data/architecture/task primitive 的交互结果，而非 memory modeling 的根本失败。
• 2）长上下文策略的关键评估应该拆分 memory success 和 manipulation success。
• 只看 task success 会误导归因；很多所谓 memory failure 实际是 skill learning 或 closed-loop robustness failure。

一句话总结

这篇论文把 long-context Diffusion Policy 从“需要复杂记忆模块”的叙事拉回到 data scale、conditioning inductive bias 和 closed-loop skill learning 的归因问题上，贡献更像一份高质量经验诊断加一个有效 curriculum recipe，而不是新的长期推理架构。