精读笔记
Problem Setting
论文处理的是 VLA/WAM 的 test-time task extension：目标机器人已经在一些 paired source-target demonstrations 上训练过，部署时遇到新任务，只允许加入廉价 pool embodiment 演示，不允许再收集目标机器人演示或 fine-tune。
真正难点不是语言理解或单任务模仿，而是任务知识与 embodiment-specific execution 的解耦。已有 VLA 通常把二者一起写进参数，因此新任务需要目标侧数据和再训练；而直接利用人手/其他机器人演示又会遇到接触几何、动作空间、时序和动力学 mismatch。关键矛盾是：高层任务轨迹在不同 embodiment 间相似，但可执行动作不相同。论文想证明只要学习一次这个 gap，就可以把后续任务扩展转化为 retrieval/indexing 问题。
Motivation
现有路线不够的地方在于成本结构：每个新任务都要重新 teleop 目标机器人并 fine-tune 大模型，成本随任务数线性增长。对于 WAM 这类 video-action backbone，参数更新尤其重，而且未来模型越大越不可持续。
作者的核心观察是，廉价 embodiment 数据中包含了大量任务进展信息：物体该怎么移动、阶段如何推进、哪些接触事件大致发生。这些信息未必需要通过目标机器人重新采集。缺的是一个机制，把 source trajectory 当成外部任务记忆，并让目标 policy 学会“如何执行一个检索到的粗计划”，而不是“如何从参数中回忆所有任务”。
Core Idea
ReCAP 的本质是把新任务适配从 weight update 改成 memory lookup。训练阶段用 paired query/pool demonstrations 学一个 frozen policy：输入当前目标机器人状态和检索到的 pool trajectory chunk，输出目标机器人动作。部署阶段新任务只需要把 pool-side demonstrations 加进检索库，policy 不更新。
这个想法的核心 inductive bias 很明确：跨 embodiment 共享的是 task progression，不共享的是 execution dynamics。因此 retrieval 负责提供“做什么、做到哪一步”，policy 负责“用目标机器人怎么做”。相比 co-training 或直接 video-conditioned policy，它不是把 source 数据混入训练分布，而是让 source 数据在控制时显式参与决策；相比 in-context demo，它不是用户手选 prompt，而是每步自动检索并局部对齐。
Method
方法层面最重要的是三个机制。
1. 每步检索 trajectory chunk。它解决的是 task phase alignment：机器人当前状态未必对应 pool demo 的同一时间步，所以需要按当前 observation/proprio/object pose 检索局部片段，而不是固定跟随整条示范。这个设计使 retrieval 成为 closed-loop conditioning，而不是 open-loop replay。
2. residual over retrieved action。它解决的是 embodiment gap：pool action 已经包含粗运动方向和阶段推进，模型只预测目标 embodiment 相对它的修正。这样 action latent 不需要重新编码完整任务计划，而集中表示接触、姿态、抓取角度、速度等差异。
3. WAM joint action + future-image prediction。它解决的是 residual 学习信号稀疏的问题。仅 action loss 很难约束“修正是否会把场景带到正确未来状态”；future-image objective 强迫动作、检索轨迹和视觉演化一致。论文的 ablation 显示这个 objective 只有在 retrieval/residual 存在时才明显有用，说明它不是单纯 regularization，而是在给检索条件下的动作提供 visual grounding。
检索系统本身是两阶段：先按语言、初始物体布局和 proprio 过滤轨迹，再按当前 object/proprio/visual features 找 subframe。这里更多是 engineering necessity；核心贡献不在具体 feature recipe。
Key Insight / Why It Works
最关键的 insight 是：在很多 manipulation benchmark 中，新任务泛化的难点并不总是低层控制，而是缺少正确的 task progression prior。只要外部 memory 提供一个大致正确的阶段轨迹，目标 policy 的学习空间会显著缩小。ReCAP 的成功很大程度来自这种 problem decomposition。
我认为真正有效的部分是 retrieval + residual 的组合，而不是单独的 WAM。Retrieval 给了 high-level plan；residual 避免了直接执行 source action；WAM future-image loss 再把 residual 和视觉结果绑定起来。论文中 action-only backbone 也因 retrieval 获益，说明 retrieval 是第一性增益；WAM 带来的额外提升更像是更好的 consistency regularizer 和更强 backbone prior。
这不是严格意义上的 reasoning 或 planning。所谓新任务吸收主要是 memory reuse：如果 pool 中有相似任务，policy 可以把它翻译到目标 embodiment。PushT 中邻近角度提前带来收益，说明有一定插值能力，但仍是在 dense trajectory manifold 上插值，不是组合式任务推理。RoboTwin 的 pool-progression 也更像 data coverage 增长曲线：某个 held-out task 进入 pool 后成功率上升，这支持 retrieval claim，但也暴露了能力边界。
一个需要警惕的点是 hidden supervision：训练时的 retrieval scoring 使用未来 action chunk，inference 时去掉。这可能让训练检索更“干净”，从而降低 residual 学习难度。文中承认这个 mismatch，但没有充分证明在更嘈杂、更大规模、更不对齐的 pool 中仍成立。
总体判断：这篇的贡献不是提出一个全新模型结构，而是把 robot adaptation 的单位从“任务级 fine-tuning”改成“trajectory memory indexing”，并证明 WAM 在这种检索条件下比普通 action model 更能利用外部轨迹。
Relation To Prior Work
它和三条路线最接近。
第一是 retrieval-based imitation / behavior retrieval。相同点是利用外部演示降低新任务学习成本；不同点是 ReCAP 不在 test time fine-tune specialist，而是冻结一个已经学过跨 embodiment translation 的 policy。真正新增的信息是 retrieval 在控制环中作为 task memory，而不是作为训练数据选择器。
第二是 human/video-conditioned robot policy，如 Vid2Robot、MimicDroid、human prompt-based imitation。区别在于 ReCAP 不依赖用户手选单个 prompt，也不直接模仿 human trajectory，而是检索局部 chunk 并学习 residual correction。但它仍继承了这些方法的核心假设：human/source motion 中有可迁移的 task skeleton。
第三是 WAM / video-action model。Cosmos Policy 原本把动作和未来视觉放在同一个生成过程里，但仍需要目标任务数据。ReCAP 的实质创新是把 WAM 的 future prediction objective 接到 retrieval-conditioned residual 上，使未来图像监督服务于跨 embodiment 对齐，而不是单纯提升 visuomotor backbone。
看似新的部分如 retrieval memory、residual policy、future-image supervision都不是单独新概念；新意在于三者的组合改变了 adaptation protocol：任务知识外置，参数只学 translation。
Dataset / Evaluation
评估覆盖了三个层级：PushT 作为受控机制实验，RoboTwin 作为多任务双臂模拟，真机作为小规模现实验证。整体上足以支持“冻结 policy + 扩展 pool 可以提升新任务表现”这一核心 claim。
PushT 的好处是变量干净，角度轴可密集采样，能看出 retrieval pool 扩张带来的插值效应；缺点是它的任务 manifold 低维且高度结构化，容易高估 retrieval interpolation。RoboTwin 更接近实际多任务，但 held-out task 数量有限，而且 pool progression 中任务逐步进入库，本质上验证的是覆盖率随 memory 增长，而不是强泛化。真机实验很有价值，但规模很小：只在一个训练任务和两个 held-out tasks 上展示，不能说明复杂长程任务或大 embodiment gap 下的稳定性。
比较 baseline 设计基本合理：no retrieval、retrieval only、co-training 都对应关键替代路线。结果显示 pure replay 不够、co-training 不如显式 retrieval conditioning，这支持 residual translator 的必要性。不过 evaluation 仍没有充分隔离“更大 pool 数据覆盖”与“模型更强泛化”之间的贡献。
Limitation
最大前提是 source 和 target 必须共享可相加的低层动作表示。residual over retrieved action 只有在两个 embodiment 都能表达为相近的 end-effector pose trajectory 时才成立；结构差异更大的 embodiment 会破坏这个假设。
第二，方法把新任务学习成本从目标机器人数据和 GPU fine-tuning 转移到了 pool 数据采集、轨迹 lifting、索引与检索质量上。若 pool 不是 curated trajectory，而是 raw human/web video，系统还缺少可靠的 state-action extraction。
第三，泛化能力可能主要来自数据覆盖。新任务进入 pool 后成功率上升，这正是方法目标，但也说明模型本身没有学到很强的 abstract task reasoning。它更像一个 learned cross-embodiment retrieval executor。
第四，时序 mismatch 是硬上限。chunk residual 假设 source 和 target 在相似时间尺度上推进；一旦速度、接触阶段、暂停、失败恢复不同，局部 residual 会累积错误。论文提到该问题，但没有解决。
第五，增益归因仍有未充分说明处。WAM future-image objective 的作用在 PushT 上比较清楚，但在 RoboTwin/真机上是否同样是关键，还是主要来自 backbone scaling、retrieval quality 和 pool coverage，文中证据不够细。
Takeaway
- 1. 对机器人基础模型而言，把任务知识外置到可检索 memory 中，可能比不断 fine-tune 参数更可扩展；尤其当新任务数据可以从廉价 embodiment 获得时。
- 2. retrieval 不是简单提供 demo prompt，而是在控制环中提供 task phase prior；配合 residual policy，它把问题从 behavior generation 降维为 embodiment translation。
- 3. WAM 的未来图像预测在这里的价值不是“想象未来”本身，而是给 retrieval-conditioned action 一个视觉一致性约束。
- 这是值得迁移到其他 memory-conditioned control 方法的 insight。
一句话总结
这篇论文把 VLA/WAM 的新任务扩展从 per-task retraining 推向 retrieval-augmented memory reuse，其实质贡献是学习一次跨 embodiment residual executor，让廉价 source trajectories 在 test time 充当可扩展的任务先验。