精读笔记

Problem Setting

【WeaveLA: Event Driven Cross-Subtask Latent Memory Weaving for Repetition-Aware Robot Manipulation】（arXiv preprint / 2026）

这篇论文处理的不是一般意义上的 long-horizon manipulation，而是更窄、更结构化的一类 failure mode：短窗口 VLA 在重复任务中无法把“上一段刚完成了什么”传到“下一段该怎么做”。关键矛盾是，很多重复操控在视觉上局部 Markov：当前帧看起来足够执行一个 primitive，但不足以决定是否继续、停止、换阶段，尤其当不同 repetition visit 视觉状态相似时。

因此真正困难点不是抓取、放置、按钮按压这些低层技能，而是跨 sub-task boundary 的 causal state hand-off。短窗口 VLA 的输入接口天然会丢掉这部分状态；而把更多历史帧塞进去并不等价于解决问题，因为模型仍需从连续观测中隐式发现“哪些时刻是状态更新点”。

以前方法卡住的地方主要有两类：一类是 per-frame / sliding-window memory，计算重且边界归因弱；另一类是 retrieval / prompt augmentation，把历史作为上下文交给 VLM，但不保证这些信息进入 action expert 的决策通道。WeaveLA 试图把问题从“扩大上下文”改成“在因果边界处传递一个可执行状态”。

Motivation

作者的核心观察是 memory-augmented VLA 讨论了很多 what to store，却没有足够重视 when to write 和 where to consume。对重复任务来说，信息不是任意时刻同等重要；子目标完成事件是一个自然的状态跃迁点。只有在这个时刻，上一段是否完成、完成了几次、下一段是否应继续才变成下一动作的因果条件。

已有路线不够，是因为它们通常把长期依赖交给模型自己从 dense history 中学习：帧级写入让边界检测变成隐变量；demo-stage retrieval 依赖示范阶段结构，不能准确反映 rollout-time progress；prompt / visual-context memory 又可能在 VLM backbone 内被稀释，最后未必影响 motor output。

所以这篇论文真正补的缺口是：一个 rollout-time、event-triggered、action-side 的跨子任务信息通道。它不是想让 VLA 读更长视频，而是给 VLA 一个类似 option termination 后的 latent state update。

Core Idea

WeaveLA 的核心思想可以概括为：每当一个 sub-goal 完成，就把刚完成的 segment 压缩成少量 latent tokens，并把这些 latent 作为下一 sub-task 的 action expert conditioning。也就是说，长期记忆不是连续堆积，而是在任务结构的离散边界上更新。

这个设计引入了一个很强的 inductive bias：长程依赖可以被分解为 segment-level state transition，而不是 frame-level sequence modeling。对重复任务，这个 bias 很合适，因为真正需要传递的信息通常是“刚完成了一次 / 第几次 / 是否该停止 / 上一个阶段结果如何”，而不是完整视频。

和 prior 的本质差异不在 query pooling 多新，也不在 AdaRMS 多特别，而在信息流重组：memory 不走语言提示，不走视觉输入增强，而是直接进入 action generation path。这等于承认很多失败不是 perception / language grounding 失败，而是 action expert 缺少跨阶段状态变量。

Method

方法上需要保留的机制只有三件事。

第一，sub-goal-event trigger：只在子目标完成时写 memory。它解决的是“何时更新状态”的问题。相比每帧写入，这个设计把 temporal abstraction 显式放进架构里，减少模型从密集观测中学习边界的负担。但主实验使用 simulator boundary，这也是一个重要前提。

第二，query-driven memory weaver：用固定数量 query 把上一 segment 的视觉 / 状态特征压成 latent memory。它解决的是 variable-length segment 到 fixed-size state 的转换。这里的 query bottleneck 不是核心创新，但它提供了一个足够轻量、可训练稳定的压缩接口。文中 Q-Former 版本反而崩，说明在 rollout-time action setting 下，复杂 extractor 未必更好。

第三，action-side consumption：memory latent 通过 action expert 的调制路径影响动作生成。它解决的是“记忆到底被谁使用”的问题。把 memory 注入 action path，比塞进 prompt 更直接，也更符合任务失败的归因：primitive 会做，但不知道当前处于第几段。

训练上的 staged strategy、alignment / contrastive auxiliary 主要是稳定表示和提供可检测 latent structure。它们重要，但更像让机制可训练的工程支撑，而不是论文最本质的建模贡献。

Key Insight / Why It Works

这篇最值得记住的 insight 是：长期操控中的 memory 不一定需要 dense temporal context；很多时候需要的是在正确事件边界上更新一个小状态。WeaveLA 有效，很可能主要来自更好的 inductive bias，而不是 scaling。它把连续时间问题离散化为 sub-task hand-off，显著降低了模型需要自己发现的结构。

最可能的核心贡献是 when + where 的组合：在 completion event 写，在 action expert 用。单独看 query pooling、latent token、AdaRMS 都是已有组件；但把它们放在“子任务完成后向下一动作专家交接”的结构里，才解释了为什么增益集中在 N>=2，而 N=1 不变。

哪些可能只是辅助：8 个 latent 的具体宽度、attention pooling 形式、alignment / contrastive loss 权重、LoRA adaptation 等大多是工程选择。staged training 值得注意，因为 merged training 出现 latent norm collapse；但这说明 memory path 很脆弱，也说明结果依赖训练 recipe，不应过度解读为架构天然稳定。

它不是 retrieval。WeaveLA 没有从历史库找相似 demonstration，也不是简单扩大输入上下文；它更像 learned latent state transition。它也不是强 reasoning / planning：模型未显式维护符号计数器，StopCube latent-shift 失败已经暴露这一点。对于 count-critical 或精确时序任务，latent 可能只是携带了弱 phase cue，而不是可靠 symbolic state。

是否有 hidden supervision？有一定程度。训练和主评估中 sub-goal boundary 是明确提供的，Stage 2 还用 sub-goal text 做 alignment / contrastive shaping。作者强调 inference 不喂 sub-goal text，但 boundary / event supervision 本身已经是强结构监督。latent-shift 结果说明可以部分替代 oracle，但 StopCube 崩掉也说明这个替代并不稳健。

因此我会把这篇归因为：better structural bias + action-side memory routing，而不是模型规模、test-time compute 或通用长期推理能力。

Relation To Prior Work

最接近的谱系包括 memory-augmented VLA、keyframe / frame-sampling long-context policies、recurrent memory transformer、skill segmentation / option-style IL，以及 BLIP-2/Q-Former 式 query bottleneck。

和 per-frame memory / FrameSamp 的差异在 when：FrameSamp 保留连续感知证据，适合“现在离目标多近”这类时序控制；WeaveLA 只在 event 写入，适合“已经完成了几次 / 上阶段结果是什么”。这也是为什么 StopCube 上 dense buffer 仍强于 WeaveLA：精确按下按钮需要连续动态信息，单个 event latent 不够。

和 retrieval memory 的差异在于它不查 demonstration-time stage，而是在 rollout-time 根据已完成 segment 生成当前 episode 的 latent。这个差异是实质性的，因为重复任务的关键状态是在线进度，不是离线相似片段。

和 completion-aware / subgoal-triggered VLA 的差异在 where：已有工作可能检测完成或切换阶段，但未必把上一阶段 summary 作为 self-contained latent 直接交给 action expert。WeaveLA 的新增信息就是把 boundary event 变成 action-side conditioning。

看似新的部分中，query bottleneck、latent memory、AdaRMS modulation 都是已有思想重组；实质创新是把它们组织成一个事件驱动的跨子任务 hand-off interface。

Dataset / Evaluation

RoboMME 是合适的验证场，因为它包含明确的 repetition / dependent-stop slice，尤其 SwingXtimes 和 StopCube 能较好隔离“当前观测不足以决定动作”的问题。论文没有只报 aggregate，而是做了 N-stratified、difficulty-stratified、paired episode analysis，这一点比常规 VLA paper 更有说服力：增益确实主要落在需要跨子任务状态的部分。

但 evaluation 的覆盖也很有限。核心结果主要依赖 RoboMME 中结构清晰、边界可获得的重复任务；16-task aggregate 提升并不大，且很多任务成功率本身较低。真实机器人实验只有 PickXtimes 小样本 sanity check，不能证明真实部署下 boundary detection、动态干扰、视觉变化和多物体长期状态都能处理。

benchmark 是否支持 claim？支持“event-level action-side memory 对重复任务有帮助”，不支持“通用长程机器人记忆已解决”。尤其 StopCube 显示 claim 有边界：需要连续时序感知或符号计数时，per-event latent 单独不够。

Limitation

最大隐含前提是 sub-goal completion event 可用或可可靠检测。主实验用 simulator boundary 隔离了 memory 机制，但也绕开了真实系统中最难的一半问题。latent-shift trigger 只部分有效，在 StopCube 上退化到 no-memory，说明事件检测并没有被真正解决。

第二个上限是 memory granularity。WeaveLA 的 per-event latent 擅长传递离散阶段状态，但不擅长保留连续轨迹证据。对需要精确 timing、速度、接近程度的任务，dense frame buffer 仍然更强。论文自己也承认 FrameSamp+Modul 在 StopCube 上领先，这不是偶然，而是两类 memory 的信息形态不同。

第三，泛化仍然存疑。训练用了目标任务集适配、sub-goal annotations、sub-goal text auxiliaries，真机实验规模很小。所谓 repetition-aware 能力可能依赖任务分布中 repetition structure 明确、boundary annotation 一致、语言计数形式固定。开放场景下如果 sub-task 不规则、事件不可清晰分割、或者需要组合多个 latent state，效果未知。

第四，增益归因仍有部分不清。Weaver-on/off 虽然共享训练设置，但 Weaver-on 也引入额外参数、auxiliary shaping 和 curriculum；N=1 不变缓解了 capacity 解释，但不能完全排除数据覆盖 / training recipe 对特定 tasks 的影响。

第五，这不是符号计数器。SwingXtimes 的成功可能来自 latent phase cue 或 learned rollout pattern，而不是可靠 count abstraction。StopCube 的失败强烈提示：一旦任务需要精确“第 N 次”事件判断，latent hand-off 不足以替代显式计数 / automaton state。

Takeaway

• 1. 长程 VLA 的一个重要方向不是无限加长上下文，而是找到正确的状态更新时刻；sub-goal completion 是很强的结构先验。
• 2. memory 的消费位置很关键。
• 对操控任务，把历史信息直接注入 action expert 往往比 prompt / visual augmentation 更符合因果路径。
• 3. per-event latent 和 dense frame memory 是互补而非替代：前者维护离散 progress，后者保留连续动态证据。

一句话总结

WeaveLA 是一篇把 VLA 长期记忆从“更长历史上下文”推进到“子任务边界处的 action-side latent state hand-off”的工作，核心贡献是事件驱动的信息流归纳偏置，而不是新的记忆模块本身。