精读笔记

Problem Setting

论文标题：DSWAM: A Dual-System World Action Foundation Model for Fine-Grained Robot Manipulation（arXiv preprint / 2026）。这篇论文真正解决的是 WAM 作为机器人执行 policy 时的两个结构性问题：第一，WAM 通过视频/世界建模获得较强物理执行能力，但缺少 VLM/VLA 那种显式语言级任务分解接口；第二，现有 WAM-VLA 对比通常混杂了数据、机器人平台、任务协议和部署系统差异，无法回答“WAM-style execution 是否本身更好”。真正困难点在于，家庭操作任务同时需要语义级阶段切换和接触级稳定控制，把两者塞进一个端到端 policy 会导致 credit assignment 与泛化边界都很模糊。关键矛盾是：规划接口需要离散、语义、低频；真实执行需要连续、物理、实时。以前 VLA 更偏前者但物理时序监督弱，WAM 更偏后者但缺少显式任务组织能力。

Motivation

作者的动机不是再造一个更大的 VLA，而是指出 VLA 与 WAM 的能力短板是互补的。VLA 的语言接口适合把粗指令拆成可执行步骤，但常见 single-frame / direct action formulation 对场景演化和接触 dynamics 的监督很间接；WAM 的视频式训练提供更密集的物理监督，但默认只是 executor，不擅长决定当前应该执行哪个语义阶段。作者抓住的缺口是：语义分解不一定应该成为每个 action query 的一部分，尤其在 atomic instruction 或 WAM 已经可靠的任务上，高层 planner 反而可能增加误差和延迟。因此 DSWAM 的出发点是“缺一个可选的、低频的 task organization layer”，而不是“缺一个更复杂的一体化大模型”。

Core Idea

核心思想是把机器人 foundation policy 显式拆成两个时间尺度：System 1 是默认执行路径，负责从当前多模态观测直接生成连续动作 chunk；System 2 是可选高层接口，只在粗指令需要分解时输出下一条可执行子任务。这个设计改变的不是单个模块，而是控制信息流：语言级规划只改变 executor 的 condition，不直接参与低层动作生成；物理执行也不承担长期语义状态机的职责。

这个 inductive bias 直觉上成立：接触密集操作的低层成功依赖连续视觉-动作对齐和物理状态演化表征，而不是每一步都进行语言推理；多步任务失败则常来自阶段切换错误和 coarse instruction 下的目标歧义。DSWAM 把“what next”与“how to execute”解耦，使得 planner 可以低频、离散、语义化，executor 可以高频、连续、物理化。与 prior 的本质差异在于，它没有强迫 WAM 做显式 test-time future imagination，也没有把 VLM planner 融入每个控制 query，而是把世界建模监督留在训练时，把部署路径压成直接 action prediction。

Method

方法上最关键的机制有三类。第一，System 1 WAM executor 用视频 co-training 学表征，但 inference 时只根据当前图像、语言/子任务和 proprioception 预测动作 chunk；这解决的是显式未来视频生成延迟高、误差会进入控制环的问题，核心变化是把 world modeling 从 test-time compute 变成 training-time representation shaping。第二，System 2 planner 用短期视觉历史和全局 prompt 预测下一条子任务，并用 transition-aware supervision 处理子任务边界；这解决的是 coarse instruction 下 executor 不知道当前应处在哪个语义阶段的问题，核心变化是把长期任务结构转成低频语言条件更新。第三，RTC、异步执行和 TensorRT 不是算法创新，但对真实机器人很关键；它们解决的是 policy latency 与低层控制连续性的矛盾，核心变化是让 action chunk 查询不再阻塞机器人动作。

值得注意的是，论文没有把 planner 作为默认路径，而是强调 WAM-only mode。这一点很重要：它避免了把所有任务都过度规划化，也让 folding benchmark 的比较更像 execution policy 范式比较，而不是“多加了 planner 的系统比较”。

Key Insight / Why It Works

最可能真正有效的部分是“训练时世界建模监督 + 测试时直接动作生成”的组合。视频 co-training 给视觉 backbone 提供比 action imitation 更密集的时序约束，使表征更关注物体状态变化、接触后果和 deformable object configuration；但测试时不生成未来视频，避免了 diffusion/rollout latency、生成误差和 action grounding 之间的二次不确定性。这更像 representation alignment，而不是 test-time planning。

第二个有效因素是任务信息的层级化。System 2 把 coarse prompt 映射到更接近 demonstration distribution 的子任务语言条件，本质上降低了 executor 的条件熵。这里所谓“planning”很可能主要不是推理，而是把视觉状态检索到训练集中见过的子任务标签；它有效，是因为子任务标签让动作分布更窄、更可模仿。对于 sorting 这种固定任务结构，收益很合理；但不能据此推断它具备开放式长期规划能力。

第三个因素可能是 deployment engineering。折叠任务对闭环频率、延迟和动作连续性非常敏感，TensorRT + asynchronous RTC 带来的稳定性提升可能直接转化为成功率和时间。论文把它作为部署研究是诚实的，但这也意味着部分真实世界增益未必来自模型表征本身。

需要直说：相对 Fast-WAM 的 RoboTwin 增益很小，说明 DSWAM 的核心算法增量可能不是 WAM executor 本身的大跃迁，而是系统化组合、数据/训练对齐和真实机器人部署优化。matched DeMaVLA 比较有价值，但仍不能完全排除实现细节、动作接口、延迟、训练 recipe 对结果的贡献。视频 co-training 是否是不可替代核心，文中未充分说明。

Relation To Prior Work

DSWAM 位于 WAM 与 VLA 之间，但更靠近 execution-centered WAM 谱系。与 OpenVLA、π0、DeMaVLA 等 VLA 相比，它不把主要能力押在 pretrained VLM 的语义泛化上，而是强调视频/世界建模对物理执行的监督；与 DreamZero、Cosmos Policy、Motus、X-WAM 等 WAM 相比，它不坚持 test-time future generation，而是采用 Fast-WAM / GigaWorld-Policy 类似的 action-only inference 思路。

看似新的 dual-system 其实不是全新思想：高层 planner + 低层 controller、语言子任务分解、action chunking、异步执行都已有先例。DSWAM 的实质新增信息在于把这些思想放进 WAM foundation policy 框架，并明确提出“planner optional, WAM default”的策略；这比把 planner 永久接入控制环更合理，也更符合真实机器人任务分布。它的贡献更像一次架构归纳和系统验证，而不是单点算法发明。

相对 DeMaVLA，最重要差异是监督信号和执行表征：DeMaVLA 代表强 VLA execution baseline，DSWAM 试图证明在同平台同数据下，视频 co-trained WAM executor 对 deformable/contact-rich manipulation 更适合。相对 Fast-WAM，差异可能主要在 dual-system framing、matched real-world study 和部署工程，而不是根本改变 WAM 学习目标。

Dataset / Evaluation

评估设计中最有说服力的是 real-world folding 的 matched protocol：同 ALOHA-style 平台、同 DeMaVLA 数据设置、同任务和成功标准，并且关闭 System 2。这确实更接近验证“WAM-style execution 是否比 VLA-style execution 更强”，尤其在 deformable manipulation 这种物理状态演化很重要的场景里。结果显示 DSWAM 在平均成功率和完成时间上优于 DeMaVLA，但样本规模仍然有限，每类 garment 的实例数量和 trials 都不足以支撑很强的泛化结论。

RoboTwin 2.0 覆盖 50 个模拟双臂任务，能说明模型不是只会折衣服，但它主要验证 simulator benchmark 上的 task coverage，并不能完全支持真实世界泛化。System 2 的 sorting study 支持子任务监督对粗指令有用，但任务结构过于简单，且子任务空间很固定，更像验证 subtask labeling/curriculum 的效果，而不是验证开放式 planner。

整体上，evaluation 支持两个有限 claim：一是在 matched folding setup 下，WAM executor 是强执行器；二是在具有明确阶段结构的任务上，子任务条件能减少 rollout mistakes。它没有充分支持更强 claim：DSWAM 已经具备通用 household long-horizon planning 或跨场景泛化规划能力。

Limitation

第一，增益归因不清。DSWAM 的真实世界优势可能来自 WAM inductive bias，也可能来自更好的动作 chunk 接口、部署延迟、训练细节、数据覆盖或与 benchmark 的分布匹配；论文没有提供足够细的 ablation 把这些因素拆开。

第二，System 2 的 planner 更像短历史视觉条件下的子任务分类/检索，而不是真正的长期状态建模。它每隔固定时间基于最近帧输出子任务，没有显式维护 task graph、belief state、失败恢复策略或长期约束。所谓 reasoning / planning 在当前证据下可能是假象，主要来自离线标注的子任务 supervision。

第三，方法很依赖数据覆盖。WAM executor 的强项来自大量真实轨迹和视频 co-training，如果新任务的物理配置、对象类别、语言子任务或接触模式超出数据分布，泛化能力未被充分证明。RoboTwin 与真实 folding 都不能排除 benchmark overlap 或 implicit memorization 的可能。

第四，视频 co-training 的上限不清楚。训练时预测未来 latent tokens 能否学到可迁移的物理因果结构，还是只是在常见轨迹上提供额外正则，文中未充分说明。若未来生成不参与 inference，那么 auxiliary video loss 的必要性需要更严格的消融证明。

第五，dual-system 可能只是把困难转移到子任务标注和 planner 数据构造上。transition-aware supervision 需要可靠分段和可执行子任务标签，一旦任务结构不清晰、存在多解或需要在线恢复，planner 的简单语言输出可能不够。

Takeaway

• 最值得记住的不是 dual-system 这个名字，而是“WAM 作为默认低层执行器，planner 作为可选语义条件更新器”的设计原则。
• 它暗示机器人 foundation policy 的合理演化方向可能不是单一巨型 VLA，而是把语义任务组织、物理执行表征和实时部署路径分层优化。
• 第二个 takeaway 是：世界建模的价值未必在 test-time imagination，而可能主要在训练时提供 dense temporal supervision。
• 对机器人控制来说，把 future prediction 用作 representation learning，再把 inference 压回 action-only policy，可能比显式 rollout 更实用。

一句话总结

DSWAM 是一篇把 WAM 从“会预测/利用世界动态的执行模型”推进到“默认物理执行器 + 可选语义分解接口”的系统论文，其主要贡献在于分层信息流和 matched real-robot evidence，而不是单个全新算法模块。