精读笔记
Problem Setting
这篇论文真正处理的是异构双机器人移动操作中的 imitation learning 数据稀缺问题，而不是提出一种新的低层控制器。任务困难点不在于让两个机器人分别完成动作，而在于接触式协作要求两个 embodiment 在空间、时间、视觉和物体交互上强耦合：一个机器人动作的可行性依赖另一个机器人的位置、节奏和物体状态。已有单机器人 teleoperation 数据范式迁移到这里会快速变贵，因为每条轨迹需要双操作者、双机器人同步、硬件复位和高失败成本；经典 multi-robot control 又依赖显式状态、建模和通信假设，难以覆盖视觉丰富的真实接触任务。关键矛盾是：策略需要机器人域的真实动作数据才能部署，但可规模化采集的协作数据主要存在于人类世界。
Motivation
作者的核心动机是把“机器人数据不足”转化为“如何利用更便宜的人-人协作数据”。已有 human demonstration 到 robot learning 的工作多集中在单机器人或单 humanoid 的技能迁移，多机器人里的物理协作先验没有被系统利用。DUET 的观察是，人类协作天然包含很多机器人也需要的结构：谁靠近物体、谁等待、谁让位、什么时候交接、如何保持共同物体稳定。这些不是低层 joint action，而是 pose-level coordination prior。缺口在于：需要一种表征把人类协作和机器人协作放到同一个监督空间，同时又不要求人类数据提供机器人关节标签。
Core Idea
DUET 的核心思想是用人-人协作数据预训练一个双主体 visuomotor policy 的共享协作表征，再用少量双机器人遥操作数据把它落地到具体机器人动作空间。它改变的建模方式是：不把机器人协作看成两个独立策略之间的后验同步，而是从一开始用 centralized policy 建模两个主体的联合未来 action chunk。
这个思路成立的直觉是，协作任务里的很多约束位于中间层：相对位置、身体姿态、靠近/撤离时机、共享物体的运动趋势、handover 的节奏。这些结构比关节角更抽象，又比语言或任务标签更贴近控制。DUET 引入的 inductive bias 是共享 pose-space alignment：人类数据监督 pose head，机器人数据监督 pose + qpose head，使模型先学习“协作应该长什么样”，再学习“这个机器人怎么执行”。和 prior 的本质区别不在 ACT 或 VR，而在把 multi-human demonstrations 当作 multi-robot coordination prior，而不是只当视觉预训练或单体动作模仿。
Method
方法上最关键的是三件事。第一，少量双机器人遥操作数据承担 grounding 角色：它告诉模型真实 G1 + Vega1 的相机视角、运动限制、关节命令和部署时动作分布。没有这部分，human prior 无法跨过 embodiment gap。第二，人类协作数据被压缩成 head-relative 3D keypoints 和 egocentric RGB，而不是原始人体 mesh 或语言描述；这一步把人和机器人对齐到可共享的 pose abstraction，也显式丢掉了大量 embodiment-specific 细节。第三，ACT 的 action chunking 和 centralized 输入让策略直接预测联合未来，而不是每个机器人各自反应；这对 handover、共同倾斜、清扫接袋这类强时序任务是必要的。
双输出头是一个重要但朴素的机制：pose head 是跨域共享监督，qpose head 是机器人域专属监督。CVAE/ACT/ResNet 等模块本身不是新贡献，更多是合适的工程载体。真正的机制变化是把监督分层：human data 只教可迁移的协作运动结构，robot data 再教执行器映射。
Key Insight / Why It Works
我认为最可能有效的部分是 representation alignment + data coverage，而不是模型架构。人类协作数据提供了比机器人遥操作更自然、更快、更平滑、更多样的 joint trajectory distribution；head-relative pose space 又把这种分布变成机器人可消费的中间监督。换句话说，DUET 主要是在做跨 embodiment 的协作先验预训练，而不是学到了某种显式 multi-agent reasoning。
ACT action chunking 可能提供了额外收益，因为它鼓励模型输出一段时间一致的联合动作，降低双机器人异步抖动；但这更像已有 ACT 在低频 imitation 中的稳定化作用。双 egocentric RGB 的 centralized fusion 也重要，因为协作状态通常不在单个机器人视角内完整可见。不过文中没有清楚拆分：收益到底来自 human pretraining、更多总轨迹、pose-space regularization、还是 robot data 少时的普通 warm start。
这篇论文的“understanding”需要谨慎理解。它展示的是策略能复用人类演示中的协作模式，而不是形成可组合的协作推理。所谓泛化更可能是任务族内的 trajectory prior 和 affordance prior 被复用；在 unseen task topology、不同机器人 morphology 或长程规划需求下，能力是否存在文中未充分说明。若 benchmark 的人类演示和机器人评测流程高度重合，隐式 memorization / retrieval 式行为也可能解释相当一部分增益。
Relation To Prior Work
DUET 位于三条技术谱系的交叉处：ACT/ALOHA-style chunked imitation，UMI/EgoMimic/EgoDex-style robot-free human demonstration，和 multi-robot physical collaboration。它与单机器人 human-to-robot transfer 的不同点是监督对象从单体 manipulation prior 变成双主体 coordination prior；与传统 multi-robot control/RL 的不同点是放弃显式 dynamics / communication / privileged state，直接从视觉和 pose 中学习联合策略。
看似新的部分中，ACT backbone、egocentric RGB、CVAE action chunk、VR teleoperation、retargeting 都是已有思想重组。实质创新在于系统性地把 multi-human collaboration 数据接入真实异构双机器人 imitation pipeline，并通过共享 pose head 避免 human data 缺少 robot action 的问题。它不是模型创新论文，更像 data interface + representation alignment 论文；贡献的关键是证明这个接口在真实双机器人任务上能工作。
Dataset / Evaluation
评估覆盖四类双机器人协作模式：非对称配合、长程工作流、共同物体平衡、handover，选择是合理的，能覆盖部分关键 failure mode。实验是真机 G1 + Vega1，不是仿真，因此对 feasibility 的证明有价值。DUET 相比 robot-only 在更低采集 effort 下达到相当或更好表现，这支持“human data 可降低机器人数据需求”的核心 claim。
但 evaluation 仍然很窄：只有一个异构 pair、四个受控任务、每任务少量 trial、固定环境和固定角色。OOD 只做了有限视觉/物理扰动，不能证明跨场景或跨 embodiment 泛化。更关键的是，实验没有充分做等量 human/robot 数据、无 RGB / 无 pose / 无 pretraining / co-training / frozen backbone 等归因消融。因此 benchmark 证明了 pipeline 有效，但没有证明哪一个机制是必要条件。
Limitation
最大的隐含前提是人类和机器人在任务层面具有可对齐的身体语义：头、手、肘、髋、base velocity 等 pose abstraction 足以表达协作。这个前提对 humanoid + mobile manipulator 勉强成立，但对非人形机器人、多臂系统、柔性体操作或工具主导任务未必成立。方法还假设任务能通过短历史和 action chunk 解决；它没有显式长期状态、符号规划或 belief tracking，因此长程任务中的“计划性”可能只是训练轨迹覆盖。
scalability 上，DUET 把问题从机器人遥操作转移到人类数据捕捉、pose extraction、角色绑定和跨域对齐。人类数据便宜，但不是免费；SAM 3D Body、深度校准、固定旋转、身份跟踪都会引入系统性误差。多于两个 agent 时，centralized transformer、固定角色映射和同步采集复杂度都会上升。增益来源不清：可能主要来自 scaling / data，而不是人类协作先验本身。论文也没有证明该 prior 能跨任务组合迁移，只证明了在相同任务分布下的低数据增强。
Takeaway
- 第一，multi-robot imitation 的可扩展路线很可能不是先解决完美遥操作，而是把机器人数据降为 grounding 数据，把大规模人类协作数据作为 coordination prior。
- 第二，跨 embodiment transfer 的关键不一定是端到端 video-to-action，而是找到足够抽象但仍控制相关的中间表征；这里的 head-relative pose space 是一个有效候选。
- 第三，对多主体接触任务，centralized joint chunk prediction 比独立 policy 后同步更自然，因为协作约束本身就是联合未来约束。
- 第四，未来真正值得做的是机制归因和泛化扩展：跨机器人组合、跨任务拓扑、多 agent 数量扩展，以及区分 data coverage 与真正 coordination abstraction。
一句话总结
DUET 是一篇把 robot-free multi-human demonstrations 引入真实异构双机器人 imitation learning 的系统论文，其真正贡献是用共享 pose-space 预训练把人类协作数据变成机器人协作先验，属于 data-centric / representation-alignment 驱动的多机器人学习范式演化。