精读笔记
Problem Setting
这篇论文真正解决的是双臂 manipulation 评测不可诊断、不可复现的问题，而不是提出更强的双臂 policy。当前双臂系统的难点不只是 action dimension 翻倍，而是两个 arm 在功能角色、接触时序、对象约束和空间可达性上的耦合会产生新的 failure modes：一只手需要维持条件，另一只手执行目标；两只手需要同时稳定同一物体；对象要在 workspace 边界处 handoff；或者两只手要并行执行互不依赖但互相干扰的子任务。
以前方法卡在两个层面：第一，benchmark 层面经常把双臂任务当作“两个单臂任务叠加”或“少量协作任务变体”，缺少系统化的 coordination coverage；第二，evaluation 层面依赖 binary success，导致低成功率区间完全不可读。关键矛盾是：双臂任务最需要诊断的是中间协调过程，但已有指标只看最后结果。
Motivation
已有路线不够的根本原因是它们没有把“双臂协调”作为评测对象本身来建模。很多 benchmark 有大量任务或大量物体变化，但任务多样性并不等价于 coordination-mode 多样性；很多真实世界数据集提供最终数据，却不给可复现 setup；很多仿真 benchmark 可以大规模跑 policy，但 sim-real claim 很弱。
作者的核心观察是：如果 success rate 很低，那么比较 policy 谁多成功几个 episode 没有意义，真正需要知道的是它们死在哪里。对双臂任务尤其如此，因为失败可能发生在 grasp、role assignment、handoff、closed-chain control、parallel scheduling、physical reasoning 等不同环节。DuoBench 的动机就是补这个缺口：让 benchmark 本身提供 failure decomposition，而不是把诊断工作留给读者看视频猜。
Core Idea
DuoBench 的核心思想是把 benchmark 从任务列表提升为“coordination taxonomy + stage progress”的诊断工具。四类任务不是为了分类美观，而是把双臂系统中不同功能角色显式化：support、joint manipulation、handoff、parallelism。这样评测不再只回答“能不能完成任务”，而是回答“哪类双臂结构当前模型不会”。
stage-based evaluation 是更关键的建模变化。它把长时序任务投影到单调语义进度轴上，使得失败分布可以被统计。直觉上这有效，因为大多数 manipulation failure 不是连续空间里随机发生的，而是集中在少数语义瓶颈：接触建立、稳定 grasp、切换控制权、释放、插入、双手同步。用 hand-crafted stage 捕捉这些瓶颈，比最终成功率更适合低成功率和长 horizon regime。
和 prior 的本质区别不是“也有双臂任务”，而是评价对象从 task success 转向 coordination failure structure；从 benchmark as leaderboard 转向 benchmark as diagnostic instrument。
Method
方法层面应抓住三个必要机制。
1. Coordination taxonomy：它解决任务选择随意性。作者没有按物体类型或任务名称组织任务，而是按两臂功能角色组织。这使得 benchmark 更像能力剖面，而不是任务集合。核心变化是把双臂能力拆成可比较的 coordination classes。
2. Monotonic task stages：它解决 binary metric 在低成功率下信息坍缩的问题。stage 只能增加不能回退，因此每个 rollout 都能映射到最高达到的语义里程碑。这个设计牺牲了对失败后恢复、非单调策略的表达能力，但换来清晰的 failure attribution。
3. Sim-real reproducibility pipeline：它解决实验可复现而非算法性能。MuJoCo、FR3 Duo、3D 打印资产、VR teleoperation、统一数据格式共同降低复现实验和采集 demonstration 的成本。这里的贡献更偏 infrastructure / engineering，但对 benchmark 论文是实质贡献，因为真实世界 benchmark 的瓶颈往往正是 setup 不可复现。
Key Insight / Why It Works
最重要的 insight 是：双臂 benchmark 的价值不在于把任务做得更难，而在于让“难在哪里”可观测。DuoBench 的 stage 机制之所以成立，是因为当前 policy 的能力仍处在低成功率 regime；在这个 regime 下，progress metric 比 success metric 的信息密度高得多。它能揭示很多二值指标看不到的结构，例如某些任务虽然成功率低，但已经稳定完成早期阶段；某些任务看似简单却几乎全死在初始 grasp；某些 handoff 任务因为几何约束反而更容易。
真正的核心贡献是 evaluation inductive bias，而不是数据量或模型训练。论文没有提出新的 policy，也没有证明某种学习机制更强；它提供的是一个能暴露 policy 缺陷的测量仪器。相比之下，VR teleoperation、LeRobot conversion、Gymnasium wrapper、visual ablation replayer 等更多是辅助性 engineering，重要但不是 conceptual core。
从结果看，当前模型失败很大一部分并不发生在高级双臂协调，而是早期 contact / grasp acquisition。这一点非常关键：很多所谓双臂 benchmark 如果只报告最终失败，很容易被解读成“模型不会双臂协作”；但 DuoBench 显示更基础的视觉-动作闭环、接触建立、物理 grounding 仍是瓶颈。换句话说，双臂 reasoning 的缺失可能被 low-level interaction failure 掩盖。
mixed sim-real training 的结果不应过度解读。增益来源不清，可能主要来自数据覆盖、domain regularization 或任务特定 demonstration overlap，而不是学到了系统性的 sim-real invariant representation。X-VLA 在 mixed setting 下退化也说明 naive data mixing 不是稳健解法。这里更像 benchmark 暴露问题，而不是给出解决方案。
Relation To Prior Work
DuoBench 属于 robot learning benchmark / dataset 这条谱系，接近 RLBench2/TWIN、RoboTwin、BiCoord、ST-BiBench、FurnitureBench、FMB 等，但它的定位更窄也更诊断化。和 ManiSkill / LIBERO / RoboCasa 这类 benchmark 相比，它不追求单臂或 household 规模化覆盖；和 RoboTwin / BiCoord 相比，它不主要追求更多双臂任务或长 horizon，而是强调 coordination taxonomy 与 sim-real 复现；和 FurnitureBench 相比，它继承了真实世界可复现资产的思路，但转向双臂协调。
看似新的部分中，stage progress 本身并不是全新思想，BEHAVIOR 的 satisfied literals、long-horizon task milestones、curriculum reward 都有类似结构；真正新增的是把这种阶段化评价绑定到双臂 coordination failure analysis 上，并提供仿真/真机一致任务。taxonomy 也不是从零发明，明显受 bimanual manipulation taxonomy 影响，但作者把它压缩成适合 benchmark 设计的四类功能角色，这一点是实用创新。
因此它不是方法论突破，而是 benchmark design 上的重新组织：用较少任务覆盖关键 coordination pattern，并用 stage trace 让 policy failure 可解释。
Dataset / Evaluation
数据集规模是每个任务 50 条 teleop demo，11 个仿真任务、4 个真实世界任务，总体更像 low-data diagnostic benchmark，而不是大规模 pretraining corpus。任务覆盖范围在 coordination type 上比较刻意：support、joint manipulation、handoff、parallel execution 都有代表，但真实世界只覆盖每类一个任务，因此 real-world claim 是部分成立，不是完整验证。
评测设计能支持核心 claim：当前 ACT、π0.5、X-VLA 在双臂任务上都很弱，且 stage 分析确实比 success rate 提供更多信息。尤其在成功率接近 0 的任务上，p_final 和失败阶段分布能区分“完全没开始”和“完成了前半段但卡在物理/协调阶段”。这正是 benchmark 的价值。
但 evaluation 也有明显限制。ACT 是 per-task 训练，VLA 是 multi-task instruction-conditioned，比较并不完全对等；真实世界每任务每模型 15 rollouts，统计置信度有限；stage 在真实世界靠人工判断，存在主观性和一致性问题；open-loop 1 秒执行设置可能放大某些 VLA 推理频率/闭环控制问题。实验验证了 benchmark 能诊断失败，但不能完全证明 taxonomy 覆盖了双臂 manipulation 的主要能力空间。
Limitation
最深层限制是 DuoBench 把双臂能力空间离散成少数人工 stage 和四类 taxonomy，这本身就是强假设。它假设任务进展可以单调描述，假设关键 failure mode 能被手写 constraints 捕捉，假设四类 functional roles 足以代表双臂 coordination。对于需要恢复、重规划、非单调探索、柔顺接触或 tactile feedback 的任务，这个描述可能不够。
scalability 上，真实世界复现仍依赖固定硬件、固定相机、固定夹爪和资产几何。FR3 Duo 的可及性确实比自定义双臂系统好，但这仍不是 embodiment-agnostic benchmark。换到 humanoid torso、移动双臂、dexterous hands 或不同 workspace，任务定义和 stage constraints 可能都要重写。
泛化 claim 也应谨慎。论文更多证明了 sim-real alignment 不自动带来 transfer，而不是证明某种 benchmark-induced generalization。policy 成功/失败很可能 heavily rely on 50-demo coverage、teleoperator style、视觉相似性和动作空间映射。所谓 VLA 的语言能力在这里也没有被充分检验，因为 instruction 基本是任务 ID/目标条件，真正 bottleneck 是 visuomotor and contact grounding。
另一个问题是 benchmark 可能把问题从“无法评价”转移到“如何定义 stage”。stage 一旦成为主要指标，未来方法可能针对 stage 设计 reward、curriculum 或 heuristics，导致 benchmark-specific optimization。文中未充分说明如何防止 stage definitions 成为 hidden supervision。
Takeaway
- 1. 双臂 manipulation 的下一步不应只堆更多任务，而应区分 coordination failure mode；否则 leaderboard 数字几乎不可解释。
- 2. 在低成功率 long-horizon manipulation 中，semantic progress trace 比 binary success 更有研究价值。
- 这个 insight 可以迁移到 dexterous manipulation、mobile manipulation、tool use 和 assembly benchmark。
- 3. 当前 VLA/IL 在双臂任务上的失败很可能首先是接触建立和物理 grounding 失败，而不是高级语言推理失败。
一句话总结
DuoBench 是一个面向双臂 manipulation 的诊断型 sim-real benchmark，它的实质贡献不是提升 policy，而是用协调 taxonomy 和 stage-based progress 把当前双臂策略的失败从不可解释的成功率拆解成可研究的语义瓶颈。