精读笔记
Problem Setting
[论文标题] RoboDojo: A Unified Sim-and-Real Benchmark for Comprehensive Evaluation of Generalist Robot Manipulation Policies（arXiv preprint / 2026）。这篇论文实际处理的是 generalist robot manipulation 的评测失真问题，而不是提出新策略。当前领域的问题不是缺少 benchmark，而是 benchmark 的诊断粒度、物理真实性和可复现性无法同时满足。很多方法在单一仿真套件或少量真机任务上看起来有效，但很难判断它究竟学到了视觉 grounding、长期状态、精密控制、技能组合，还是只是在训练分布附近做 imitation retrieval。真正困难点在于 manipulation failure 是多因子的：语义理解、空间定位、动作平滑、接触控制、历史记忆、子任务切换、reset 偏差都会混在一个 success rate 里。RoboDojo 想解决的就是这个混淆：用统一接口把仿真能力诊断和真机部署验证放进同一评测闭环。
Motivation
已有路线不够的地方主要有两个。第一，仿真 benchmark 虽然便宜、可重复、任务多，但很多任务只是对象/语言/布局变化，底层技能结构重复，不能有效区分不同能力瓶颈；尤其对现在的 VLA / world-action / diffusion policy，单一 aggregate score 很容易掩盖模型到底失败在哪里。第二，真实机器人 benchmark 更接近 deployment，但硬件、光照、相机、reset、评分和安全策略都高度依赖实验室，导致结果难复现、难横向比较。作者的核心观察是：generalist manipulation 需要的不是更大任务列表，而是一个能同时给出 capability-level diagnosis 和 physical deployment evidence 的标准系统。缺口在于 sim 和 real 没有被组织成一个统一评测协议，也没有足够低摩擦的 policy integration infrastructure。
Core Idea
RoboDojo 的核心思想是把机器人评测从“任务成功率榜单”改造成“能力轴诊断 + 真实部署校验 + 统一接口”的系统。仿真任务不追求和真实任务一一对应，而是覆盖五类互补压力源：Generalization、Memory、Precision、Long-Horizon、Open。真实任务则专门暴露 simulator 难以表达的物理因素，如接触不稳定、动作延迟、相机/标定误差、物体摆放微差和安全约束。这个设计的直觉是：如果一个 policy 真正 generalist，它不应只在某个任务族里高分，而应在多个能力轴上有相对均衡表现，并且仿真里的能力优势至少部分转化为真实部署稳定性。和 prior 的本质区别不在任务数量，而在 benchmark 的组织方式：RoboDojo 把评测对象从“会不会做某类任务”转为“哪些能力尚未形成、哪些仿真能力不能落地”。
Method
方法层面最重要的是三件事。第一，能力维度化的任务构造：它解决的是成功率不可解释的问题。Generalization 通过强 scene-level randomization 压测视觉-空间鲁棒性；Memory 用部分可观测和历史依赖任务压测 long-context observation use；Precision 用窄孔插入、对齐、接触敏感操作压测 metric control；Long-Horizon 压测阶段切换和误差累积；Open 则把训练任务中出现过的技能放到未见语义目标中，测试 skill recombination。第二，异构并行 Isaac Sim 平台：它解决的是大规模多任务评测吞吐问题，允许同一批并行环境中存在不同对象、布局、任务和 clutter，而不是传统 cloned env。第三，RoboDojo-RealEval + XPolicyLab：前者标准化真机评测的硬件几何、光照、reset、远程部署和评分；后者标准化 policy 的 observation-action interface，使 30 个不同策略可以在同一 pipeline 下比较。这里的核心变化不是某个模块更强，而是把 benchmark 从静态数据集升级成可重复执行的评测基础设施。
Key Insight / Why It Works
最关键的 insight 是：当前 robot foundation policy 的短板不是单一能力不足，而是能力组合不稳定；因此 benchmark 必须把 failure mode 拆开，同时保留真实物理闭环。RoboDojo 有效的部分主要来自 evaluation decomposition 和 infrastructure scaling，而不是新的 learning algorithm。五个仿真维度相当于给 policy 加了不同 inductive stress：随机化测 representation alignment 与 spatial grounding，Memory 测历史信息是否真正进入 action selection，Precision 测动作先验和 closed-loop correction，Long-Horizon 测 skill composition，Open 测 semantic-to-action grounding。真实评测则进一步排除“仿真里看起来能做”的假象，因为 jitter、接触不稳、calibration drift 在真实机器人上会直接变成失败或安全问题。最可能的核心贡献是 RoboDojo-RealEval 和统一 sim-real evaluation loop：它让 leaderboard 不只是离线跑分，而是有物理部署约束。异构并行、XPolicyLab、资产库大多是必要工程，价值很高，但主要是 scaling / engineering。需要警惕的是，benchmark 的诊断能力依赖任务 taxonomy 的合理性；如果某个维度内部仍混入多个因素，leaderboard 只能告诉你“失败了”，不能精确告诉你是 perception、planning 还是 control 导致。Open 任务近乎全灭很有冲击力，但也可能更多反映训练分布外任务太远，而不是单独证明 open-vocabulary reasoning 不存在。
Relation To Prior Work
RoboDojo 最接近 RoboTwin/RMBench/CALVIN/LIBERO/SimplerEnv 这类仿真诊断 benchmark，以及 RoboArena/RoboChallenge/ManipulationNet 这类真实评测系统。它不是在某个轴上完全首创，而是把多个已有思想重组进一个统一协议：任务多样性来自 RoboTwin/RLBench 传统，memory 轴继承 RMBench 思路，long-horizon 与 CALVIN/LIBERO 同源，real-world remote evaluation 与 RoboArena/RoboChallenge 同谱系，sim-real 相关性讨论与 SimplerEnv 接近。真正新增的信息是三点：一是把 capability-oriented simulation 和 standardized real-world evaluation 放到同一 leaderboard 逻辑下；二是用 XPolicyLab 降低多策略横向比较的接口噪声；三是明确把 real-world benchmark 设计成 complementary deployment test，而不是 matched sim-to-real transfer。看似新的异构并行仿真，本质是系统工程优化；实质创新在于它让复杂、多场景、多任务评测实际可运行。
Dataset / Evaluation
任务覆盖比多数 prior 更宽：仿真 42 个任务覆盖五个能力维度，真实 18 个任务覆盖三种双臂机器人 embodiment，并且包括长程、精度、记忆、工具使用、双臂协作和开放语义等场景。评测设计基本支持论文的核心 claim：仿真部分能展示不同能力轴上的碎片化进展，真实部分能展示仿真分数与部署稳定性并不完全一致。重要的是，作者没有声称真实任务与仿真任务一一对应，这避免了伪 sim-to-real claim，但也限制了对 sim-real transfer 的定量解释。leaderboard 结果显示当前方法普遍低分，尤其 Open、Precision、Memory 暴露明显瓶颈，这说明 benchmark 足够难；但过难也带来一个问题：当大多数模型接近 floor 时，benchmark 对中低水平方法的区分度有限。真实评测只有每任务 10 次 trial，虽然聚合结果稳定，但单任务 variance 仍不低；评分依赖人工 double-blind 和 substep rubric，透明但并非完全客观。整体看，evaluation 能支持“现有策略远未 generalist、sim 和 real 互补”这个结论，但不能支持更细粒度的因果归因。
Limitation
RoboDojo 的成立依赖几个前提。第一，作者定义的五个能力轴足以代表 generalist manipulation 的主要瓶颈；这个前提合理但未被严格验证，且各轴并不完全正交。第二，任务 difficulty 需要在不同维度间可比，否则平均五维 score 只是人为加权；文中未充分说明难度校准。第三，真实评测平台标准化降低了 intra-platform variance，但不等于跨实验室、跨硬件、跨物体批次都可复现。第四，benchmark 开源与 leaderboard 迭代会诱导过拟合，hidden layout 只能缓解，不能消除 benchmark-specific optimization。第五，很多所谓 long-horizon 或 memory 成功可能仍是 trajectory retrieval 或 dataset coverage，而不是真正显式规划/状态建模；RoboDojo 能暴露失败，但未提供机制来区分 retrieval、reasoning 和 control。第六，XPolicyLab 虽然统一接口，但不同 policy 的训练资源、pretraining corpus、action representation 和 inference latency 差异很大，leaderboard 的公平性仍受到 scaling 和数据来源影响。最后，RoboDojo 是评测系统，不是训练范式；它把问题测得更清楚，但没有自动解决如何把诊断结果转化为可学习信号。
Takeaway
- 第一，generalist manipulation 的评测正在从单一任务成功率转向能力剖面和部署稳定性，RoboDojo 是这个趋势的典型基础设施化版本。
- 第二，未来 policy 的进展不能只看平均分；真正需要优化的是 memory-conditioned execution、contact-aware correction、semantic-to-action grounding 和 failure recovery。
- 第三，sim benchmark 的价值不在于替代真机，而在于高通量定位 failure mode；真机评测的价值则在于过滤掉仿真里被掩盖的 jitter、接触、标定和安全问题。
- 第四，值得迁移的 insight 是 benchmark 设计本身：不要只扩任务数量，而要让任务维度对应可解释的能力假设，并用统一接口减少工程噪声。
一句话总结
RoboDojo 是 generalist robot manipulation 从“模型展示”走向“系统化能力审计”的 benchmark 基础设施，真正贡献在于把仿真诊断、真实部署和统一策略接口组织成一个可持续比较的评测闭环。