IEEE Transactions on Robotics

DexSim2Real$^{\mathbf{2}}$: Building Explicit World Model for Precise Articulated Object Dexterous Manipulation

作者：Taoran Jiang, Yixuan Guan, Liqian Ma, Jing Xu, Jiaojiao Meng, Weihang Chen, Zecui Zeng, Lusong Li, Dan Wu, Rui Chen · 机构：Department of Mechanical Engineering, Tsinghua University, Beijing, China; Institute for Robotics and Intelligent Machines, Georgia Institute of Technology, Atlanta, GA, USA; JD Explore Academy, Beijing, China

会议/期刊：IEEE Transactions on Robotics · 发布日期：2025 · 页码：4360-4379

路径规划运动规划控制操作抓取

精读笔记

Problem Setting

论文标题：DexSim2Real²: Building Explicit World Model for Precise Articulated Object Dexterous Manipulation（IEEE Transactions on Robotics / 2025）。

这篇论文实际处理的是 real-world, instance-level, goal-conditioned articulated object manipulation：给一个未见过的 articulated object，在真实环境中通过少量主动交互构建其可仿真的显式模型，然后规划到指定关节状态。它关心的不是一般意义上的“学会打开物体”，而是“面对一个新实例，如何快速获得足以支持精确接触规划的世界模型”。

真正困难点有三层。第一，单帧观测对 articulation structure 信息不足：静态图像很难判断是转轴、滑轨、轴位置还是部件边界。第二，长程 articulated manipulation 对接触轨迹非常敏感，不能只预测一个局部 flow 或单步 action。第三，多末端执行器尤其灵巧手使动作空间暴涨，直接 policy learning 或 naive MPC 都会变得不稳定。

以前方法主要卡在两个方向：learning-based policy/affordance 需要大量覆盖对象、状态、动作和接触模式的数据；传统 model-based planning 则默认模型已知或 CAD 可用。本文的核心矛盾是：要精确规划就需要模型，但真实测试时没有模型；要无模型学习就需要大规模交互，但 articulated manipulation 的状态-动作分布太大。DexSim2Real²的选择是把问题改写为测试时显式建模。

Motivation

作者对已有路线的不满很明确：直接从观测到动作的神经策略缺少可组合的物理结构，面对不同目标状态、多步接触、不同末端执行器时泛化差；articulation flow 类方法能给局部运动方向，但不能自然支持长程目标条件规划；RL/IL 在灵巧手上尤其昂贵且容易生成不可执行或不自然动作。

核心观察是：articulated object manipulation 的本质约束大多来自对象自身的低维运动学结构。只要知道哪些部件会动、关节类型是什么、轴在哪里、几何大致如何，很多操作策略不必从数据中端到端学习，而可以在物理仿真中搜索出来。

因此关键缺口不是再训练一个更强的 action predictor，而是如何在测试时获得一个足够准确、足够可交互的 digital twin。主动交互在这里不是任务执行的一部分，而是 system identification 的 probing action：让物体状态发生变化，从而把隐藏的关节结构显露出来。

Core Idea

论文真正核心的方法思想是：用少量主动交互把静态视觉识别问题转化为动态结构识别问题，再把操作控制问题转化为实例级模型预测规划问题。也就是说，它不学习一个跨对象通用的长程操作策略，而是学习如何获得信息，然后在测试对象自己的显式模型里规划。

这个思路引入的关键 inductive bias 是 articulated object 可以被表示为若干刚性部件和 prismatic/revolute joints。相比图像/视频世界模型，这个表示牺牲了开放性，但极大降低了样本复杂度和规划复杂度；相比单步 affordance，它保留了可用于未来动作预测的状态转移结构。信息流也被重新组织：视觉网络只负责给出低精度交互或几何/分割先验，最终精确操作由显式物理模型和 MPC 完成。

与 prior 的本质区别在于，本文不是预测“当前该怎么动”，而是先构建“如果这样动会发生什么”的可查询模型。这个变化使得同一个对象模型可复用于不同目标、不同末端执行器，甚至工具使用。其泛化性更多来自结构化表示和 test-time compute，而不是 policy 的分布外泛化。

Method

1. 主动交互作为结构辨识的触发器：affordance 模型只需要找到一个能让部件动起来的粗动作，不需要完成最终任务。这降低了 affordance 学习难度，也避免让网络承担长程控制。这里可以来自仿真自监督 Where2Act，也可以来自人类第一视角视频 VRB。后者的意义在于引入真实世界操作数据覆盖，但其从 2D trajectory 转 3D motion 的投影方法更像工程桥接。

2. 多帧显式模型构建：论文用运动前后的 K+1 帧观测恢复对象几何和运动学结构。3D AIGC 负责生成高质量 mesh，pose/scale alignment 负责把生成物体放回真实坐标，SAMPart3D + mesh connectivity + robot proprioception 负责 movable part segmentation，之后估计关节类型、轴和层级并导出 URDF。这个模块的核心不是某个网络，而是把视觉生成、分割、机器人接触信息和 articulated kinematic prior 组合成一个可仿真的对象模型。

3. Sampling-based MPC 替代策略学习：有了 URDF 后，目标状态操作被变成 simulator 内的 trajectory search。选择 iCEM 是因为接触动力学不可微且 reward 梯度不可靠。这里的核心变化是从 offline policy generalization 转向 online optimization over a constructed instance model。

4. Eigengrasp 降维：灵巧手直接在全关节空间搜索不可行，eigengrasp 把手部动作限制在从抓取姿态数据中抽取的低维流形上。它解决的是搜索效率和动作自然性，而不是 articulated object 理解。这个设计是必要的工程/表示约束，否则 MPC 很难在灵巧手设置下工作。

Key Insight / Why It Works

这篇最重要的 insight 是：对 articulated object，主动制造状态变化比被动从单帧中猜结构更可靠；而一旦恢复了结构，长程操作不必学习，可以通过物理搜索获得。方法有效的主要原因不是某个端到端模型更强，而是问题分解得更符合物理因果结构。

我认为核心贡献排序如下：第一是 test-time explicit world model construction for manipulation，而不是仅用于 perception benchmark；第二是把主动交互、3D AIGC、foundation segmentation、proprioception 结合起来提高少帧结构恢复鲁棒性；第三才是多末端执行器和 eigengrasp-MPC。灵巧手部分很有用，但本质上是把已有 eigengrasp 思想接入 MPC 搜索，创新性弱于 world model pipeline。

有效性来源可以拆成几类： - better inductive bias：刚性部件 + 低维关节结构是 articulated object 的强先验，显著压缩状态空间。 - representation alignment：URDF/physics simulator 是规划器天然可用的表示，比 latent world model 更适合接触搜索。 - test-time compute：性能依赖在线 CEM/iCEM 搜索，而不是一次前向推理。 - data coverage：VRB、3D AIGC、SAMPart3D、DexGraspNet 都带来大量外部数据/先验。论文的泛化能力很大程度上来自这些 foundation/generative components 的覆盖，而不是本文从零学出的能力。 - action-space prior：eigengrasp 把灵巧手动作限制在合理手型流形，减少搜索维度并抑制奇怪姿态。

哪些部分可能只是辅助？reward ablation 显示 dense reward 对搜索成败很关键，这说明 planner 并没有形成强长期推理，更像在手工 shaping 下做局部-中程随机优化。工具使用实验也更像显式模型带来的表示可组合性展示，而不是系统性 tool-use reasoning。

需要警惕的地方：真实实验中 affordance 结果存在人工选择，说明自动感知链路还不完全闭环；AIGC mesh 与真实几何对齐的失败概率没有充分量化；多类别泛化可能强依赖对象类别与 AIGC/VRB 训练分布重合。这里所谓 generalization 更准确地说是“结构化 test-time reconstruction + planning 的泛化”，不是 learned manipulation skill 的泛化。

Relation To Prior Work

最接近的技术谱系有三条：articulation flow / affordance-based manipulation，model-based articulated object reconstruction，以及 sim2real/MPC manipulation。

相对 FlowBot/FlowBot++/Where2Act，本文的本质差异是从 one-step action representation 升级为 persistent explicit world model。flow/affordance 只回答当前哪里能动、往哪动；DexSim2Real²试图恢复一个可反复查询的转移模型，因此能支持多目标、多步和工具变化。

相对 UMPNet 这类 goal-conditioned action predictor，本文不是用两张图隐式编码目标差异，而是显式估计关节状态和对象运动学，再优化到目标状态。这个差异很实质：目标条件不再只是网络输入，而是 simulator 中的 state variable。

相对 Ditto、ScrewNet 和点云序列建模方法，本文新增的信息来自主动交互和机器人 proprioception，并且用 AIGC 改善真实几何质量。它不是纯 perception reconstruction，而是 manipulation-oriented reconstruction：最终评判标准是能否用于接触规划。

相对传统 model-based dexterous manipulation，本文解决了模型来源问题；相对 RL/IL dexterous manipulation，本文避免学习高维策略，但代价是在线建模和规划。eigengrasp 部分不是全新思想，更像把 grasping literature 中的低维手型先验移植到 articulated manipulation 的 MPC 中。

总体看，它属于“explicit world model + test-time planning”路线，而不是端到端 policy learning 路线。真正新增的信息是通过主动交互获得的对象实例结构，以及将 foundation/AIGC 视觉先验转化为可仿真的 URDF。

Dataset / Evaluation

评估有真机，覆盖吸盘、二指夹爪、Allegro/XHand 灵巧手，以及 drawer/cabinet/laptop/lamp 等常见 articulated objects。相较很多只在仿真或单一吸盘设置中验证的方法，这一点是扎实的。论文也做了模型构建精度、关节轴误差、segmentation ablation、reward ablation、eigengrasp 维度分析和工具使用 demo，基本能支撑“显式模型对精确操作有用”这个核心 claim。

但 evaluation 的边界也很清楚。场景主要是桌面单物体，base link 固定，机械臂固定，类别有限，遮挡和 clutter 很少。目标状态随机但仍在受控范围内。真实世界精度验证主要说明在这些类别上 pipeline 可工作，并不能证明开放类别或复杂家居场景泛化。

与 UMPNet 的比较能说明显式模型 + continuous MPC 比固定步长/隐式目标图像预测更适合精确控制，但 baseline 覆盖不算全面。与 ScrewNet 的比较支持建模模块改进，但 AIGC/foundation model 带来的外部先验优势没有被完全剥离。工具使用实验支持“模型可组合”这个方向性判断，但还不是严格 benchmark。

总的来说，实验较好验证了 engineering feasibility 和结构化建模路线的潜力；对 scalability、失败率分布、全自动闭环、跨数据分布泛化的验证仍不足。

Limitation

最核心的限制是前提很强：对象必须能被近似为少数刚性部件和理想 prismatic/revolute joints。现实中的抽屉滑轨松动、笔记本弹性回弹、摩擦滞后、装配间隙、多自由度耦合都会破坏这个模型。论文也承认真实动态属性和非理想关节会带来误差，但这些不是边缘问题，而是显式物理模型路线的根本上限之一。

第二，方法高度依赖主动交互成功。如果 affordance 没有找到可动部件，或交互幅度太小，后续结构识别就缺少信号。对于 K 个 movable parts，论文假设能够逐个改变其状态；开放场景中如何自动知道 K、如何避免重复/遗漏、如何处理相互遮挡，文中未充分说明。

第三，AIGC 逐帧 mesh reconstruction 是强但不稳定的外部模块。跨帧几何不一致会直接影响 Chamfer-based motion detection 和关节估计。作者用 connectivity、SAMPart3D、proprioception 做了补救，但这更像工程性鲁棒化，而不是彻底解决一致性建模。对 uncommon objects，AIGC 对齐失败会成为瓶颈。

第四，规划能力依赖手工 reward 和大量 test-time sampling。MPC 并没有真正学习长期任务结构，而是在强 reward shaping、短 horizon 和已知目标关节变量下做 zeroth-order search。对更长任务、更复杂接触、更大场景，采样复杂度会迅速上升。

第五，泛化归因不清。VRB、人类视频、Rodin、SAMPart3D、DexGraspNet 都带来外部大规模数据先验。本文系统的成功可能相当程度来自这些模块的数据覆盖和表示能力，而不是 world model pipeline 本身的学习能力。所谓 sim2real² 更准确是“real-to-sim model construction + sim planning + real execution”，不是传统意义上的 policy sim2real transfer。

Takeaway

  • 1. 对 articulated manipulation，最值得迁移的思想是：不要急着学长程策略，先通过主动交互恢复对象实例的可执行结构。
  • 低维运动学先验比高维 policy 泛化更可靠。
  • 2. World model 如果要服务控制，最好是 simulator/planner-native representation。
  • URDF 这类显式结构虽然不够开放，但在少样本、接触规划、目标条件控制上比 latent video model 更实用。

一句话总结

DexSim2Real²是 articulated manipulation 中从“学习动作”转向“测试时构建显式对象模型并规划”的代表性工作，其真正贡献在于把主动感知、3D 生成先验和物理 MPC 组织成一个可用于真实精确操作的实例级 world-model pipeline。