IEEE Transactions on Robotics

DexRepNet++: Learning Dexterous Robotic Manipulation With Geometric and Spatial Hand-Object Representations

作者：Qingtao Liu, Zhengnan Sun, Yu Cui, Haoming Li, Gaofeng Li, Lin Shao, Jiming Chen, Qi Ye · 机构：College of Control Science and Engineering, Zhejiang University, Hangzhou, China; College of Control Science and Engineering and the State Key Laboratory of Industrial Control Technology, Zhejiang University, Hangzhou, China; Department of Computer Science, National University of Singapore, Singapore

会议/期刊：IEEE Transactions on Robotics · 发布日期：2026 · 页码：799-818

操作抓取视觉强化学习

精读笔记

Problem Setting

DexRepNet++: Learning Dexterous Robotic Manipulation With Geometric and Spatial Hand-Object Representations（IEEE Transactions on Robotics / 2026）。

这篇论文实际关注的不是“如何训练一个 dexterous hand policy”，而是更具体的状态表示问题：在多指手接触控制中，什么样的 hand-object representation 能让策略对未见物体泛化。真正困难点在输入侧，而不仅是输出侧动作维度高。高 DoF 动作空间当然难，但更关键的是，接触策略对物体局部几何高度敏感：同一个全局类别下，边缘厚度、曲率、局部法向、小尺度凹凸都会改变稳定抓取或重定向动作。

以前很多路线把问题压在 RL/IL 上：更多 demonstration、更复杂 curriculum、更大规模物体集、更好的 PPO/DAPG 调参，或者用 PointNet 把整个物体编码成一个 global latent。问题是，这些表示和控制决策之间存在错配。global shape latent 更适合识别物体或估计整体姿态，但 dexterous control 需要的是“我的这个指节附近有什么表面、距离多远、法向如何、是否适合接触”。

所以本文的关键矛盾是：策略需要局部、接触对齐、手坐标系下稳定的信息；而很多已有表示给的是全局、物体中心、对类别/姿态敏感的信息。DexRep 试图把状态空间改造成更接近 manipulation primitive 所需的信息结构。

Motivation

作者的核心观察是：多指操作虽然表面上复杂，但很多可迁移行为不是从完整物体形状中来的，而是从局部几何和手-物空间关系中来的。杯柄、边缘、薄片、柱状体、平面支撑面这些局部结构跨类别复用，远比“这个物体整体像什么”更接近策略需要的 affordance。

已有路线缺的是 interaction-centric representation。只用 hand-object distance 太弱，因为没有表面方向和局部形状；只用全局 PointNet 太粗，因为它把对接触最重要的局部表面压进整体 embedding；只用 proprioception/object pose 又基本绕开了几何适配问题。DexRep 的动机就是把“对象表示”改为“手看到的对象局部交互场”。

这里最值得注意的是，作者并不声称要学出通用视觉表征，而是主动放弃端到端视觉抽象，转向显式几何结构。这是一个很明确的 inductive bias 选择：在 dexterous manipulation 里，与其让 RL 从稀疏成功样本里自己发现接触几何，不如直接把接触相关变量组织好给策略。

Core Idea

论文真正的核心不是 occupancy、surface、local-geo 三个模块本身，而是建模坐标系和信息组织方式的改变：从 object-centric global encoding 转向 hand-centric local interaction encoding。物体不是被表示成一个待识别的整体，而是被表示成手掌/手指附近的空间占据、最近表面、表面方向和局部 patch 几何。这样策略看到的输入天然与“下一步手指该怎么靠近、闭合、调整”对齐。

这个设计引入了两个关键 inductive bias。第一，局部几何可组合：训练物体少也可能覆盖足够多局部结构，因此能迁移到全局形状完全不同的物体。第二，手坐标系下的表示降低了姿态和类别变化的干扰：策略不必学习从世界坐标/物体坐标到手指控制的复杂变换，而是直接在潜在接触区域上决策。

和 prior 的本质区别在于，它不是把更大的视觉 encoder 接到 policy 前面，也不是单纯扩大训练物体，而是把 contact-relevant state 显式结构化。它更像是在 RL 前面构造一个低维但任务对齐的 interaction manifold。

Method

方法上需要抓住三件事。

第一，粗全局 occupancy 解决的是 approach / preshape / collision context。它不追求完整形状细节，而是提供手掌附近物体大致在哪里、占据什么空间。这个设计看似简单，但很重要：它用离散化牺牲细节，换取对噪声和未知几何的鲁棒性，也避免 global point cloud latent 过度绑定物体实例。

第二，surface feature 是最接近核心贡献的部分。它把手部关键点到物体最近点的距离和法向直接暴露给策略，相当于给每个潜在接触点提供局部接触坐标。这个信号与控制目标高度对齐：闭合手指、避免穿透、寻找支撑接触都直接依赖这些量。论文 ablation 也显示它是最强的单独特征。

第三，local-geo feature 是对 surface normal 的表达力补充。法向只能告诉局部平面方向，不能表达曲率、厚度、边缘、凹槽等结构；PointNet 预训练的 per-point descriptor 试图提供这类高阶局部几何。它的作用不是替代 surface feature，而是让策略在复杂局部形状上做更细的接触适配。

训练部分基本是常规工程：grasping 用 retargeted human demo 做 BC 再 DAPG，reorientation/handover 用 PPO。这里 RL 算法不是论文主要创新，更多是验证 DexRep 作为输入表示能插入不同任务和训练范式。

Key Insight / Why It Works

最可能真正有效的是 representation alignment：DexRep 把输入变量对齐到了接触控制的因果近邻。dexterous policy 的 action 不是由物体类别直接决定，而是由手指附近的局部表面和当前 hand-object configuration 决定。DexRep 正好把这些变量显式给出，所以 RL 不需要从稀疏奖励中重新发现几何接触结构。

surface feature 应该是核心中的核心。它本质上构造了一个稀疏的 hand-centric contact field：每个关键点都有最近表面距离和法向。这比 global PointNet 更接近控制所需的 sufficient statistics。occupancy 更多负责低频空间上下文，local-geo 负责高频局部形状，两者是增强项；但如果没有 surface feature，策略很难知道“当前哪个手指即将接触什么”。

local-geo 的增益有两种可能解释。积极解释是它学到了可迁移的局部 affordance descriptor；保守解释是它利用 ShapeNet 大规模预训练提供了局部几何 coverage，本质上有一部分是 data scaling / retrieval。论文做了 pretraining scale ablation，显示数据越多越好，这说明增益并非纯粹来自结构设计。representation bias 与预训练数据覆盖的贡献没有完全分开。

DexRep 的泛化更像是“局部模式复用”，不是高级推理。它不会理解任务语义，也没有长期 planning；它只是让 policy 在局部几何相似时复用相似动作。这在 grasping 和接触密集控制中非常有效，但不要把它解读成 object-level reasoning。

另一个有效原因是抗噪声。粗 occupancy 和最近点局部特征比全局点云 embedding 更不依赖完整、干净、配准准确的点云。真实实验中 global PointNet 类方法在多相机融合点云上掉得很厉害，而 DexRep 相对稳定，这符合机制预期：全局形状 embedding 对系统性噪声敏感，局部手邻域特征更容错。

Relation To Prior Work

这篇最接近的谱系不是大视觉模型 manipulation，而是 structured geometric representation for RL。它和 DAPG/ILAD/UniDexGrasp/GeoDex 等工作的交集在于都用 RL/IL 训练 dexterous policy；差异在于本文把主要贡献放在 state representation，而不是 demonstration scale、curriculum 或 RL 框架。

相对 DAPG 式 hand-object distance，DexRep 增加了表面方向和局部几何，解决了“知道近但不知道怎么接触”的问题。相对 ILAD / PointNet global feature，它减少了物体整体 shape latent 对控制的干扰，强调局部接触区域。相对 GeoDex 这类 orientation-sensitive global encoding，DexRep 不只编码 object pose/shape，而是显式编码 hand 与 object surface 的相对交互。

看似新的三组件组合，其实很多元素是已有思想重组：voxel occupancy、nearest surface distance/normal、PointNet descriptor 都不是新模块。实质创新在于组合方式和坐标系选择：将这些几何量组织成 hand-centric、contact-centric、可插入 RL 的状态表示。这是工程上很朴素但研究上有效的贡献。

它也和 IBS、ManipNet 等 structured interaction 表示有思想联系，但 DexRep 更偏向 policy learning 所需的在线状态输入，而不是离线 grasp synthesis 或 supervised trajectory prediction。

Dataset / Evaluation

evaluation 覆盖面比较强：grasping、in-hand reorientation、bimanual handover 三类任务都验证了表示的可复用性；仿真中包含 seen/unseen、大规模物体集、不同 hand morphology、摩擦变化和 partial point cloud；真实系统验证了 Allegro Hand + arm + RGB-D 下的 grasping。整体上，这些实验确实支持论文的主 claim：hand-centric local interaction representation 比 global object representation 更适合泛化 dexterous manipulation。

最有说服力的不是某个绝对成功率，而是 ablation 的方向一致性：surface 单独很强，full DexRep 最稳；加入 global PointNet 反而可能下降；partial point cloud 下 DexRep 比 global feature 更稳；真实点云噪声下 sim-to-real gap 小。这些结果共同支撑“局部交互对齐”而不是单一 benchmark 偶然性。

但 evaluation 也有明显边界。真实世界主要是 grasping，没有真正把 in-hand reorientation 和 handover 在硬件上闭环跑起来。动态任务在现实中会遇到遮挡、延迟、追踪和控制频率问题，论文只给了 partial-observation distillation 的仿真验证，不能完全支撑真实动态 manipulation 的 claim。

此外，训练/评估物体集之间是否存在局部几何分布重叠是一个潜在问题。作者强调 40 个训练物体泛化到大量 unseen，但 local-geo 预训练使用大规模 ShapeNet，这意味着 policy 虽然没在这些任务物体上训练，表示器已经见过大量几何模式。不能简单把泛化全部归因于少量 RL 物体。

Limitation

DexRep 的核心前提是几何可观测且几何足够解释操作。它需要物体点云、法向估计、手部关键点位姿和最近点查询。如果深度传感不可靠，例如透明、反光、黑色、细长结构、严重遮挡物体，表示会直接退化。论文承认了这点，但这不是小问题，而是方法边界。

泛化的上限来自局部几何假设：如果任务需要语义、功能部件识别、长程规划、物体内部状态或非局部约束，DexRep 可能不够。它能复用局部接触模式，但不等于理解对象用途。所谓 general-purpose manipulation 仍主要停留在几何接触层面。

增益归因仍不完全清楚。DexRep 同时引入了更好的 inductive bias、更大的局部几何预训练数据、更强的特征工程和不同训练管线。虽然 ablation 做得比较充分，但 local-geo 的收益到底来自局部建模还是 ShapeNet coverage，文中未充分说明。pretraining data 越大越好这一点说明 scaling 是收益的一部分。

另一个限制是计算和工程依赖被低估了。实时最近点、法向估计、点云分割、多相机/单相机校准、CAD 注册或 partial policy distillation 都是系统复杂度。论文主叙事强调 representation 简洁，但真实部署并不是只换一个 policy input。

对于动态 in-hand 和 handover，真实部署缺失是硬伤。仿真中 partial point cloud distillation 表明可能可行，但现实里的手指遮挡、快速物体运动、触觉缺失和 latency 会显著改变问题。这里的 claim 应该保守理解为“DexRep 在仿真动态任务有效”，不是已经证明真实动态 dexterous manipulation 可行。

Takeaway

  • 1. dexterous manipulation 的泛化不一定首先靠更大 policy 或更多 RL object，状态表示是否和接触因果变量对齐更关键。
  • DexRep 的价值在于把 policy input 从 object recognition space 拉回 contact control space。
  • 2. hand-centric local geometry 是一个很强的 inductive bias。
  • 对很多 manipulation 任务，局部几何模式比全局物体 embedding 更可迁移；未来的表示学习如果忽略手-物相对结构，很可能在样本效率和 sim-to-real 上吃亏。

一句话总结

DexRepNet++ 是一篇把 dexterous manipulation 的泛化瓶颈从 RL 算法转向 hand-centric contact representation 的工作，真正贡献是用局部几何和空间邻近关系重构 policy state，而不是简单扩大数据或换一个视觉 encoder。