精读笔记

Problem Setting

这篇论文的真实问题不是“让不同灵巧手模仿同一段轨迹”，而是“让不同灵巧手在接触闭环中执行同一种抓取策略”。已有 cross-embodiment dexterous manipulation 多数解决的是 pose/action space mismatch：用 MANO、contact map、morphology embedding、latent action 等方式让不同手能表达类似的手形。但抓取是否稳定，尤其是易碎、易滑、可变形物体，关键变量不是手形本身，而是每根手指对物体施加了多少 load、load 分布在哪里、是否接近滑落或压坏阈值。

困难点在于 force/contact signal 天然是 embodiment-specific 的：不同手的电机电流、扭矩估计、欠驱动耦合、非回驱/自锁结构、传感延迟和摩擦都不同。raw effort 不能直接作为跨手 observation；视觉又常被手指遮挡，特别是在抓取已经发生之后，最关键的接触状态反而不可见。所以任务的关键矛盾是：跨 embodiment 需要抽象掉硬件差异，但 compliant grasping 又必须保留硬件-物体交互中的物理细节。论文试图解决的就是这个矛盾。

Motivation

已有路线不够的根本原因是它们主要迁移 motion，而不是 contact regulation。一个 pose-only policy 可以把手闭合到一个看起来合理的形状，但它不知道物体是否已经被足够支撑，也不知道是否过度夹持。对于刚性、大尺寸、高摩擦物体，这种缺陷可能被数据覆盖或机械余量掩盖；对于 marker、egg、bun、stacked cups 这类窄容差物体，pose correctness 和 grasp success 之间的差距会被放大。

作者的核心观察是：如果跨手策略要真正迁移 compliant skill，force feedback 必须和 motion 一样被放到共享坐标系里。缺口不是再训练一个更大的 VLA，也不是引入更多视觉增强，而是把 hand-specific effort proxy 转换成具有物理意义的 contact state。这个方向的直觉很强：力矩、力和 load distribution 至少比电机命令、电流或 tactile latent 更接近跨硬件不变量。

Core Idea

论文真正改变的是建模对象：从“跨手共享动作表示”扩展到“跨手共享力-位姿接口”。motion intent 用 MANO latent 表达，仍然沿用人手参数化/retargeting 的传统路线；contact 则通过系统辨识把每个手的 native effort 映射到物理 joint torque，再进一步变成 fingertip force 和 torque-distribution descriptor。这样 policy 的输入不再是某个手自己的传感读数，而是一个近似物理化、可比较的 contact state。

这个 inductive bias 很关键：它没有让神经网络从 demonstrations 中自己发现“哪些 effort pattern 等价”，而是把等价关系用物理标定提前写进接口。相比学习 per-hand encoder/decoder，这更 sample-efficient，也更可解释；相比纯 tactile latent，它更容易跨传感器和跨 actuator 对齐。更重要的是，同一 calibrated signal 同时驱动 controller 和 condition policy，避免了 imitation learning 中常见的 observation-action semantics mismatch。

Method

第一，MANO latent 解决的是 kinematic alignment。不同手的 DoF、指长、关节布局不一致，policy 直接输出 native joints 会把 embodiment identity 强行编码进 action。MANO latent 把动作压到近似人手姿态流形，再由每个手自己的 retargeting map 解码到 native joints。它的作用是把“我要形成什么 grasp shape”从硬件细节中抽离出来。

第二，calibrated contact channel 解决的是 force observability alignment。每个手通过外部六轴力传感器标定 native effort 到 joint torque 的映射，再从 torque 中读出两类信息：fingertip net force 给出加载强度，spatial torque descriptor 给出 load 沿手指分布的位置线索。后者很重要，因为真实接触不总在 fingertip；只用 Jacobian 反推 fingertip force 会把非指尖接触错误压缩成一个末端力。

第三，one-sided hybrid force-position controller 解决的是执行侧的安全和一致性。policy/teleop 给出闭合参考，controller 只在 torque 超过目标时做 opening retreat，而不会因为力误差反向主动夹得更深。这对非回驱或自锁手尤其重要：它把 contact regulation 做成一个保守的 release-only correction，避免 admittance 式双向响应把物体压坏。

第四，MARC 的 mask-aware flow matching 解决的是视觉不可用时的策略退化问题。训练时随机 mask patch 或整路相机，让 policy 不把 object state 完全绑定到视觉，而学会在 grasp-relevant occlusion 下依赖 proprioception/contact。这里 flow matching/DiT 更像现代 visuomotor policy 的载体；真正的机制价值在于接触条件化和 sensor dropout bias，而不是生成模型形式本身。

第五，长时程任务不是端到端学出来的，而是 MARC 负责 reach-and-lift，transport 和 handover 用 model-based regulator/state machine。这个设计务实，但也意味着论文的 learned component 主要覆盖接触建立阶段，而不是完整长时序 manipulation policy。

Key Insight / Why It Works

最可能真正有效的部分是 representation alignment，而不是 architecture scaling。论文把跨手迁移中最难的 contact feedback 从 hand-specific sensor domain 映射到 physical torque/force domain，显式降低了 policy 需要学习的 equivalence class。换句话说，模型不用从少量 demonstrations 里推断“Wuji 的某个 effort pattern 等价于 Inspire 的哪个 effort pattern”，这个对应关系已经由系统辨识给出。

第二个有效点是把 contact feature 同时用于 policy observation 和 controller feedback。这减少了 distribution shift：示教时 operator 的动作在同一个 force-position controller 下被执行，部署时 policy 也在同一个 contact semantics 下闭环。很多 imitation 方法失败不是因为 policy 表达力不够，而是训练数据里的 contact dynamics 和部署控制器里的 contact dynamics 不一致；这篇用统一接口缓解了这个问题。

第三，spatial torque descriptor 是一个小但有价值的设计。它承认 fingertip force 是过度简化的接触表示，用 torque 分布近似编码接触沿手指的位置。这不是完整 tactile map，但在没有高分辨率触觉皮肤的情况下，是一个低成本的 contact localization proxy。它的 inductive bias 比纯 latent tactile 更硬，但也更稳定。

MARC 的 mask-aware training 可能是辅助增益。它确实符合抓取中 self-occlusion 的问题结构，但实验里 contact ablation 掉到 baseline 附近，说明主要贡献不是 masking 或 DiT。flow matching、长 action chunk、ResNet/DiT backbone 很可能是 engineering choice；它们让系统 work，但不是论文的不可替代思想。

需要保持怀疑的是：性能提升是否部分来自 controller 而非 policy。因为 calibrated torque 同时进入 controller 和 policy，ablation 若只去掉 policy contact channel但保留某些控制侧机制，增益归因会复杂。文中给出的 ablation 支持 contact channel 重要，但没有完全拆开“contact as observation”和“contact as low-level control”的贡献。另一个疑点是 zero-shot Wuji 15：它更像同一手系内 DoF mask/config 变化，而不是强 morphology shift；不能过度解读为通用跨硬件迁移。

Relation To Prior Work

它最接近两条线：一条是 CrossDex / XL-VLA / latent action diffusion 这类跨 embodiment latent action 或 MANO retargeting；另一条是 tactile/force-informed dexterous manipulation。与第一条线的本质差异是：prior 对齐的是 motion/action，而这篇对齐 contact feedback。与第二条线的差异是：prior 通常把触觉作为 sensor-specific modality 或 learned latent，这篇试图把它变成物理单位下的 torque/force representation。

看似新的部分里，MANO latent、DexPilot-style retargeting、DiT/flow matching、visual masking、hybrid force-position control 都不是概念上全新；它们是已有组件的合理重组。实质创新在于把 per-hand effort calibration 提升为 cross-embodiment interface 的一等公民，并进一步用 torque distribution descriptor 弥补 fingertip-only force 的不足。

从技术谱系看，这不是 foundation-model scaling 路线，也不是纯端到端 visuomotor learning。它更像 model-based physical interface + learned residual/contact-sensitive primitive 的路线：用物理标定和控制器先定义可迁移坐标，再让 policy 在这个坐标里学习高维感知到动作的映射。这种路线的优势是 sample-efficient 和部署稳定；代价是每个新硬件都需要工程化接入。

Dataset / Evaluation

评估是真机、多手、多物体，覆盖刚性、易滑、易碎和可变形 tabletop objects，这比纯仿真或单手设置更能支持论文的核心 claim。尤其 marker、egg、bun、stacked cups 这类物体确实需要 force regulation，因此比普通 pick-and-place 更能检验 contact-aware 表示是否有用。

但 evaluation 的边界也很明显。首先，任务主要是 reach-and-lift 及其与 transport/handover primitive 的组合，不是开放式长时程灵巧操作。长期任务成功很大程度依赖 VLM keypoint + deterministic state machine + model-based controllers，而不是 MARC 自己学到长期状态建模。其次，跨 embodiment 的范围有限：三种配置中 Wuji_12 是禁用手指的变体，Wuji 15 zero-shot 也可能与训练手共享大量机械结构；Inspire 虽然结构不同但仍在同一实验平台和相似任务分布内。

实验基本支持“calibrated contact improves compliant grasping across tested hands”，但还不足以支持更强的“general cross-embodiment dexterous manipulation”说法。它验证的是受控硬件集合、受控物体集合、受控任务阶段中的 transfer。

Limitation

最大限制是方法把泛化问题部分转移到了系统辨识。每个新手都需要 per-finger calibration，且 calibration 质量直接决定 policy observation 和 controller target 的可靠性。这不是 plug-and-play cross-embodiment；它是“只要你愿意为每个 embodiment 建一个物理接触接口，就可以共享上层策略”。

第二，contact representation 的物理假设并不总成立。Jacobian-based fingertip force 假设接触可等效到指尖净力；torque descriptor 虽然处理了非指尖接触，但仍是非常低维的压缩。多点接触、分布式软接触、强摩擦耦合、物体表面滚动、关节耦合手的内力模式，都可能让这个 representation 变得 ambiguous。文中未充分说明这些情况下 torque descriptor 的可辨识性。

第三，控制增益仍然 hand/task-specific。论文承认 kp、ki、kd、retreat limit 等需要调，这意味着跨手的一部分负担仍在人工工程调参。对于更复杂物体或动态 manipulation，手动 gain tuning 可能成为主要瓶颈。

第四，所谓 long-horizon pipeline 不应被解读为端到端规划能力。VLM 只做 keypoint grounding，状态机负责 phase dispatch，transport/handover 是手写 controller。这里没有形成真正的长期 contact reasoning；更像是把一个强 reach-and-lift primitive 嵌进传统 task-level scaffold。

第五，增益归因仍有不完全清晰之处。contact channel、视觉 masking、长 action horizon、controller consistency、示教质量都可能相互作用。论文给了有用 ablation，但还没有完全拆开哪些提升来自 representation，哪些来自控制器安全边界，哪些来自更合适的 data collection/execution interface。

Takeaway

• 1. 跨 embodiment dexterous manipulation 下一步不能只对齐 action；contact feedback 也必须被显式对齐。
• 物理单位下的 torque/force representation 是一个比 learned sensor latent 更稳的起点。
• 2. 对 compliant grasping，最有价值的 inductive bias 往往不是更大的 visuomotor model，而是把不可见的交互状态用可校准的物理信号暴露给 policy。
• 3. 统一训练和部署的 contact semantics 很重要。

一句话总结

《Transferring Contact, Not Just Motion》把跨灵巧手迁移从 pose/action alignment 推进到 calibrated contact alignment，是一篇以物理接触接口为核心、用学习策略承接感知复杂性的 cross-embodiment compliant grasping 工作。