精读笔记
Problem Setting
这篇论文不是在做一般的视频理解，也不是直接从人类视频学 policy；它实际解决的是一个数据编译问题：把 everyday monocular RGB human videos 编译成 dexterous robot hand 可执行的 manipulation trajectories。
关键困难在于单目人类视频天然缺三类机器人需要的信息：metric geometry、contact state / force、robot embodiment action。手和物体的 3D 关系在视觉上高度歧义，尤其接触和遮挡很难区分；而灵巧手操作又极端依赖毫米级接触几何和动力学稳定性。也就是说，输入数据最丰富的地方，恰好缺失机器人执行最敏感的信息。
以前方法卡在两端：重建端依赖深度、MoCap、已知 mesh、干净实验室视频或封闭物体类别；retargeting 端通常假设 reference 足够干净，或者用 kinematic retargeting 避开接触物理。本文面对的是更糟的 reference：单目估出来的手和物体可能尺度错、深度错、时序抖、接触错。核心矛盾是：如何利用互联网规模的弱观测数据，同时不让弱观测误差在接触-rich retargeting 中直接导致失败。
Motivation
已有路线不够的原因很直接：teleoperation / exoskeleton / MoCap 数据质量高但规模小，simulation exploration 可规模化但任务和 reward 设计贵；互联网视频规模大但不是机器人经验数据。真正缺的是一种把 observational data 转成 experiential robot data 的中间编译器。
作者的核心观察是，近几年两个独立进展刚好可以拼起来：视觉 foundation models 已经足够强，可以从单目 RGB 中给出手、物体、深度的可用结构化估计；GPU 并行物理仿真和 sampling-based optimization 已经足够快，可以在 test time 把 noisy reference 投影成动态可行轨迹。换句话说，不必等待一个端到端模型直接从视频输出动作，可以把问题改写成“视觉先验 + 物理先验”的离线推断。
关键缺口在于 prior work 往往只解决链条的一段：要么从视频中学 representation，要么在干净 reference 上做 retargeting，要么在受限数据源上做 hand-object reconstruction。本文试图把最难但最有价值的组合打通：in-the-wild monocular RGB → open-object 4D reconstruction → dexterous real-world rollout。
Core Idea
论文真正的核心思想是：不要把 human video imitation 看成直接模仿人类关节轨迹，而是把视频先转成一个 noisy hand-object reference，再用机器人自己的动力学和 embodiment 去“解释”这个 reference。这个解释过程不是单纯 tracking，而是一个物理可行性投影：保留视频中与任务相关的物体运动和接触阶段，允许机器人用不同的手形、接触和控制来实现。
这引入了两个重要 inductive bias。第一，物体是任务状态的核心载体，手更多是实现物体状态变化的介质；因此 reconstruction 和 retargeting 都围绕 hand-object relation，而非逐点复制人手。第二，开放物体 tracking 不靠传统 discriminative tracker 的 frame-to-frame visual lock，而靠 image-to-3D generative prior 的 latent consistency：固定 shape、软约束 pose，让生成模型在遮挡和模糊下仍倾向于合理 3D 解释。
和 prior 的本质区别在于，本文不是假设 perception 已经给出可靠 reference，而是在 retargeting 设计中正面承认 reference 很脏。warmup、随机扰动、transition reward 的作用就是把“重建误差”显式纳入 trajectory optimization 的鲁棒性需求。这使它比依赖干净 MoCap 或类别特定重建的方法更 scalable，也更适合真实互联网视频。
Method
方法的必要机制可以概括为三点。
第一，object tracking via guided diffusion：它解决的是 in-the-wild object pose tracker 在遮挡、motion blur、低分辨率下容易丢锁的问题。作者利用 SAM3D 的 shape-pose joint latent，把每帧独立生成改成带时序约束的 pose sampling：shape 固定到 anchor，pose 被前一帧软引导。这不是训练新 tracker，而是在 inference 过程中向生成模型注入刚体一致性和时间连续性。核心变化是从“视觉匹配式跟踪”转向“生成先验约束下的逐帧重解释”。
第二，hand-object alignment：它解决的是手模型、物体模型、单目深度各自尺度不一致的问题。这里把 hand reconstruction 当作近似 metric anchor，用 MoGe pointmap 中的 hand-object 相对位置估计物体 translation scale。这个步骤很工程，但在机制上不可缺，因为后续接触优化对相对深度极敏感。文中未充分说明该对齐在极端遮挡或 hand-object 距离歧义下的稳定性。
第三，dynamics-aware retargeting for noisy references：它解决的是 kinematic retargeting 无法保证 grasp stability 和 contact feasibility 的问题。warmup 让机器人先找到可抓的初始状态，而不是被第一帧错误接触毁掉；random perturbation 把短期 tracking 解推向更鲁棒的接触；transition reward 用离散阶段约束补上连续 tracking reward 对 pick/place 转换不敏感的问题。核心变化是把 retargeting 从轨迹拟合变成带鲁棒接触条件的物理搜索。
Key Insight / Why It Works
最重要的 insight 是：对于从互联网视频生成机器人数据，perception 不需要完美，但必须给出足够好的 object-centric reference；随后用 physics optimizer 在机器人 embodiment 中补全接触和控制。这等于把不可观测的 force/contact 从视觉问题转移到物理推断问题中。这个转移是合理的，因为接触可行性本来就更适合由 simulator + robot model 约束，而不是从单目 RGB 中直接估计。
最可能的核心贡献有两个。第一是 SAM3D latent guidance 做 object tracking：它利用了 3D generative foundation model 的隐式 shape/pose prior 和遮挡鲁棒性，把开放物体 tracking 的问题从模板匹配转成 posterior sampling。这属于 test-time compute + latent structure reuse，不是单纯 scaling。第二是面向 noisy reference 的 retargeting tweaks，尤其 warmup。表 3 中 reconstructed reference 上从 baseline 到 +warmup 的跃升说明主要失败模式不是优化器不会跟踪，而是初始接触状态和前几步 reference 太脏；warmup 本质上是一个 curriculum / reset-state search。
random force perturbation 更像鲁棒化 regularizer，定量增益不大但可能提升真机可播放性；transition reward 是接触阶段的弱监督，属于把连续 tracking objective 离散化补丁。它们重要但不像 warmup 那样是主要增益来源。候选 pose clustering、adaptive guidance 等更多是工程上让 pipeline 可扩展、可跑大量视频的关键，但科学贡献相对次一级。
这篇的有效性很大程度来自 representation alignment：视觉端输出的是 hand-object trajectory，物理端优化的也是 object pose / hand pose tracking，两者共享结构化状态接口。相比端到端从 pixels 到 actions，这种中间表示损失了场景语义，但大幅降低了跨 embodiment 的学习难度。
需要直接指出：所谓从 everyday videos 学会 manipulation，并不等于系统理解了任务意图。很多能力可能来自视觉 foundation model 的先验、仿真搜索和人工过滤后的数据覆盖。planner 没有形成长期状态建模，更多是在给定 reference 下做短 horizon trajectory repair。泛化目前是 pipeline 泛化，不是 policy 泛化。
Relation To Prior Work
这篇最接近的是结构化 human-video-to-robot retargeting 系列，而不是 video representation pretraining 或 VLA。和 DexMV / DexImit / DexMan / VideoManip 等相比，它的本质差异在两个点：数据源更开放，包括 internet、egocentric、generated videos；retargeting 明确面向 noisy reconstructed references，而不是依赖较干净的人体/物体轨迹。
和 FoundationPose / Any6D 这类 object tracker 相比，本文的新增信息不是 6D pose formulation，而是把 image-to-3D generative model 当作 tracker prior 使用。传统 tracker 通常在 visual evidence 退化时 drift 或 lost lock；这里通过固定 shape latent 和 previous-pose guidance，让 tracker 在视觉不足时靠生成先验维持合理解释。这是实质创新。
和 SPIDER 等 scalable physics-informed retargeting 相比，本文不是发明全新的 sampling optimizer，而是把 optimizer 改造成能处理脏 reference 的版本。warmup、扰动、transition reward 都是围绕 reconstructed-video setting 的补丁式但有效创新。看似新的一些地方其实是已有思想重组：domain randomization 风格扰动、curriculum-like warmup、contact-stage reward 都不新；新在于它们被组织进 human-video reconstruction pipeline，并解决了这个 setting 中最致命的失败模式。
整体上，它属于“foundation perception + test-time physical optimization”的技术谱系，而不是端到端 robot learning。它推动的是数据生成基础设施，而不是控制策略本身。
Dataset / Evaluation
evaluation 覆盖了三层：标准 hand-object reconstruction benchmark、in-the-wild object tracking human preference、retargeting benchmark / reconstructed references，以及少量真实机器人 rollout。这个设计基本对应了论文的核心链条，因此比只报视觉指标或只展示视频更有说服力。
标准 benchmark 说明 object reconstruction/tracking 在已有标注数据上不差；in-the-wild human preference 更贴近论文 claim，因为真实目标是 everyday videos。不过 human preference 仍主要评估 2D reprojection/pose consistency，不能完全证明 3D contact geometry 正确。对于灵巧操作来说，视觉上看起来对的 object pose 不一定足够接触可用。
retargeting evaluation 的 reconstructed reference dataset 很关键，因为 clean MoCap 上成功并不能说明能处理互联网视频噪声。结果显示 warmup 等组件确实针对 noisy reference 有效。OakInk2 上也提升，说明这些机制不是只对坏数据过拟合，但它仍是 offline metric，不等价于真机成功率。
真实世界部署是本文 claim 的重要支撑：至少证明 pipeline 输出不是纯仿真 artifact，可以在真实 Sharpa Wave + UR3e 上播放多类动作。但文中展示更接近 curated demos，没有系统报告真机成功率、失败分布、人工干预量和对 downstream policy training 的影响。因此它支持“可生成可执行轨迹”的 claim，但还不足以支持“互联网视频可作为机器人学习主数据源”的强 claim。
Limitation
最根本限制是 hand-object-only rigid-body assumption。许多真实 manipulation 的意图来自 scene relation：工具接触桌面、容器约束、铰接机构、障碍物、支撑面、液体/颗粒/柔性物体。这篇只重建手和一个刚体物体，因此遇到 scene-mediated task 时会把关键因果变量丢掉。比如 cutting、pouring、stirring、hammering 这类任务的语义不只在手和物体运动中，而在物体与环境或被作用对象的交互中。
第二个限制是单目深度和 contact ambiguity。论文承认很难区分接触和视觉遮挡，但这其实是核心瓶颈：retargeting 可以修正一部分物理不可行 reference，但无法知道人类到底是否接触、何时施力、目标约束是什么。transition reward 用 hand-object distance 阈值定义阶段，这在很多细粒度操作中会很粗糙。
第三，scalability 并不像“互联网视频无限可用”那么乐观。100DOH 过滤分析显示真正可用片段比例很低，这意味着数据规模优势会被 filtering、reconstruction failure、人类验证和 test-time optimization 成本大幅折损。可能主要来自 scaling / data 的部分在于：只要过滤足够多视频，总能找到适合当前 pipeline 的动作；但这不等于 pipeline 对任意视频鲁棒。
第四，真机 deployment 仍有人工和工程桥接：需要手动 align 初始 pose 到机器人 workspace，需要 simulation validation，需要 IK 映射到 arm-hand setup。这说明系统还不是 fully automatic internet-video-to-robot-data factory。文中未充分说明人工筛选和人工对齐在最终成功中的贡献。
第五，物理仿真本身是上限。灵巧手接触、摩擦、软指腹、物体 mesh convex decomposition、2mm dilation 等都会影响结果。optimizer 可能学到 simulator-friendly contact，而真机上需要低速播放和 curated tasks 才稳定。这里存在明显 sim-to-real gap。
Takeaway
- 1. 这篇最值得记住的是范式：把人类视频转机器人数据，不必端到端学 action；可以先抽取 object-centric 4D reference，再用机器人动力学做可行性投影。
- 这比直接模仿人手轨迹更可迁移。
- 2. 对 noisy reference 的 retargeting 可能会成为后续 human-video robot learning 的核心组件。
- 真实互联网视频永远不会给干净 MoCap，因此优化器需要被设计成 reference repair，而不是 reference tracking。
一句话总结
Do as I Do 是一篇把 foundation 级 3D perception 和 dynamics-aware test-time optimization 组合成 human-video-to-dexterous-robot-data 编译器的工作，真正贡献在于让 noisy monocular everyday videos 首次较系统地进入可执行灵巧操作数据生成链。