精读笔记

Problem Setting

【GenHOI: Contact-Aware Humanoid-Object Interaction by Imitating Generated Videos without Task-Specific Training】（arXiv preprint / 2026）

这篇论文实际处理的不是一般意义上的“从视频学机器人动作”，而是更窄也更尖锐的问题：给 humanoid 一个当前物体场景和语言命令，能否不训练任务策略、不采集物理示教，直接利用一次生成视频产生可执行的 loco-manipulation 行为。

真正困难点在于 humanoid HOI 的误差放大链条很短：root trajectory 偏一点，手就接触不到物体；手接触点偏一点，物体就不能形成稳定受力；接触失败又会反过来破坏身体平衡。固定机械臂场景里可以容忍的 video-to-trajectory noise，在 humanoid 上会直接变成 collision、missed contact 或跌倒风险。

以前方法主要卡在两个端点：task-specific policy learning 有执行鲁棒性但每个任务都要数据、reward、训练；trajectory replay / video imitation 成本低但几何对齐差，尤其不能适应 robot-object relative pose 改变。本文抓住的关键矛盾是：生成视频提供了丰富 interaction prior，但它的 metric geometry 不可信；机器人执行需要精确几何接触，但不一定需要从头学习完整策略。

Motivation

作者不满足于现有路线的原因很直接：RL / imitation policy 的泛化来自训练分布，新增物体或接触构型仍然要付出任务级成本；而直接从 generated video 恢复 motion 的方法把视频当作可执行计划，默认生成视频和真实场景在尺度、视角、物体位置上是一致的，这在 humanoid interaction 中基本不成立。

核心观察是：视频生成模型现在已经能生成“看起来合理”的交互过程，尤其能给出人/机器人应该从哪里接近、用哪只手、接触物体哪个区域这类 affordance-level cue。但这些 cue 不是 metric plan。缺的不是又一个大策略模型，而是一个中间层：把 generated video 里的 contact semantics grounding 到真实物体坐标系，并在执行前用几何优化修正轨迹。

因此这篇论文的动机可以理解为：不要让生成模型负责物理精度，让它只负责提出交互假设；不要让控制器推理任务语义，让它只负责稳定跟踪；中间用 object-centric constraints 把两者接起来。

Core Idea

论文真正的核心思想是：把 generated video 从 full trajectory demonstration 转化为 contact-aware action prior。视频不是被逐帧忠实模仿，而是被解析成“何时发生接触、双手应接触物体哪里、最终身体大概要处在什么构型”。这些信息再通过已知物体几何和当前物体 pose 转成约束，驱动一个 test-time trajectory refinement。

这和 prior 的本质差别在于，它不把 video recovery 的 3D pose 当作最终答案。ExoActor / Dream2Act 这类路线更像 video-to-motion-to-control；GenHOI 则是 video-to-contact-prior-to-object-grounded-optimization-to-control。这个改变引入了一个很强的 inductive bias：对 HOI 来说，真正需要跨场景保持不变的不是世界坐标里的 root path，而是相对于物体的接触关系。

直觉上它可能有效，是因为很多搬、抱、抬、扶类任务的成功由低维接触几何决定。只要接触区域对、末端姿态大体合理，底层 humanoid tracking controller 可以补足大量动态细节。换句话说，本文把泛化从“学习一个覆盖所有 pose 的策略”改成“每次根据当前物体 pose 重解接触约束”，这是一种 test-time compute 换泛化的设计。

Method

方法层面值得保留的机制只有几项。

第一，sim-rendered first frame 是为了让视频生成从当前机器人-物体相对位姿出发，而不是依赖外部相机拍到的任意视角。它解决的是 generation conditioning 与 deployment state 的对齐问题。这个设计不深，但很实用：它把 onboard perception、digital twin 和 video generation 接到同一坐标假设下。

第二，contact-aware extraction 解决的是 generated video 的 metric 不可信问题。作者不试图恢复整段高精度 3D motion，而是找 terminal interaction frame，并把手的位置投影/修正到物体 mesh 上。这一步的核心变化是：视觉 cue 被转成 object-surface constraint，而不是保留为 image-space observation。

第三，geometry-guided optimization 解决的是直接 replay 无法适应当前物体 pose 的问题。优化变量只包括 root pose、waist pitch 和上肢关节，目标是让双手满足修正后的 contact pose，同时保留原视频动作的正则。这实际上是一个轻量的 contact IK + terminal retargeting，而不是完整 whole-body trajectory optimization。

第四，trajectory smoothing 和 closed-loop tracking 解决的是可执行性边界。论文没有自己解决 humanoid balance/control，而是复用通用 tracking controller。这里应当明确：动态稳定性能力主要来自底层 controller，而不是 GenHOI 的几何优化本身。

Key Insight / Why It Works

最重要的 insight 是：在当前视频生成模型还不具备可靠物理一致性的阶段，直接相信其轨迹是错误抽象；但相信其接触意图可能是合理抽象。GenHOI 的有效性来自这种信息降维：从高维、噪声大的 generated motion 中抽取低维、任务相关、可被物体几何验证的 contact constraints。

最可能的核心贡献是 object-centric contact grounding，而不是视频生成本身。视频模型提供的只是候选交互模式；真正让系统能跨物体距离泛化的是把 terminal hand contact 绑定到当前 object pose，再用 IK/optimization 更新 root 和 upper body。这个机制本质上属于 better inductive bias + test-time compute，而不是端到端 learning breakthrough。

哪些部分可能只是辅助：VLM key-frame selection、Depth Anything、VitPose、GVHMR、Seedance 2.0 都是强现成模块堆叠。它们提高系统可用性，但不是概念上的核心。视频模型越强，结果越好，这说明性能有相当部分来自 scaling / data coverage；所谓“从生成视频推理动作”更像从大规模视频先验中 retrieval 一个 plausible interaction pattern，再由几何后处理使其可执行。

inward bias 是一个典型 engineering heuristic：它承认视频没有力信息，于是人为让双手向内压一点来增加接触鲁棒性。这对 bimanual holding 有用，但不是物理建模。它也暴露了方法上限：系统没有真正估计 contact force、friction、object dynamics，只是在位置控制下制造更可能接触的几何配置。

另一个关键判断是：本文的泛化不是 semantic-level open-world generalization，而是在已知物体、已知 mesh、可估 pose、短时任务内的 pose generalization。这个泛化很有价值，但不能过度解读为生成模型已经具备可部署的 humanoid planning 能力。

Relation To Prior Work

最接近的技术谱系是 generated-video-to-robot-action，包括 Dream2Act、ExoActor、RIGVid 这类直接从生成视频提取轨迹/目标的工作。GenHOI 的实质不同在于不再把视频几何当作 ground truth，而是引入 contact-aware object-centric constraints 做 test-time correction。这是本文相对这些工作的真正新增信息。

和 HDMI / OmniRetarget / HumanX 这类 human video imitation + policy training 路线相比，GenHOI 放弃任务策略训练，依赖通用 tracking controller 和一次性生成视频。它的优势是低任务成本，劣势是缺少通过 RL 学到的接触鲁棒性和力交互能力。

和 Pro-HOI / task-specific humanoid loco-manipulation RL 相比，它没有学习长期闭环策略，也没有通过 reward/curriculum 解决复杂接触；它更像一个规划-优化-跟踪 pipeline。看似新的是“imitating generated videos”，但拆开看是已有组件的重组：digital twin rendering、video generation、monocular pose recovery、VLM keyframe selection、depth lifting、IK refinement、tracking controller。实质创新在于把这些组件围绕 contact grounding 组织起来，并明确把 generated video 的作用限制在 interaction prior。

Dataset / Evaluation

评估覆盖四类物体和不同接触模式：箱子双手抓取、椅子非对称搬运、桌子从下方抬起、圆柱环抱。这个覆盖比单一 fixed-base manipulation 更有说服力，且包含 MuJoCo 和 Unitree G1 真机实验，能证明 pipeline 至少不是纯仿真效果。

对核心 claim 的支持较强的是 ablation：去掉 contact detection 后性能下降，说明准确 contact localization 确实是关键；与 ExoActor 类直接轨迹 imitation 对比，也支持“video geometry 不可信，需要 object-grounded correction”的论点。OOD distance 实验支持 pose retargeting，但主要是距离维度上的变化，尚不足以证明复杂几何、遮挡、不同 affordance 或多阶段任务的泛化。

evaluation 的明显限制是任务仍偏短时、准静态、成功标准相对简单，多数任务只需在末端形成接触并抬起一小段时间。真实世界结果是有价值的 demonstration，但没有系统分析失败模式中的 perception error、controller error、video generation error 各自占比。增益来源不清：更强视频模型、contact refinement、底层 controller、物体 mesh 先验都可能贡献很大。

Limitation

第一，方法严重依赖已知或可用的 object mesh 和可靠 6D pose estimation。没有 mesh，contact projection 和 object-centric grounding 就很难成立；pose 错了，优化会把手精确地送到错误位置。

第二，生成视频必须足够“像”。如果视频出现物体形变、手穿模、接触前物体移动、视角漂移或遮挡，后续模块没有真正的物理一致性检查。文中通过比较不同视频模型显示了这一点：强模型明显更好，因此核心能力可能主要来自视频生成模型的数据覆盖和 scaling。

第三，系统没有显式 contact dynamics。terminal contact IK 不能保证接触力、摩擦、稳定 grasp、负载转移或物体运动轨迹。对于推、拉、旋转、开门、工具使用、非刚体操作、多阶段交互，这种单 terminal contact constraint 很可能不够。

第四，所谓 zero-shot 有隐藏监督和强基础设施：FoundationPose、Depth Anything、GVHMR、VLM、Seedance、Sonic controller 都是预训练/预工程化能力。论文没有训练任务策略，但不是从空白系统中产生技能。

第五，泛化可能主要是 pose-level steering，不是 task-level compositional reasoning。系统并没有形成长期状态模型，也没有根据执行反馈重新规划 contact sequence。若执行中物体滑动、接触失败或姿态变化，当前 pipeline 的闭环主要在 base localization / tracking，而不是 interaction-level replanning。

第六，benchmark 可能偏向该方法假设：刚性物体、可见接触、双手终端抓持、短时 lifting。对于不可见接触面、需要触觉探索、需要精细手指操作的场景，方法上限会迅速显现。

Takeaway

• 1. 生成视频在机器人里更可靠的用法，短期内可能不是直接输出动作，而是输出 affordance/contact prior；再由几何、控制和物理约束做 grounding。
• 2. 对 humanoid HOI，object-centric contact representation 比 world-frame trajectory 更可迁移。
• 把 reference motion 和 current object pose 解耦，是这篇最值得迁移的设计。
• 3. 这条路线未来的关键不是再堆一个更大的 video model，而是加入 contact sequence、force-aware optimization、execution-time failure detection 和 closed-loop replanning。

一句话总结

GenHOI 是 generated-video-to-humanoid-action 谱系中一次重要的抽象修正：它不把生成视频当可执行轨迹，而把它当接触先验，并通过 object-centric 几何优化把大模型的视觉先验转成短时 humanoid-object interaction。