精读笔记
Problem Setting
Human2Any 解决的不是传统意义上的“从人类视频学机器人动作”，而是一个更窄也更关键的问题：如何把人类视频里的物体交互结构转成不同机器人在不同场景中可执行的操作。真正困难点在于 transfer interface 的选择。人类视频提供的是丰富的任务经验，但机器人执行受限于抓取、IK、碰撞、workspace 和当前场景几何；这些约束不是视频里直接给出的，也不随 object motion 自动满足。
以前路线的问题在于耦合过重。BC / visuomotor policy 把任务、场景、机器人动作混在一个 action distribution 里，泛化很依赖 embodiment-aligned data；retargeting 试图把人动作搬到机器人上，但 hand-arm morphology mismatch 使它天然脆弱；object flow / point tracks 虽然更接近 transferable signal，但通常仍要翻译成动作，缺少部署时的 feasibility reasoning。本文抓住的关键矛盾是：最可规模化的数据在人类视频中，最关键的可行性却只在机器人部署上下文中定义。
Motivation
作者的动机可以概括为：现有方法缺少一个明确分离“可迁移交互知识”和“机器人侧执行约束”的中间层。人类视频中的人手动作并不稳定，也不应被当成监督目标；稳定的是物体之间如何相对运动、什么时候接触、最后状态如何变化。这个观察并不新，但本文把它推进到一个更强的系统假设：只要 object-object interaction prior 足够好，机器人侧可以通过 grasp prior、motion planning 和 feasibility scoring 在测试时补全执行细节。
因此这篇论文不是在追求一个更大 policy，而是在补 human-video learning 和 TAMP/constraint solving 之间的缺口。它的核心动机是避免让学习模型背负不该学习的东西：机器人可达性、碰撞和 grasp feasibility 不应被压进人类视频 prior，而应在 deployment 时显式求解。
Core Idea
论文真正的核心思想是把 manipulation 建模为 object-centric factor graph：object-object factor 负责学人类视频中跨 embodiment 的交互运动，agent-object factor 负责机器人如何建立抓取/控制关系，constraint factor 负责当前场景和机器人 embodiment 下的可执行性。这个 factorization 是本文最重要的 inductive bias：它假设任务成功的因果核心是物体状态变化，而不是具体执行动作。
这与 prior 的本质区别在于信息流方向。很多方法从视频预测 flow，再让 policy 学会执行；Human2Any 则先生成候选交互，再通过 assembly 和 feasibility scoring 把它们筛到机器人可执行区域。也就是说，它不是把人类视频“翻译”为动作，而是把视频变成可组合的 interaction prior，然后用测试时规划来完成 grounding。这使方法更 scalable：human video 数据只需覆盖交互模式，不必覆盖每个机器人、每个场景布局和每种 grasp。
Method
方法只需抓住几个机制层面的必要性。
第一，object-object relative trajectory 是 transfer interface。它用工具物体相对目标物体的 SE(3) 轨迹表示任务交互，解决 human embodiment 与 robot embodiment 不一致的问题。这个选择把 supervision 从 action space 移到 object state-change space，降低了跨域对齐难度。
第二，agent-object prior 单独建模机器人抓取。因为同一个 pouring / hanging interaction 在不同机器人上需要不同 grasp 和 approach trajectory，不能用 object-object prior 直接推出。把 grasp/control prior 分出去，使同一交互知识可以复用到 Franka 和 humanoid，但也意味着系统仍依赖 embodiment-specific simulated grasp data。
第三，constraint-aware steering 是组合机制的关键。独立 diffusion sampler 生成的 segment 局部合理，但联合后未必可行；rejection sampling 在 feasible mass 很小时效率低。本文用 particle filtering 在 denoising 过程中根据 assembly 后的 IK、碰撞、规划可行性等 soft score 重采样，相当于近似采样 constrained posterior，而不是事后筛选。
第四，planner 不是附属模块，而是闭环 grounding 的一部分。MPlib/IK/collision checks 把 learned prior 限制在真实机器人可执行集合内。没有这层，object motion 仍只是视觉上合理，不等于 robot-executable。
Key Insight / Why It Works
这篇最重要的 insight 是：human-to-robot transfer 的瓶颈不是缺少 human video，而是缺少正确的 factorization。把人类视频中的可迁移部分限定为 object-object interaction，把机器人相关部分留给 test-time feasibility reasoning，是方法有效的主要原因。它本质上是 representation alignment 加 test-time constrained inference，而不是单纯 scaling diffusion policy。
最可能的核心贡献是 constraint-aware composition，而不是“用 diffusion 学轨迹”。Diffusion prior 只是提供多样候选；真正让系统跑起来的是在联合 denoising 中反复 assembly、score、resample，让采样分布向可执行组合集中。这个过程把 planner 的可行性反馈前移到生成过程内部，避免了后验 rejection 的低效率。可以把它看成 learned proposal + classical feasibility oracle 的 hybrid inference。
object-centric representation 也很关键，但它的有效性依赖任务族。对于 pouring、placing、hanging、tool-use 这类预抓取后的刚性物体交互，工具-目标相对轨迹确实承载了主要任务信息；对于非刚性接触、力控、滑动、动态稳定、in-hand dexterity，这个表示会明显不够。也就是说，本文的泛化不是无条件泛化，而是在“交互可被刚体相对运动描述”这个 manifold 上泛化。
哪些可能只是 engineering / scaling：视觉 pipeline、SAM/track/Kabsch/RANSAC、diffusion architecture、point-transformer encoder、具体控制器都更像必要工程。data scaling 曲线说明更多 interaction trajectories 有帮助，但没有证明学到了更抽象的 causal skill；也可能只是覆盖了更多几何和轨迹模式。文中对增益来源的归因仍不完全清楚：steering、object representation、sim grasp data、planner、task skeleton 各自贡献没有被彻底拆开。
需要直接指出的是，这里的“planning”更像 constrained sampling over a provided skeleton，而不是完整任务规划。长期状态建模、失败恢复、符号分解都不在系统内部完成。所谓 reasoning 主要来自外部 feasibility oracle 和手工 skeleton，而不是模型自主发现任务结构。
Relation To Prior Work
它最接近三条谱系的交叉：human-video object-centric learning、object motion / flow conditioned manipulation、以及 TAMP 中 learned sampler / diffusion sampler。和 Im2Flow2Act、Track2Act、object flow policy 的区别在于，Human2Any 不把 flow 直接翻译成动作，而是把 object-object motion 当成可被约束组合的 latent skill prior。和 Diffusion Policy / DP3 的区别在于，它不试图学习一个从 observation 到 action 的单体策略，而是把可执行性留给测试时规划。
看似新的部分有不少是已有思想重组：object-centric representation、grasp-motion 分解、diffusion trajectory prior、TAMP feasibility checking、particle filtering/guided sampling 都不是单独的新概念。实质创新在于把这些组织成一个清晰的 human-to-robot transfer interface：human video 只训练 object-object factor，robot embodiment 只影响 agent-object factor 和 feasibility factor，最终通过 constrained joint sampling 合成执行轨迹。
因此这篇论文在技术谱系上更像“learning-augmented TAMP / guided generative planning”，而不是纯 robot imitation learning。它把 learning 的角色从 policy executor 改成 proposal generator，把 planning 的角色从后处理改成生成过程中的约束引导。
Dataset / Evaluation
评估覆盖了模拟中的多个任务变体、OOD layout、真实 Franka tabletop、以及 RBY-1 humanoid，这对验证 cross-scene 和 cross-embodiment claim 是有价值的。尤其 RBY-1 结果说明 object-object prior 至少可以脱离单一机械臂 morphology；真实 Franka 多任务结果也说明它不是只在仿真中成立。
不过 evaluation 仍主要验证“在给定 task skeleton 和可处理物体交互类别下，约束组合比 action imitation 更稳”。它没有充分验证开放任务分解、在线重规划、强感知噪声、复杂接触动力学或长时间 autonomous deployment。任务虽然看起来多样，但大多共享 prehensile manipulation + rigid tool-object relative motion 的结构，因此不能外推到一般 dexterous manipulation。
baseline 设置整体偏支持本文 claim：DP3 和 Im2Flow2Act 在长程、OOD、几何变化下弱是合理的，但也可能部分来自 baseline 不擅长利用 planner 或没有同等 test-time compute。和 rejection sampling 的对比最能支持 steering 的价值，但仍希望看到不同 particle budget、constraint score、planner timeout 下的归因曲线。
Limitation
最大限制是它把很多难题转移了，而不是消除了。task skeleton 需要外部给定；物体分割、识别、3D tracking、相对轨迹恢复依赖 foundation model pipeline；agent-object prior 依赖机器人特定模拟抓取数据；可执行性依赖 motion planner 和 point cloud collision checking。系统成功来自多个 oracle-like 组件的协同，论文没有完全说明这些组件失败时整体如何退化。
刚性抓取假设是方法边界。只要工具和末端不是固定关系，或者任务依赖力、接触模式、滑动、rolling、compliance、液体真实动力学，object-object SE(3) trajectory 就不再足够。Pouring 在实验里主要被当成几何姿态轨迹问题，而不是真实流体控制问题；UseRoller 也可能仍处于较弱动力学要求的范围。
泛化的真实性需要谨慎。它确实比 action policy 更容易跨 layout 和 embodiment，但泛化可能主要来自 representation alignment、data coverage 和 planner 筛选，而不是模型学到了更高层的任务因果结构。OOD variant 如果仍落在相似 object-interaction manifold 内，成功并不意味着能处理语义新任务。
scalability 也有上限。constraint-aware steering 在 K 个阶段联合采样，feasible mass 很小时仍可能退化；长 horizon 下 particle 数、planner 调用和 score evaluation 都会变贵。没有在线 failure detection/replanning 时，真实部署中的 slip、perception drift、partial execution failure 会累积。
增益来源不清。论文显示 steering 比 rejection 好，但 object prior 质量、grasp prior 质量、planner 强度、human data 多样性、task skeleton 质量之间的相互作用没有充分分离。核心能力可能主要来自数据覆盖 + 手工结构化问题设定 + 测试时规划，而不是生成模型本身。
Takeaway
- 1. 最值得迁移的 insight 是 transfer interface 的选择：跨 embodiment 学习不应直接对齐 action，而应寻找任务中真正稳定的中间变量；在 manipulation 中，这通常是 object-object state transition。
- 2. 对 robot learning 来说，learning 与 planning 的边界很重要。
- Human2Any 的价值在于让学习模块负责生成 plausible interaction prior，让 planner/constraint oracle 负责 feasibility；这比让单一 policy 同时吸收任务语义和物理可行性更可扩展。
- 3. Test-time compute 是这类系统的重要能力来源。
一句话总结
Human2Any 是一篇 learning-augmented TAMP 取向的 human-to-robot transfer 工作，真正贡献在于把人类视频压缩成 object-object interaction prior，并通过测试时约束采样把这种 prior grounded 到具体机器人可执行轨迹。