精读笔记

Problem Setting

《Hierarchical Diffusion Policy: Manipulation Trajectory Generation via Contact Guidance》（IEEE Transactions on Robotics / 2025）处理的不是一般意义上的 imitation learning，而是 contact-rich manipulation 中端到端 action generation 的结构性失败。

真正困难点在于：同一个 observation 下，成功轨迹往往对应不同接触位置、不同接触顺序、甚至不同操作模式，例如推、拉、夹、翻转。端到端 Diffusion Policy 虽然能拟合多步动作分布，但它把“选择哪里接触”和“如何运动到那里”混在同一个动作生成问题里。结果是模型需要同时表达长程策略多模态和短程运动多模态，学习难度很高。

以前方法卡住的地方不是 diffusion expressivity 不够，而是缺少 robot-object interaction 的显式状态。动作序列本身不是最自然的 manipulation abstraction；接触才是物体状态改变的因果入口。关键矛盾是：低层控制需要连续、平滑、分布内；高层操作却需要离散化/阶段化的接触选择。HDP 试图用 contact point 把这两个问题拆开。

Motivation

已有路线主要有两类不足。纯 BC / Diffusion Policy 缺少显式操作意图，容易复现 demonstration 中的无效接触和阶段切换错误；hierarchical waypoint 或 target pose 方法虽然分解了轨迹，但 waypoint/pose 不一定对应物体受力与状态变化，也不适合不同 end-effector，尤其是多指或非抓取操作。

作者的核心观察是：机器人在真正改变物体状态之前可以有很多自由运动，但有效接触点的分布相对更低维、更任务相关。换句话说，manipulation 的高层决策可以被压缩为“下一次有用接触在哪里”。这个变量既能解释行为，也能指导生成，还能被人类直接指定。

关键缺口因此是：需要一个能表达多模态接触策略、又能强制低层动作响应该策略的机制。只把 contact 当 condition 不够，因为网络可能忽略它；只做 contact prediction 也不够，因为 predicted contact 未必变成实际轨迹目标。HDP 的动机就是把 contact 同时作为 latent structure、supervision target 和 control interface。

Core Idea

HDP 的核心不是“用了两个 diffusion model”，而是改变了 manipulation policy 的因子分解方式：从端到端的 p(A|O) 变成 p(C|O) · p(A|O,C)。这相当于把 action distribution 中最难的多模态来源——不同接触策略——显式提出来，由 Guider 负责生成；低层 Actor 只在给定 contact 后生成局部动作序列。

这个分解引入的 inductive bias 很强：成功 manipulation 必须通过某些有效接触改变物体状态，因此 contact 是比 waypoint 更贴近动力学因果结构的中间变量。它把“我要怎么改变物体”转换成“我要在哪里接触物体”，再把轨迹生成变成 goal-conditioned local control。

和 prior 的本质区别在于，HDP 不是单纯 goal-conditioned BC。作者用 contact-conditioned Q-learning 把 contact condition 变成优化目标，使 Actor 的样本被显式推向能达到目标接触的轨迹。否则 contact 只是额外输入，容易退化成普通 conditional diffusion。这个 Q-guidance 是 HDP 能声称“contact guidance”而非“contact annotation”的关键。

Method

HDP 的方法可以压缩成几个机制，而不是模块列表。

第一，contact 作为高层动作。Guider 从 3-D observation 中生成下一阶段 contact point。它解决的是高层策略多模态问题：同一个状态可以通过多个接触位置完成任务，用 diffusion 来建模 p(C|O) 比回归单点更合理。

第二，Actor 以 contact 为条件生成 receding-horizon action sequence。它解决的是低层轨迹生成问题：给定一个接触目标后，动作分布的复杂度下降，Actor 不再需要在一个模型里同时选择接触策略和生成轨迹。

第三，Critic 把 contact 和 action 绑定。仅靠 BC 的 MSE noise prediction 不保证轨迹真的朝 contact 去，也不能处理 suboptimal demonstrations。Q-learning 用“在短期窗口内是否到达/保持目标接触”构造局部价值，使 Actor 在 imitation 之外受到任务进展信号约束。

第四，phased contact configuration 是监督清洗机制。它过滤不改变物体状态的接触，避免 Guider 学到误触或收尾阶段的无效修正。这里其实是把 demonstration segmentation 和 contact relabeling 作为隐式 curriculum。

第五，trajectory augmentation 给 Critic 提供负样本。offline demonstration 通常缺少明显坏动作，Critic 不知道什么是不该做的；加噪轨迹让 Q-function 至少学到 demonstration manifold 附近的局部偏好。

第六，one-shot gradient optimization 主要是 diffusion-RL 结合的工程关键。完整 denoising chain 反传不仅慢，而且不同 timestep 的 Q-gradient 强度不均衡；单步 x0 reconstruction 让 RL loss 更像局部 regularizer，减少破坏 diffusion BC 的风险。

Key Insight / Why It Works

最重要的 insight 是：contact-rich manipulation 的多模态不是均匀分布在 action space 里的，而是高度集中在 contact strategy 上。把 contact 显式化，相当于给 action diffusion 加了一个结构化 latent variable。这比盲目扩大模型或数据更有效，因为它对齐了任务的因果瓶颈。

HDP 真正有效的部分大概率是 contact decomposition + contact-conditioned Q-guidance 的组合。单独 contact conditioning 可能只带来有限收益；单独 offline Q 也容易在高维 action sequence 上不稳定。二者结合后，Q 不需要评价完整长期任务，只需要评价相对于 contact subgoal 的短期进展，难度明显下降。

phased contact labeling 是被低估的核心工程贡献。它不是普通数据预处理，而是在重新定义高层监督信号。如果直接用最近接触点，模型会学习 demonstration 中大量无效触碰。通过物体状态变化过滤 contact，作者实际在做一种基于 task progress 的 relabeling。这会显著改善 Guider 的目标分布，也让 Critic 的 reward 更有意义。

3-D encoder 的作用也不能忽视。contact 是几何量，如果 observation 仍是低维 pose 或图像 latent，contact prediction 和 contact-conditioned action 的空间对齐都会弱。论文中 3-D encoder 带来的增益可能相当大，因此总提升不能全部归因于 hierarchy。

one-shot gradient optimization 更像 diffusion-RL 训练稳定性的 engineering insight，但很实用。它的贡献不是理论上的新 RL，而是避免 Q-gradient 通过完整 diffusion chain 时出现训练不平衡。这个技巧可能能迁移到其他 diffusion actor + critic 设置。

需要警惕的是，HDP 的“规划”成分有限。它没有显式长期搜索，也没有模型预测；所谓 contact sequence 很大程度来自 Guider 对 demonstration distribution 的生成。成功行为更像基于接触 latent 的 retrieval/interpolation，而不是形成了真正可组合的 long-horizon reasoning。prompt guidance 也证明了这一点：prompt 在分布内时有效，偏离 demonstration distribution 后就出现 prompt-following 与 task imitation 的冲突。

Relation To Prior Work

HDP 最接近三条谱系：Diffusion Policy / action diffusion，hierarchical manipulation，offline RL with diffusion actors。

相对 Diffusion Policy，它的本质差异不是换了网络，而是把动作生成从 end-to-end trajectory modeling 改成 contact-mediated trajectory modeling。Diffusion Policy 直接拟合 p(A|O)，HDP 拟合 p(C|O) 和 p(A|O,C)，并用 Q 让 C 对 A 产生约束。

相对 waypoint 或 end-pose conditioned policy，contact 是更接近 manipulation causality 的变量。Waypoint 表达“手去哪”，contact 表达“手在哪里作用于物体”。这个差异在非抓取、推、翻、布料展开、多 end-effector 场景里很重要。

相对 hierarchical RL，HDP 的高层动作不是离散 skill、语言计划或固定步长 latent，而是连续 contact point。它没有学习可复用 skill library，也没有做 symbolic task decomposition；它更像是在 imitation framework 内加入一个物理交互变量。

相对 diffusion-QL 类方法，HDP 把 Q-learning 的目标局部化到 contact subtask，而不是直接最大化完整任务 return。这降低了 offline RL 的难度，也解释了为什么它能在 demonstration 数据上稳定训练。

看似新的地方有一部分是已有思想重组：goal-conditioned policy、hierarchical decomposition、offline Q regularization、negative augmentation 都不是新概念。实质创新在于选 contact 作为统一接口，并把 contact prediction、contact relabeling、contact-conditioned Q-guidance 串成一个闭环。

Dataset / Evaluation

评估覆盖面不错：仿真包括标准 imitation benchmark、非抓取推动/倾倒任务，真机包括刚体 T-block 多模式操作和布料展开。它确实覆盖了论文 claim 中最重要的几个维度：contact-rich、多模态、真实部署、人类 prompt 干预。

最有价值的 evidence 是：在需要不同接触模式切换的任务上，HDP 比端到端 diffusion 更稳定；prompt 能在真机中把机器人从失败趋势中拉回来。这直接支持“显式 contact interface 提升 interactivity”的主张。

但 evaluation 的归因仍有局限。HDP 相比 baseline 不只是多了 contact hierarchy，也多了 3-D encoder、contact relabeling、Q-learning、augmentation 和更多调参空间。论文有 ablation，但无法完全排除增益来自 representation/data cleaning/training recipe 的组合效应。

此外，任务仍主要是单机器人、单物体、小规模阶段操作。它验证了 contact guidance 在这类 manipulation 上有用，但还没有证明它能扩展到多物体长程任务、复杂遮挡感知、接触不可观测或需要主动探索的场景。

Limitation

HDP 最大的隐含前提是：任务可以被有效 contact point 分解。对于很多操作，这个前提不总成立。大面积接触、连续滑动接触、双手协作、多指复杂接触、工具使用中的接触链，可能都不是一个或几个 point 能充分表达的。

第二，方法把一部分难题从 Actor 转移到了 Guider 和 contact labeling。Guider 一旦预测错 contact，Actor 会认真执行错误意图；系统没有强机制判断 contact 是否合理，也没有显式 fallback planning。prompt guidance 能人工修正，但这不是 autonomous generalization。

第三，泛化很大程度依赖 demonstration coverage。论文自己也承认 prompt 偏离训练分布时效果下降。这说明 Actor 学到的是“给定类似训练 contact 时如何运动”的条件分布，而不是任意 contact-reaching controller。所谓 interactivity 有边界，本质更像在 learned manifold 上插值。

第四，Critic 的语义可能不纯。由于 offline 数据和人工噪声负样本有限，Q-function 很可能同时编码 task progress 和 demonstration density。它未必真的学到物理意义上的接触价值，而可能只是把偏离演示的动作压低。这样有助于稳定，但限制了超出演示的优化能力。

第五，phased contact 依赖物体 pose/subgoal similarity 和 contact detection。刚体仿真或带 marker 的任务可行，但真实复杂物体、遮挡、软体、不可精确建模接触时会变难。布料实验中作者也退回到记录即时接触，说明通用 contact relabeling 还没有解决。

第六，增益来源不清。3-D encoder 的提升、contact filtering 的数据清洗、Q-loss 的正则化、augmentation 的负样本构造都可能贡献明显。HDP 是一个强系统，但不是一个归因非常干净的单点算法突破。

Takeaway

• 1. Contact 是 contact-rich manipulation 中非常强的中间表征：它比 waypoint 更接近物体状态变化的因果入口，也比完整 action sequence 更低维、更可控。
• 2. 对 diffusion policy 来说，结构化分解可能比单纯扩大模型更重要。
• 把高层多模态从 action distribution 中剥离出来，可以显著降低低层生成难度。
• 3. Offline RL 在这里的正确用法不是直接解决长期任务，而是作为 conditional generation 的局部 guidance。

一句话总结

HDP 是把 Diffusion Policy 从端到端动作拟合推进到 contact-structured conditional generation 的一类方法，真正贡献在于用显式接触变量重组 manipulation 的信息流，并用局部 Q-guidance 让这个变量成为可控的操作接口。