Awesome World Models / OpenReview

HDFlow: Hierarchical Diffusion-Flow Planning for Long-horizon Robotic Assembly

作者：作者信息待提取 · 单位：Peking University, University of Toronto · 来源：World Models for Embodied AI · 发布日期：2025 · 分类：2. World Models for Manipulation

具身智能机器人操作基于模型的强化学习视频生成

精读笔记

Problem Setting

论文标题：HDFlow: Hierarchical Diffusion-Flow Planning for Long-horizon Robotic Assembly（Awesome World Models / 2025）。

这篇论文实际处理的是离线长时程机器人装配中的 latent-space hierarchical planning：给定多模态观测、目标观测和成功/失败数据，生成一串可执行动作完成多阶段装配。难点不在于单步控制，而在于任务的阶段结构很长、接触过程脆弱、稀疏成功信号导致局部看似合理的动作可能把系统带入不可恢复状态。

以前方法主要卡在两个地方。第一，flat generative planner 把整条长轨迹作为一次生成对象，时间跨度过长，错误传播严重，且对数据覆盖要求极高。第二，hierarchical diffusion 虽然做了子目标分解，但高低层都用 diffusion，低层 dense trajectory generation 仍然昂贵，不适合 MPC 式频繁重规划。

这个任务的关键矛盾是：高层需要多模态探索和全局策略选择，低层需要快速、平滑、相对确定的短程轨迹执行。用同一种生成模型同时满足这两个目标并不自然。

Motivation

作者的核心观察是：不同规划层级的生成需求不同。高层的主要失败模式是选错阶段、走进 dead end，所以需要多样性、全局搜索和可被 success signal 引导的生成；低层的主要失败模式是速度慢、轨迹不平滑、接触执行误差放大，所以需要快速 deterministic connector，而不是继续做昂贵的 denoising。

已有路线缺的是两件事。第一，缺一个为 planning 组织过的 latent space。RSSM / Dreamer 类 world model 的 latent 通常服务于重构和动态预测，不保证“离目标近”或“任务进展单调”。在这种 latent 里生成子目标，本质上是在无语义几何的空间里采样。第二，缺一个显式区分“可行但失败”和“可行且成功”的高层过滤机制。条件 diffusion 可以生成符合起点和终点的 plausible plan，但不一定避开装配中的 irreversible failure。

因此 HDFlow 的出发点不是简单提高生成质量，而是给分层规划分别配置合适的 latent geometry、proposal distribution、success guidance 和 local connector。

Core Idea

HDFlow 的核心思想可以概括为：高层用 diffusion 做 sparse subgoal search，低层用 rectified flow 做 local trajectory connection，中间依赖一个被 contrastive objective 重新塑形的 world-model latent space。这个组合的本质不是“diffusion + flow 两个模块叠加”，而是把长时程问题拆成“在任务进度流形上找路”和“在相邻路标之间快速连线”。

它引入的关键 inductive bias 是层级异构性：高层允许慢一些但要覆盖多峰策略，低层牺牲多样性换取速度和稳定。相比 SHD / HDMI 这类 hierarchical diffusion，HDFlow 的本质差异在于不再假设 diffusion 是所有层级的最佳 planner；相比 Diffuser / Decision Diffuser，差异在于规划对象从完整轨迹变成 latent subgoal sequence，减少了长 horizon 直接建模的难度。

另外，contrastive WM 和 EBM guidance 把稀疏成功信号转成 latent-space 几何与采样能量。这个设计理论上有效，因为装配任务的成功通常依赖阶段顺序与中间构型，而这些构型在 demonstration 中重复出现；如果 latent 能把这些阶段结构显式化，生成器不必在原始 observation/action 空间里重新发现长程结构。

Method

方法中真正必要的机制有四个。

1. Contrastive world model：它解决 latent 不可规划的问题。标准 RSSM 学到的是可预测压缩状态，不一定编码任务进展。作者把成功轨迹的中间状态拉近最终目标，把失败轨迹作为负样本推远，相当于给 latent space 注入 progress-oriented metric。核心变化是 planner 不再只在 dynamics latent 中采样，而是在带成功几何偏置的 latent 中采样。

2. High-level EBM-guided diffusion：它解决高层多模态策略选择和 sparse reward 下的 plan quality 问题。diffusion 提供 plausible subgoal sequences，EBM 提供成功/失败区分。这里 EBM 更像一个 learned value / reward model，用于 test-time steering，而不是单独的 dynamics model。

3. Manifold-aware projection：它解决 guidance 把样本推离 feasible latent manifold 的问题。EBM gradient 在高维空间中可能不准，直接引导 diffusion 容易产生 latent 上看似低能量但不可解码或不可执行的点。nearest-neighbor local PCA projection 的作用是把 guided sample 拉回成功轨迹附近的局部流形。注意这也意味着方法部分依赖 demonstration manifold reuse。

4. Low-level rectified flow + inverse dynamics：它解决低层 dense control 的采样成本问题。给定相邻子目标后，低层不再需要探索，只需要生成短段 latent trajectory；rectified flow 的低 NFE 和近直线路径假设适合这个局部连接问题。动作不是直接由 flow 生成，而是由 inverse dynamics 根据相邻 latent pair 解码，这把控制问题转化为 latent transition tracking。

Key Insight / Why It Works

我认为这篇最有效的部分不是“diffusion 和 flow 混合”这个表层组合，而是把长时程装配的难点重新分配到了三个更容易学习的对象上：阶段级子目标分布、成功轨迹流形、局部 latent connector。只要 demonstration 覆盖了主要阶段模式，这种分解会显著降低学习难度。

最可能的核心贡献是 representation alignment：contrastive WM 把 latent space 从 reconstruction/dynamics space 改造成 planning space。没有这个结构，高层 diffusion 生成的 latent subgoals 即使分布上 plausible，也未必对应任务进展。Table 3 中去掉 contrastive WM 掉得很厉害，说明真正支撑长程性能的是 latent structure，而不是单纯 generative model choice。

第二个关键来源是 test-time compute + retrieval-like manifold correction。manifold projection 通过 kNN 检索成功 latent sequences 并做局部 PCA，本质上把生成过程约束在 demonstration manifold 附近。这会显著提升可行性，但也意味着所谓 generalization 可能是受控的 interpolation，而不是强组合泛化。这里有明显的 memory reuse / implicit retrieval 味道。

第三个来源是正确的层级归纳偏置。flow 在高层表现差，说明高层需要多峰探索；diffusion 在低层慢且未必带来额外收益，说明低层更适合 deterministic local synthesis。这个结论值得迁移：在 embodied planning 中，不同 temporal abstraction level 不应默认使用同一种 generative family。

但也要直接指出：DINOv2 ablation 的提升极大，说明视觉表征 scaling 可能是主要增益来源之一。HDFlow 的结果不能完全归因于 planner 架构；representation backbone、成功/失败数据质量、任务内 demonstration overlap 都可能贡献很大。文中对这些因素的 disentanglement 不充分。

Relation To Prior Work

HDFlow 最接近三条路线的交叉：Dreamer/RSSM latent world models、Diffuser/Decision Diffuser 类 generative planning、HDMI/SHD 类 hierarchical diffusion planning。

相对 world model 工作，它不是主要改 dynamics learning，而是承认标准 world-model latent 对 planning 不够好，于是用 contrastive signal 对 latent geometry 做任务对齐。这和 VIP/R3M 等 reward/representation pretraining 在精神上接近：让表征带有任务进度语义，而不只是重构语义。

相对 Diffuser / Decision Diffuser，它的关键差异是规划对象从完整 trajectory 变成 sparse latent subgoal sequence，并加入 EBM 成功引导。Diffuser 关注 trajectory distribution，HDFlow 更像在 learned subgoal manifold 上做 strategy proposal。

相对 HDMI / SHD，它的实质创新是 heterogeneous hierarchy：高层 diffusion、低层 rectified flow。hierarchical decomposition 本身不是新的，EBM guidance 和 manifold projection 也都来自已有思想；新意在于把这些组件组织成适配长时程装配的 pipeline，并用实验说明单一 diffusion hierarchy 在低层不是最优。

因此这篇属于“generative model-based hierarchical planner”的工程化演进，而不是提出全新 planning principle。它的实质新增信息是：在 manipulation long horizon 中，representation shaping + heterogeneous generative hierarchy 比单纯扩散规划更有效。

Dataset / Evaluation

评估集中在 FurnitureBench 仿真中的四个装配任务，覆盖从 one_leg 到 cabinet 的多阶段接触操作，最长约 1500 step、最多 11 phases。这个 benchmark 相比 Maze2D / AntMaze 更接近真实 manipulation 难度，能够支持作者关于 long-horizon assembly 的部分 claim。

但 evaluation 的边界也很清楚。第一，没有真机实验；对于装配任务，仿真接触、视觉噪声、夹爪误差和实际插入容差是非常关键的 domain gap。第二，任务都来自同一 benchmark，同一类家具装配分布，没有证明跨类别、跨任务语义组合或开放目标泛化。第三，数据由 scripted policy 收集，每个任务每种随机化有成功和失败 demo；这更接近 offline imitation/planning on a known task distribution，而不是开放环境中的 autonomous planning。

实验确实支持“HDFlow 在这个离线仿真设置下优于 hierarchical diffusion / flat diffusion / imitation baselines”，也支持“低层 flow 更快，高层 diffusion 更强”。但它没有充分证明方法具备广义长期推理能力，也没有排除 benchmark 内 demonstration manifold interpolation 是主要成功原因。

Limitation

最核心的限制是方法成立依赖一个较强前提：成功/失败 demonstration 足够覆盖任务阶段、失败模式和初始随机化。contrastive WM、EBM、manifold projection 都需要这些数据；如果失败样本不覆盖真实失败边界，EBM guidance 可能产生错误偏置。如果成功样本缺少某种策略，projection 会主动把生成结果拉回旧策略附近，抑制真正的新组合。

第二，所谓 planning 很可能主要是 latent-stage retrieval / interpolation。高层 diffusion 生成的子目标序列、kNN manifold projection、固定 goal image conditioning，都使系统强烈依赖已有轨迹分布。它没有显式建模装配约束、物体关系、接触稳定性或因果可达性，因此遇到 novel geometry / unseen assembly order 时泛化存疑。

第三，固定 H / K 是硬编码 temporal abstraction。论文显示 K 有最优区间，这说明性能对层级粒度敏感；如果任务阶段长度变化大，固定 interval 会导致子目标落在非语义边界上。真正可扩展的 assembly planner 应该学习 event-based abstraction，而不是按时间均匀切分。

第四，增益归因不清。DINOv2、contrastive latent、EBM、projection、flow、MPC replanning 都同时存在；虽然有消融，但没有充分分离 representation scaling、data coverage、test-time retrieval 和 generative family choice 的贡献。尤其 DINOv2 ablation 的差距过大，提示 foundation visual features 可能是系统性能的基础，而 planner 只是利用了更好的 latent。

第五，高层 diffusion 仍然慢。低层 flow 降低了局部生成成本，但每次 MPC replanning 仍需高层 diffusion 采样。对于更快动态、更高频闭环控制或多机器人场景，这仍可能成为瓶颈。

Takeaway

  • 1. 长时程 embodied planning 中，不同层级应使用不同生成归纳偏置：高层要多模态搜索，低层要快速连接。
  • 把 diffusion 一路用到底不是自然最优解。
  • 2. World model latent 是否“可规划”比 world model 是否能重构更重要。
  • 未来 latent planning 的关键会从 predictive representation 转向 progress-aware / affordance-aware / constraint-aware representation。

一句话总结

HDFlow 是一篇把 diffusion planning 从“单一生成轨迹模型”推进到“表征对齐的异构分层生成 planner”的工作，真正贡献在于用 progress-structured latent + 高层扩散搜索 + 低层 flow 连接重组了长时程装配规划的信息流。