精读笔记
Problem Setting
论文标题：Latent Diffusion Policy: Shaping Latent Spaces for Diffusion-Based Robotic Manipulation（arXiv preprint / 2026）。
这篇论文针对的是 diffusion / flow-based visuomotor policy 在双臂协调任务中的一个具体瓶颈：直接在 raw action sequence 上生成时，模型必须把 observation-conditioned scene understanding 和 trajectory synthesis 合并到同一个 denoising / flow dynamics 里完成。对于单臂或低时序耦合任务，这个耦合可能还能靠模型容量和数据覆盖扛住；但在双臂、多阶段、需要相对时序对齐的任务里，条件动作分布对场景变化极敏感，速度场要同时表达“当前场景下该去哪”和“动作序列如何平滑执行”，学习难度显著上升。
以前方法卡住的地方不是简单的 action dimension 太高。DP / DP3 / Flow Policy 的核心假设是：给定 observation，直接在动作空间拟合条件生成分布即可。但 raw action space 的几何并不一定适合 flow matching；两个在任务语义上相近的动作轨迹，可能因为物体位置、双臂交互相位或接触时刻不同，在欧氏动作空间中呈现复杂、多峰、弯曲的条件分布。flow model 在 ODE 积分中反复调用速度场，速度场复杂度会直接转化为累积误差。
所以真正困难点是条件分布的几何复杂度，而不是生成模型形式本身。LDP 试图解决的是：能否先学习一个对 downstream flow 更友好的 action latent coordinate system，再在该空间里做生成。
Motivation
作者的核心动机可以概括为：latent action representation 不应该只服务于压缩，而应该服务于生成。已有 latent policy 或 action tokenizer 往往看 reconstruction error，默认只要能重构动作，latent 就是好的；但对 diffusion / flow 来说，latent 是否容易被条件生成模型采样出来才是关键。
这篇论文抓住了一个缺口：raw action diffusion 把场景解释和轨迹生成耦在一起；普通 autoencoder 虽然降维，但未必改变每个 observation 下条件分布的复杂度。作者认为需要一个“被 observation 塑形”的 latent space：encoder 在编码动作时看到场景，从而把场景相关的变化吸收到 latent mapping 里；之后 flow model 面对的是已经按 observation 组织过的 latent target。
这个方向的直觉是合理的：如果 downstream generator 每次只需要生成一个紧致、相对 unimodal 的 conditional latent cluster，而不是在 raw action space 中处理分散、多峰、强场景依赖的轨迹分布，那么固定容量和少量 demo 下更容易学到稳定速度场。论文最有价值的 motivation 是把 latent quality 从“能不能重构”推进到“是否降低生成目标的条件复杂度”。
Core Idea
LDP 的真正核心不是“用了 CVAE + diffusion”，而是重新组织了信息流：把 observation 注入 encoder，而不是 decoder；decoder 不接收 observation，迫使 latent token 自身携带完整动作信息。这样做看似反直觉，因为 latent 没有减少动作所需信息量；但它改变了 latent 的几何组织方式。给定同一 observation 的 action trajectories 可以被 encoder 映射到更紧、更规则的区域，flow model 再以 observation 为条件生成这些 latent tokens。
这引入了一个明确的 inductive bias：scene-dependent variability 应该在 representation stage 被吸收，而不是留给 iterative denoising dynamics 处理。相较 raw-space diffusion，这相当于为 flow matching 选择了一个更好的坐标系；相较普通 latent diffusion，这个坐标系不是无条件压缩得到的，而是专门面向 conditional policy generation 塑形得到的。
第二个核心思想是利用 latent tokens 的时间分段结构。动作 horizon 被压成 K 个 token，每个 token 近似控制一段时间片。标准 diffusion 对所有 token 使用同一噪声级别，容易把序列当成同步去噪对象；per-token diffusion forcing 让不同 token 处于不同 denoising stage，迫使模型学习跨时间段的条件依赖。staircase sampling 则是在推理时人为制造类似训练时的噪声级别错位，避免同步采样落到训练分布之外。
Method
方法层面可以压缩成三项必要机制。
1）Observation-conditioned latent shaping。CVAE encoder 输入 action sequence 和 observation feature，输出 latent token posterior；decoder 只从 latent reconstruct action，不看 observation。它解决的是 latent space 不一定适合 conditional generation 的问题。关键变化是：latent 不只是动作压缩码，而是按场景重排后的动作坐标。conditional prior 在训练中约束 posterior 形成 observation-specific cluster，但推理时真正采样来自 flow model，因此 prior 更像 latent geometry regularizer，而不是最终 policy。
2）Latent-space flow matching。冻结 CVAE 后，在 latent tokens 上训练 DiT velocity field。它解决的是 raw action space 条件速度场过复杂的问题。这里的收益来自低维、规则、条件集中的 latent target，而不是 flow matching 本身的新颖性。冻结两阶段很关键：文中 joint training 失败，说明 representation geometry 一旦随 generator 同时漂移，flow target 会不稳定。
3）Per-token diffusion forcing + staircase inference。训练时每个 token 独立采样 noise level，使模型在不同 token 处于不同 SNR 时预测 velocity。它解决 temporal token dependency 的建模问题。但这会制造 train-inference mismatch，因为普通推理会让所有 token 同步 denoise。staircase sampling 通过错开 token 的去噪起点，使推理时 token noise levels 近似覆盖训练时的多噪声状态。这个机制更像为 diffusion forcing 补上的 inference protocol，而不是单纯加采样步数。
Key Insight / Why It Works
最可能的核心贡献是“latent conditional geometry matters”。论文有效的主因不是模型更大，也不是更强 observation encoder，而是把生成问题从 raw action distribution 变成了 shaped latent distribution。这个变化降低了 flow model 需要表达的条件速度场复杂度：对于每个 observation，目标 latent cluster 更集中，velocity field 的局部变化可能更小，有限数据下更容易拟合。
但这里要注意：论文没有证明“分布更集中 ⇒ velocity field 更平滑”。这是合理假设，不是定理。更准确的说法是，observation-conditioned encoder 提供了一个任务相关的 coordinate transform，使得 downstream flow 的拟合负担变轻。rFID 与 success 的相关性支持这个解释，但不能完全证明因果。
第二个有效因素是 temporal inductive bias。per-token diffusion forcing 让模型不能只在同步噪声状态下处理整段动作，而必须利用邻近 token 的不同 denoising 状态推断当前 token。这对双臂协调有意义，因为协调任务往往依赖“某一段动作应与另一段动作处于什么相位”。staircase sampling 的作用不是锦上添花，而是修复 diffusion forcing 带来的分布错配；没有 staircase，同步推理本身就是 off-distribution。
哪些可能只是辅助？rFID 是有用 diagnostic，但不是方法本体；DiT、PointNet、flow matching 都是相对标准组件。latent dimension / token count 的选择也有明显 engineering 成分：128-dim 在 50 demos 下最佳，256-dim 反而差，说明收益来自压缩带来的 bias，而不是 latent 越丰富越好。
这不是 scaling paper。参数量反而很小，收益更像 better inductive bias + representation alignment + test-time compute 的组合。也不像真正 planning：模型没有显式长期状态搜索，所谓 temporal reasoning 更可能是 latent token 级别的 learned coordination prior，而不是 symbolic 或 model-based planning。若 benchmark 中初始状态覆盖有限，部分能力也可能接近 conditional retrieval / interpolation。
Relation To Prior Work
和 DP / DP3 的本质差异在于生成空间。DP3 仍在 raw action space 中拟合条件动作分布，即使 observation representation 更好，action-side geometry 没有被重塑。LDP 则认为 action-side representation 是瓶颈，把 policy learning 拆成 latent geometry learning 和 latent generation 两步。
和 ACT 最接近的是都使用 observation-conditioned CVAE，但角色不同。ACT 直接依赖 CVAE prior / decoder 一次性生成，生成质量受 prior 拟合能力限制；LDP 把 CVAE 当作 latent coordinate system learner，再用 iterative flow 在该空间生成。因此 LDP 的创新不在 CVAE，而在把 CVAE 从“policy generator”改成“flow-friendly latent shaper”。
和 Stable Diffusion 式 latent diffusion 的关系也明显：冻结 autoencoder，然后在 latent space 做生成。但图像 LDM 主要追求 perceptual compression 和 compute reduction；LDP 强调 conditional distribution concentration，这是 robotics policy 里的特定 inductive bias。
和 diffusion forcing 的关系是借用了 per-token independent noise 的训练思想，但补了一个针对推理分布错配的 staircase schedule。staircase sampling 是比较实质的工程-机制创新：它不是新生成模型，但确实修正了 diffusion forcing 用在连续 action tokens 时的一个实际问题。
总体上，这篇属于 action representation + latent generative policy 的技术谱系，实质新增信息是：latent space 应按 downstream conditional flow complexity 设计，而不是只按 reconstruction 或 discretization 设计。
Dataset / Evaluation
实验主要在 RoboTwin 2.0 的双臂 3D manipulation 上做，重点选择 coordination-intensive tasks。这个 evaluation 对核心 claim 是比较匹配的：如果论文声称优势在 temporal coordination，而不是精细插入或单步抓取，那么双臂、多阶段、有限 demo 的设置正好能放大 latent shaping 的价值。
主表中 LDP 在 11 个协调任务上相对 DP3 有明显优势，且 ablation 对 observation conditioning 和 staircase sampling 给出较强支持。更大 28-task 子集上平均只略高于 DP3，这一点很重要：LDP 不是全面碾压 raw-space diffusion，而是在某类任务结构上更合适。论文也承认在 precision-heavy tasks 上 latent compression 会伤害表现。
真机实验有价值，但规模有限：4 个任务、每任务 50 demos、直接 real demonstrations 训练，没有证明 sim-to-real 泛化，也没有证明跨任务泛化。它证明的是该机制在真实点云噪声和双臂执行中没有立即崩溃，而不是证明泛化能力很强。
evaluation 的一个潜在问题是任务子集选择。作者声称选择标准先于结果定义，并给出 28-task 扩展，这缓解了 cherry-picking，但不能完全消除 bias。尤其在 excluded precision tasks 上 LDP 劣势明显，因此论文结论应限定为 coordination-biased benchmark，而不是 general robotic manipulation。
Limitation
第一，方法把问题从 action-space generation 转移到了 latent-space design。CVAE 是否学到好 latent geometry 成为前置瓶颈；如果 encoder 没有足够数据覆盖 scene-action variations，flow model 后续也无能为力。所谓 scene understanding 被 encoder 吸收，本质上仍然需要 demonstration 覆盖。
第二，latent compression 是双刃剑。它对时序协调有利，因为压掉了高频动作噪声，保留 trajectory-level structure；但对接触丰富、窄缝插入、亚厘米 placement、需要快速闭环修正的任务会损失关键细节。这不是调参问题，而是 representation bottleneck 的结构性限制。
第三，增益归因不完全清晰。去掉 observation conditioning 同时改变了 latent concentration、语义编码方式、posterior/prior regularization 和有效监督路径，因此不能单独证明 concentration 是唯一原因。rFID 相关性有启发性，但目前更像 empirical proxy，不是可靠理论指标。
第四，scalability 尚未证明。当前是每任务 50 demos、每任务训练两阶段模型。多任务共享 CVAE、跨物体类别、跨机器人 embodiment 时，conditioned latent clusters 是否仍保持可生成性，文中未充分说明。若多任务 latent manifold 变得混杂，原本的 concentration 假设可能失效。
第五，staircase sampling 增加 latency，并且依赖固定 token 数、固定 ODE steps 的 heuristic offset。range matching 解释很漂亮，但只是匹配噪声 level 的 spread，并没有保证 joint distribution 或 token dependency 与训练一致。
Takeaway
- 1）对 diffusion / flow policy 来说，action representation 的几何质量可能比 generator architecture 更关键。
- 未来不应只问“用什么 diffusion sampler”，而要问“生成目标空间是否适合 flow”。
- 2）Observation-conditioned encoding 是一个可迁移 insight：即使 decoder 不看 observation，encoder 看 observation 也能通过改变 latent coordinate system 降低 conditional generation 难度。
- 这一点可迁移到 skill latent、trajectory VAE、world-model action abstraction 等问题。
一句话总结
LDP 是一篇把 diffusion policy 的瓶颈从“生成器能力”转向“条件动作 latent 几何”的工作，其实质贡献是用 observation-conditioned latent shaping 和匹配的 token-level sampling protocol，让有限数据下的双臂协调动作生成更容易。