精读笔记

Problem Setting

《Grounding Generative Policies in Physics: Optimization-Guided Diffusion for Robot Control》（arXiv preprint / 2026）实际处理的是 task-space diffusion policy 的 embodiment gap：模型生成的 grasp、waypoint 或 reference trajectory 在数据分布上合理，但对某个真实机器人可能不可达、碰撞、或低层控制器跟不上。关键矛盾是 task-space abstraction 带来跨平台复用，但也剥离了 robot-specific feasibility；如果把 feasibility 交给后处理，容易破坏 prior 中的 grasp / trajectory semantics；如果把 feasibility 学进模型，又失去 frozen prior 的跨 embodiment 复用能力。以前方法卡在 feasibility 和 fidelity 的耦合方式：projection 能满足约束但常把样本推离行为流形，gradient guidance 更平滑但只有软偏置且 guidance scale 难调。

Motivation

这篇工作的动机不是再训练一个更懂物理的 diffusion policy，而是寻找一个 inference-time interface：保持生成模型不变，只在采样时注入 robot/environment/controller 信息。作者抓住的结构性观察是 DDIM reverse update 由 deterministic denoising mean 和 stochastic perturbation 组成；后者本来就是采样自由度，因此比直接改 x 或改 score 更适合作为物理修正入口。缺口在于已有 cross-embodiment 方法通常关注共享动作空间或 morphology encoding，却没有一个明确机制保证目标 embodiment 上可执行；已有 constraint guidance 则多数把约束当成外部能量梯度，无法明确区分“最小修正 prior”与“重写样本”。

Core Idea

核心思想是把 diffusion sampling 重新解释成一个带 prior regularization 的 constrained trajectory optimization。DDIM 的随机扰动 ω 不再从高斯采样，而是变成 δ_k，由优化器选择；目标是让最终或中间 denoising states 满足物理约束，同时惩罚 δ_k 的大小。换句话说，论文没有试图让 diffusion model 自己学会机器人动力学，而是在 reverse process 的 stochastic channel 上插入一个可替换的 feasibility optimizer。

这个建模方式的本质区别在于信息流的重组：生成 prior 提供高维、多模态、任务语义；优化模块只提供 embodiment-specific correction。相比 gradient guidance，它不是把 cost gradient 直接加到样本或 score 上，而是在 diffusion transition 允许的噪声自由度里寻找最小偏离；相比 projection，它不是每步硬拉回 feasible set，而是在保持 reverse-chain consistency 的条件下求解 feasibility-fidelity trade-off。这使它更像 test-time compute + structured inductive bias，而不是新的 policy representation。

Method

方法的关键机制可以压缩为三层。第一层是 optimized perturbation：把 x_{k-1}=μθ(x_k,k)+σ_kω 改成 x_{k-1}=μθ(x_k,k)+σ_kδ_k。它解决的是 guidance 入口的问题，让物理修正发生在 DDIM 本来存在的 stochastic slot，而不是任意移动 sample。

第二层是 constrained/MAP objective：最小化 ∑||δ_k||² 加 feasibility cost J(x_k)，并对 x_0 加 terminal feasibility constraint。它解决的是 fidelity 控制问题：δ 的 Gaussian prior 对应原 DDIM transition prior，约束项对应 feasibility pseudo-likelihood。因此优化不是单纯做 robot trajectory optimization，而是在 learned sampler 附近找 feasible sample。

第三层是可替换的 feasibility interface：J 可以是 IK distance、SDF collision penalty、closed-loop trackability residual。它解决的是跨 embodiment 复用问题：diffusion prior 不变，变的是目标机器人和环境对应的 cost/constraint。IPOPT 给更强约束满足，Theseus 给可微 soft relaxation，L-BFGS 给在线 replanning；这些是 solver trade-off，不是概念贡献。

Key Insight / Why It Works

这篇最有价值的 insight 是：diffusion guidance 的位置比 guidance 形式本身更重要。把约束梯度直接加到 x 上，会同时改变 denoising network 的输入、clean estimate 和 score trajectory，容易造成 distribution shift；把样本投影到 feasible set，则在早期 noisy state 上施加语义上不可靠的几何约束。作者选择 δ-channel，本质上是在“保持模型预测方向”的同时，只优化采样扰动。这比常规 guidance 更像 constrained residual correction。

方法有效的主要原因不是模型更强，也不是数据更多，而是 test-time compute 加了更合适的 inductive bias：物理约束只做局部、最小、结构化修正，避免覆盖生成 prior 的语义模式。grasping 中的提升很可能来自避免 projection 把 grasp pose snap 到 reachable 但低质量的位置；dynamic manipulation 中的提升来自把 trackability 作为 terminal chunk 的可优化残差，而不是让 low-level controller 被动追不可执行 reference。

最可能是核心贡献的是“优化 δ 而不是优化 x / score”这一重新参数化；MAP 解释是有帮助的理论包装，但不是决定性创新。IK surrogate、Theseus relaxation、L-BFGS direct shooting 都更像工程实现。需要警惕的是，部分增益可能依赖 feasibility surrogate 的质量和 solver tuning；文中没有充分分离 optimized perturbation、cost 设计、solver 强度、guidance schedule 各自贡献。动态任务中，closed-loop rollout 是简化模型，增益是否来自真正的控制可执行性建模，还是来自对 trajectory smoothness/offset 的有利 bias，仍不完全清楚。

Relation To Prior Work

最接近的路线是 constrained diffusion / projected diffusion / diffusion predictive control / UMI-on-Air 一类 inference-time guidance。它属于 plug-and-play guidance 与 trajectory optimization 的交界：冻结生成模型，用 test-time optimization 注入约束。和 classifier-style 或 energy-based guidance 的差异在于，后者通常把 ∇J 当作额外 score 加入采样；本文把 correction 作为优化变量并显式正则化，因此多目标冲突时理论上有更清晰的 trade-off 表达。

和 projection-based 方法相比，它的实质创新是没有把每个 state 独立投影到 feasible set，而是保留 reverse-chain consistency；这解释了为什么 grasp quality 更好。和 DPCC / MPC-style constrained planning 相比，它不是从头规划控制序列，而是在 diffusion prior 附近求 feasible sample。和 cross-embodiment policy learning 相比，它没有学习 morphology-aware representation，而是把 embodiment adaptation 外包给 inference-time feasibility objective。

看似新的部分里，MAP interpretation、Boltzmann feasibility likelihood、soft NLS relaxation 都是已有思想的重组；真正新增的信息是把 DDIM stochastic perturbation slot 系统化地用作 constrained optimization interface，并在机器人可执行性上验证这个 interface 比直接 gradient/projection 更稳。

Dataset / Evaluation

评估覆盖了两个层面：single-pose dexterous grasp synthesis 和 short-horizon image-conditioned manipulation。前者验证 reachability/collision feasibility 与 grasp quality 的 trade-off，后者验证 controller-level trackability 对闭环任务成功的影响。两个机器人 embodiment 的设置确实支持“frozen task-space prior + swapped feasibility module”的核心 claim，但仍主要是仿真。

实验最有说服力的地方不是表中成功率数字，而是失败模式对比：projection/gradient 可以把 feasibility 做高，但常牺牲 grasp structure；优化式 correction 更能保留原 prior 的任务语义。collision 结果也显示多目标冲突下 gradient/projection 不稳定，这正是论文要解决的问题。

局限也明显。真实世界只是初步部署证据，并且 approach motion 由 cuRobo 等外部 pipeline 处理，不能证明端到端物理 grounding。动态 manipulation 的任务 horizon 很短、replanning 频繁，不能说明长时序规划能力。DDIM† 作为 floating-gripper upper bound 有参考价值，但也提醒核心 prior 本身已经很强；方法主要是在 embodiment mismatch 上补洞，不是产生新的任务能力。

Limitation

最深的限制是方法把 deployment feasibility 变成 test-time optimization 可解性问题。只要 J 不准、不可微、局部极小很多，或者约束之间冲突严重，δ 优化可能给出看似 feasible 但实际错误的修正。非凸性不是表面问题，而是这个框架的核心上限：它没有全局 feasibility guarantee，也没有保证最小 δ 对应语义最优。

scalability 也受限。IPOPT/Theseus 在 grasping 上慢一个到两个数量级，说明 hard feasibility 的代价很高；L-BFGS 虽然快，但靠 soft objective 和短 horizon。扩展到高频控制、长轨迹、多接触、force constraints、deformable objects 时，solver budget 和 conditioning 会成为主要瓶颈。

泛化需要谨慎理解。论文展示的是同一 prior 在两个 arms 上通过不同 feasibility module 适配，不等于 policy 学到了 embodiment-general reasoning。核心能力可能主要来自数据覆盖良好的 task-space prior，加上 test-time feasibility correction。所谓“grounding in physics”更准确说是“用可优化物理 proxy 约束采样”，不是模型内部形成了物理理解。文中未充分说明 surrogate failure、constraint misspecification 和真实控制误差如何影响最终安全性。

Takeaway

• 第一，diffusion policy 的可部署性不一定要靠把所有物理知识学进模型；一个更可迁移的方向是 frozen behavior prior + test-time feasibility optimizer。
• 第二，guidance 的参数化很关键：优化 DDIM perturbation 比直接 nudging sample 更自然，因为它尊重 sampler 的 transition prior，同时给约束留出可控自由度。
• 第三，这篇真正推动的是 feasibility-fidelity trade-off 的组织方式，而不是某个具体 IK/collision/controller 模块。
• 这个 insight 可以迁移到 VLA action decoding、motion generation、scene-constrained generation、甚至一般 constrained generative modeling。

一句话总结

这篇论文把 diffusion policy 的物理 grounding 从“训练时学约束”转成“采样时在 DDIM 扰动通道做最小优化修正”，是 frozen generative prior 走向 embodiment-aware deployment 的一种 test-time optimization 演化。