精读笔记

Problem Setting

这篇论文解决的不是“让 diffusion policy 满足约束”这个宽泛问题，而是一个更具体的接口错配问题：STL 约束通常定义在未来状态轨迹上，而主流 diffusion policy 在机器人控制中往往只输出未来动作。困难点在于，若没有未来状态，STL robustness 不能作为可微 guidance objective 直接作用到 denoising 变量；若强行让 policy 同时生成 action 和 state，又会改变 policy 形态并增加训练/推理复杂度。关键矛盾是：用户偏好/安全约束需要在状态空间表达，但可部署的策略接口通常只暴露动作空间。论文的目标就是在不重训 action-only policy 的情况下补上这条从动作到约束评价的可微链路。

Motivation

已有 STL-guided diffusion 的主要限制是把“可约束性”绑定到 joint action-state generation：为了评价公式，生成模型必须同时产生未来状态。这对很多现成 action-only diffusion policy 不适用，也让方法更像重新训练一个规划器，而不是给已有策略加 inference-time controllability。作者看到的缺口是：STL guidance 真正需要的是未来状态的可微估计，而不一定需要状态由 diffusion model 自己生成。因此，一个独立 world model 可以作为中间适配层，把已有 action policy 和 STL robustness 连接起来。这个动机很工程化，但切中部署接口：它把形式化约束从 policy architecture 中解耦出来。

Core Idea

核心思想是把 diffusion policy 的多模态动作先验和 world model 的短期预测能力组合起来，在推理时形成一个可微的 constrained action search。Policy 提供“像示范数据”的动作分布，world model 提供动作后果的可微近似，STL robustness 提供偏好方向；三者叠加后，denoising 不再只是从数据分布采样，而是在采样过程中被约束梯度持续偏置。

本质区别在于建模分工改变了：prior work 往往让 diffusion model 同时承担生成动作、生成状态、满足约束的角色；这篇把状态预测外包给 world model，让 action-only policy 保持原样。这引入的 inductive bias 是局部模型预测控制式的：不显式学习一个满足 STL 的 policy，而是在每次 rollout 时用可微 dynamics approximation 对动作 chunk 做 test-time shaping。它可能更 scalable 的原因不是优化更强，而是兼容现有 action-only policies，并允许 STL evaluation horizon 与 action horizon 解耦。

Method

方法上只需要保留几个机制层面的点。第一，给定当前状态和 diffusion policy 生成的 noisy/denoised action sequence，用 world model 递推预测未来状态；这一步解决 STL 公式没有状态输入的问题。第二，在预测状态上计算 STL robustness，作为连续 satisfaction margin；这一步把符号/逻辑约束转成可优化信号。第三，将 robustness 对 action sequence 的梯度注入 diffusion denoising update；这一步把约束从后验筛选变成生成过程中的方向性偏置。第四，在最终动作上再做少量 gradient ascent；这更像补偿 denoising 过程中 guidance 不充分的 engineering trick，可能有效，但不是概念贡献核心。

需要注意的是，这不是一个真正的 long-horizon planner。它是在有限 action chunk 和 learned rollout 上做局部可微优化。若 world model horizon 短且 constraint 局部，这个机制很自然；若约束需要长期时序结构或离散阶段切换，方法本身没有解决根问题。

Key Insight / Why It Works

最核心的有效性来自 representation alignment：STL 在状态空间有清晰语义，policy 在动作空间有数据先验，world model 把两者对齐到同一条可微计算图中。没有 world model，STL objective 对 action-only diffusion 是不可见的；没有 diffusion prior，纯梯度优化容易产生不可执行或分布外动作；没有 robustness gradient，sample-and-rank 只能靠有限采样撞到满足约束的模式。因此真正的贡献是让形式化约束成为 action-only generative policy 的 test-time gradient signal。

这更像 test-time compute + better inductive bias，而不是学到了新的 reasoning 能力。它利用的可能是 demonstration 数据中已经存在的合规行为模式，然后用梯度把采样从违规 mode 推向合规 mode。Can Transport 的 upright constraint 非常适合这种解释：约束局部、连续、可微、与任务目标不强冲突，world model 也容易在短 horizon 内预测倾斜角。sample-and-rank 表现差说明有限采样不足以覆盖低概率合规 mode；gradient guidance 的优势在于可以连续移动样本，而不是离散挑选样本。

最可能的核心贡献是“通过 world model 让 action-only diffusion 获得 STL gradient”。最终动作上的额外 ascent、具体 guidance strength、rollout horizon 等更像 engineering。论文没有充分证明该机制在复杂 STL 上仍然有效；当前结果更像一个强 proof-of-concept，而不是通用 temporal logic control 的实证闭环。

Relation To Prior Work

这篇最接近三条线：diffusion policy inference-time guidance、STL/LTL constrained diffusion planning、以及 world-model-assisted policy improvement。和 classifier guidance / universal guidance 的关系是形式上相同：都是在 denoising 中加入外部 objective gradient；不同之处在于 objective 通过 world model 和 STL robustness 构造，而不是分类器或任意 reward network。和 STL-guided diffusion planning 的差异在接口：prior 通常要求 diffusion 模型生成状态或状态-动作轨迹；这篇只要求动作生成，并用外部模型恢复状态可见性。

看似新的部分并不是 STL robustness、diffusion guidance 或 world model 本身，这些都是已有组件。实质创新在于把它们组合成一个兼容 action-only policies 的约束注入方式，并明确指出 joint state-action diffusion 不是 STL guidance 的必要条件。它属于“test-time controllability for generative robot policies”这条技术谱系，而不是 formal verification 或完整 symbolic planning。

Dataset / Evaluation

评估范围很窄：Robomimic Can Transport，一个任务，一个主要 STL 约束，即保持 can upright。这个设置能验证方法的基本可行性：在同一任务中，当 policy 有多种行为模式时，gradient guidance 能提高约束满足率且不破坏任务成功。但它不能验证论文更大的泛化叙事，例如任意 STL、跨任务偏好控制、复杂人类指令、长时序约束或真实部署鲁棒性。

没有真实机器人结果，也没有多环境、多对象、多公式的系统评估。world model 的准确性展示主要是配合短 horizon rollout，文中未充分说明在 contact-rich 或分布外 action 下误差如何累积。sample-and-rank baseline 是合理对照，但是否采样预算足够、是否与 gradient guidance 的 test-time compute 公平，文中未充分说明。因此实验支持“在简单连续约束上可行”，不支持“通用 STL-guided action-only diffusion policy 已解决”。

Limitation

最大限制是方法把问题从 policy architecture 转移到了 world model fidelity 和 robustness gradient quality。只要 world model 对 guided actions 的预测偏了，STL gradient 就可能朝错误方向推；而 guidance 本身又可能把动作推到训练数据外，进一步恶化 world model。这个闭环风险在短 horizon、简单姿态约束中不明显，但在真实 manipulation 中会非常关键。

第二，方法依赖约束有可用的连续 robustness 且梯度有意义。STL 中的 min/max、always/eventually、离散阶段结构在复杂公式下可能导致梯度稀疏、非平滑或局部最优。第三，所谓“满足 temporal logic”目前更像短期 trajectory shaping，而不是长期任务逻辑推理。第四，核心能力可能主要来自数据覆盖：如果合规行为不在 diffusion policy 的可达流形附近，guidance 未必能创造出来。第五，增益归因不清：world model、gradient guidance、final ascent、constraint 简单性各自贡献没有被充分拆开。

Takeaway

• 最值得记住的是：STL guidance 不必要求 diffusion policy 生成状态；只要能建立 action 到 future state 的可微桥接，action-only policy 也能被形式化约束控制。
• 这个 insight 对很多现成 robot policies 有迁移价值，因为它把偏好/安全约束做成外部 test-time layer，而不是重训策略。
• 未来真正有价值的方向不是继续在短 horizon 上调 guidance，而是解决 abstraction mismatch：复杂 STL/LTL 需要长期、离散、任务相关的状态表示，普通 environment-state world model 可能不是合适预测对象。
• 作者提到 automaton-state prediction 是更重要的延伸，这比当前实验本身更有前瞻性。

一句话总结

这篇论文是 diffusion policy 推理时可控性的一次实用接口改造：用 world model 给 action-only policy 补上可微状态预测，从而把 STL robustness 变成 denoising guidance，而不是提出一个真正通用的 temporal-logic planner。