精读笔记

Problem Setting

PACT: Self-Evolving Physical Safety Alignment for Diffusion Policies in Embodied Manipulation（arXiv preprint / 2026）。这篇论文实际处理的是 diffusion manipulation policy 的后训练物理安全对齐：给定一个已经通过 imitation / large-scale data 学到任务能力的 diffusion 或 flow policy，在不能访问原始 demonstrations、不能使用 task reward、部署时也不希望运行 guardrail 的情况下，把策略分布调整到满足显式物理约束的区域。

真正困难点不在于定义几个安全 cost，而在于策略分布层面的重塑。Diffusion policy 的优势正是 multimodal、support 宽、能覆盖多种动作解；但安全约束要求去掉某些 unsafe modes，甚至压缩动作分布。这个过程如果太激进，会把 task-critical modes 一起删掉，导致 catastrophic forgetting 或 state distribution drift。换句话说，关键矛盾是：安全需要收缩/倾斜分布，任务能力需要保持原始策略支持和多样性。

以前方法卡在两个位置。Train-time safety 需要安全数据、人工约束设计或 reward，且会限制能力学习阶段的表达性；test-time safety filter / CBF / guided sampling 虽然能修正动作，但依赖 privileged state、额外传感器、实时优化或外部 perception pipeline，不能真正把安全行为内化到 policy。PACT 想解决的是这两者之间的空档：能力学习之后、部署之前的 amortized safety alignment。

Motivation

作者的核心动机来自一个类比：LLM/VLM 的安全不是每次推理时外接规则系统，也不是从预训练一开始就强行塞入所有偏好，而是通过 post-training alignment 把偏好压进模型分布。PACT 把这个思想迁移到 embodied diffusion policy：物理约束相当于 preference/cost，base policy 相当于 capability model，post-training 的目标是把 unsafe probability mass 重新分配，而不是重新学习任务。

已有路线缺的不是更多 reward，而是一个能直接作用在 diffusion 生成分布上的安全监督形式。RL-style 方法把安全 cost 变成 trajectory-level 或 action-level reward/advantage，再通过 policy gradient 影响隐式密度模型，这条路高方差、需要 likelihood 估计或 sampler-specific trick。Test-time guidance 虽然能利用 cost gradient，但每次部署都要算 constraint，并且没有改变 policy 本体。作者抓住的缺口是：能否把 test-time guidance 的梯度信息蒸馏成一个无需部署时外部计算的 diffusion policy。

Core Idea

PACT 的核心思想可以压缩成一句话：把安全约束诱导的 Boltzmann-tilted policy 的 score，当作一个 implicit teacher，直接蒸馏进 diffusion policy。形式上，它不是最大化 reward，而是求解一个 reverse-KL projection：在满足 cost constraint 的策略中，找离 base policy 最近的策略。固定 Lagrange multiplier 后，最优策略是 μ(a|s) exp(-Σλc(s,a))。这个分布的 density 和 normalizer 不可 tractable，但 score 可以写成 base score 减去 cost gradient。因此，安全对齐被转化为 score matching。

这改变了信息流：安全信号不再只在完整 rollout 结束后出现，也不只是 test-time action correction，而是在 diffusion denoising trajectory 的各个 timestep 提供 dense vector-field supervision。直觉上，这比 RL 更稳定，因为它告诉模型“往哪个方向远离 unsafe region”，而不是只告诉某条轨迹好或坏；也比 forward imitation 更合适，因为 reverse-KL 有 mode-seeking 倾向，会把概率质量集中到安全且仍在 base support 附近的动作模式。

和 prior 的本质区别不是用了 safety cost，也不是用了 diffusion guidance；真正区别是把 guidance 从 test-time compute 变成 post-training distillation，并且用 KL-proximal curriculum 控制策略漂移。这使得方法更像 alignment / amortized optimization，而不是在线控制器。

Method

1. KL-regularized projection：PACT 从 CMDP 出发，但刻意去掉 task reward，只保留 safety cost 和对 base policy 的 KL fidelity。它解决的是 reward-free alignment 下如何定义“不要忘掉原能力”。核心变化是把任务能力保护写成对 base policy 的分布距离，而不是靠 demonstrations replay 或 success reward。

2. Exponential tilting / implicit safety teacher：固定 λ 后，最优安全策略是 base policy 的 cost-tilted distribution。对 diffusion policy 来说，直接优化 likelihood 不现实，但 score 可由 base denoising score 和 cost gradient 组合得到。这个 teacher 的作用是把物理约束变成 denoising score 的局部修正，避免 policy gradient 的高方差和 diffusion likelihood 的麻烦。

3. Dense score distillation on self-rollouts：PACT 用当前 policy rollout 收集状态-动作，再在这些样本上匹配 implicit teacher。它解决 demonstration 不可访问的问题，同时减少 exposure bias，因为训练分布跟随当前策略。这里的 self-evolving 更准确地说是 on-policy self-distillation，不应理解为自动发现新任务能力。

4. Curriculum distillation：直接用最终 λ 蒸馏会造成 OOD collapse，因为中间策略一旦偏离 base，rollout state distribution 会进入原策略没覆盖的状态，且没有 task reward 帮它回来。Curriculum 用小步长逐渐增加 constraint strength，并以上一轮策略为 reference，相当于 trust-region-like 的 proximal update。理论保证主要是 bounded KL shift 和 Lagrangian cost non-increasing，但这是理想化条件下的保证。

5. Few-step cost guidance approximation：精确 intermediate cost gradient 需要 posterior expectation，不可 tractable。论文只在后期 denoising steps 注入 cost gradient，用 clean action posterior mean 近似。这是 practical trick，也是关键 engineering；它让方法便宜且稳定，但理论精确性明显依赖 small-t approximation。

Key Insight / Why It Works

最重要的 insight 是：对 diffusion policy 的安全对齐，score-level supervision 比 reward-level optimization 更自然。Diffusion model 本来就在学习一个从 noisy action 到 data action distribution 的向量场；如果安全约束也是关于 action geometry 的可微函数，那么把 constraint gradient 加到 score 上，本质上是在改变生成向量场的局部流向。这个归纳偏置非常强，尤其适合碰撞、姿态、对齐、poking 这类几何约束。

真正可能贡献最大的部分是 reverse-KL + score distillation 的组合。Reverse-KL 使方法倾向于在 base policy 已有模式中挑安全模式，而不是覆盖所有可能安全动作；这在 reward-free setting 下是优点，因为它避免 policy 逃到“安全但无用”的动作区域。Score distillation 则把每个 denoising timestep 都变成监督点，使样本效率远高于 trajectory-level RL。

Curriculum 是第二个关键贡献，但它更像必要稳定器而非核心建模创新。没有 curriculum，强 constraint gradient 会直接把 policy 拉出 base distribution，实验也显示 collapse。这个现象并不新，本质是 trust-region / conservative policy update 在 diffusion alignment 中的再表达。它的重要性很高，但思想来源明确。

Few-step guidance approximation 和 LoRA/full fine-tuning 更偏 engineering。它们影响效果和成本，但不是概念核心。尤其 tc 的选择、λ 的范围、rollout 数量，都说明方法仍需要相当调参。文中把训练效率归因于 dense supervision 是合理的，但增益是否部分来自额外 on-policy data coverage 尚未完全排除。

这篇工作的“安全提升同时成功率提升”并不神秘：很多安全 violation 本身就是导致任务失败的局部几何错误，如 poking、misalignment、rotation mismatch；纠正这些错误自然也提高 success。它并不是证明安全和性能普遍无 trade-off，而是在这些任务中安全 cost 与 task progress 高度同向。若约束与任务目标冲突，PACT 的表现上限会完全不同。

Relation To Prior Work

PACT 最接近三条谱系的交叉。第一是 energy-guided / classifier-guided diffusion sampling：用外部 cost/reward gradient 修改 score。PACT 的新增点是把这种 guidance 蒸馏到 policy，避免 test-time compute。第二是 KL-regularized RL / advantage-weighted regression：Boltzmann policy、exp(-cost) tilting 并不新；新在于把 closed-form tilted distribution 的 score 用作 diffusion teacher，而非显式 policy gradient。第三是 post-training alignment：从 LLM alignment 借来“能力先学、约束后对齐”的组织方式。

和 Safe RL 的本质差异是，PACT 不试图通过 reward/value 学任务效用，也不需要 credit assignment；它假设 base policy 已经提供任务能力，alignment 只做安全投影。和 IL/DAgger/PLD 的差异是，PACT 不是模仿被修正后的轨迹，而是蒸馏一个分布梯度场，因此不容易受 forward-KL mode-covering 和 demonstration support 限制。和 test-time guardrail 的差异是，PACT 把 privileged constraint computation amortize 到训练阶段，部署时策略本体直接输出动作。

看似新的“self-evolving”其实是已有 on-policy self-training / iterative distillation 的包装；实质创新在于把它和 diffusion score-level safety teacher 结合，并用 curriculum/proximal view 解释为什么不会崩。

Dataset / Evaluation

评估覆盖面相对扎实：仿真中有 RoboTwin 双臂任务，涉及 pick、handover、pour、stack、place 等几类需要协调和几何精度的 manipulation；base policy 覆盖 DP、DP3、RDT-1B、π0.5，说明方法不只依赖某一个 diffusion architecture。真机部分包括 Pour Water、Nail Insertion、Transfer Egg、GPU Assembly，尤其 GPU assembly 对毫米级对齐比较敏感，能较好展示几何 safety alignment 的价值。

实验确实支持核心 claim 的一部分：在可微几何/运动学约束、base policy 已具备能力、训练时能获得 privileged state 的条件下，PACT 比 RL-style on-policy alignment 和 off-policy imitation/distillation 更稳定，且部署时不需要 guardrail。消融也支持 curriculum 和 λ 控制的重要性。

但 evaluation 没有完全证明更强的 claim。第一，安全 cost 与任务成功高度相关，因此 success gain 不能简单解释为“安全对齐解决了 safety-performance trade-off”；更可能是纠正了导致失败的局部几何错误。第二，真实世界任务数量有限，且每个任务仍是相对结构化的 tabletop/static manipulation；对长时序、多阶段、动态接触、力控安全的泛化未验证。第三，约束 proposal/scheduling 和 keypoint/perception pipeline 在训练时提供了隐含强监督，这部分在主实验叙事中容易被低估。

Limitation

PACT 成立的核心前提是 base policy support 足够好。Reverse-KL projection 不会凭空创造 base policy 不会的安全策略；如果安全可行解远离 base distribution，它会保守地失败，或者在强 λ 下 collapse。换句话说，PACT 是 reliability/safety enhancer，不是能力学习方法。

第二个前提是安全约束必须可微、可计算，并且 gradient 方向对策略有意义。目前主要覆盖几何、姿态、对齐、poking 等 constraint。对高频 contact dynamics、force limit、compliance、human-robot interaction safety，cost gradient 未必稳定或可微，甚至可能误导 diffusion denoising。

第三，所谓“无 deployment overhead”是把成本前移，不是消除成本。训练时仍需要 privileged state、object pose、keypoints、VLM/vision pipeline 或 simulator API 来计算 cost。真实部署中如果环境分布变了，post-training 阶段学到的安全行为是否仍覆盖新 failure mode，文中未充分说明。

第四，理论保证理想化较强。Theorem 3.1 依赖 unlimited capacity 和 sufficient data；Theorem 3.3 的 monotonic improvement 是对 Lagrangian cost 和固定/近似 state distribution 的论证，不等价于严格安全保证，也不保证 task success 不下降。实际算法还用了 intermediate cost approximation 和 few-step injection，理论与实现之间有明显 gap。

第五，增益归因仍不清。方法同时引入 on-policy rollout、额外训练、curriculum、LoRA/full finetuning、cost-gradient supervision。虽然 baseline 尽量匹配 budget，但哪些收益来自 dense gradient，哪些来自额外 data coverage 或 self-training，仍需要更干净的 causal ablation。

Takeaway

• 1. 对 diffusion/flow policy 做安全对齐，最自然的接口可能不是 reward，而是 score/vector-field correction；这条路比 policy gradient 更适合几何约束密集的 manipulation。
• 2. Post-training safety alignment 是一个有前途的位置：它保留能力学习的开放性，又避免 test-time guardrail 的部署成本。
• 未来 embodied policy 很可能会形成“pretrain capability + post-train constraint/persona/environment alignment”的范式。
• 3. Reverse-KL projection 是这类问题的关键 inductive bias：安全对齐应优先在 base support 内重加权，而不是开放式探索新动作。

一句话总结

PACT 是把 test-time diffusion guidance 和 KL-regularized safety projection 改造成 post-training score distillation 的方法，真正贡献在于为已有 diffusion manipulation policy 提供了一种可部署、低方差、但强依赖可微约束和 base support 的物理安全对齐范式。