精读笔记

Problem Setting

这篇论文处理的是一个很具体但现实的后处理问题：offline safe RL policy 已经在 corrupted dataset 上训练完成，部署评估时发现 safety constraint 被破坏，现在希望在不从头训练、不重新访问环境的情况下，把已知 poisoned trajectories 的影响从 policy 中移除。

真正困难点在于，poisoning 在 safe RL 里不是单纯 reward degradation。它通常同时污染两个通道：reward channel 让 unsafe trajectories 看起来有吸引力，cost channel 让这些 trajectories 看起来不违反约束。训练后的 actor-critic policy 已经把这种错误编码进 reward critic、cost critic 和 actor distribution。于是问题不是简单“删掉数据再训练”，而是如何修改已经形成的 value landscape。

以前路线卡在两处：clean fine-tuning 只在 keep data 上继续优化，并不保证 poisoned behavior 的内部吸引子被消除；trajectory unlearning / Trajdeleter 主要从 reward-side advantage suppression 出发，对 safe RL 的 cost constraint 没有足够直接的建模。这个任务的关键矛盾是：要足够 aggressive 地忘掉 poisoned region，又不能把 clean distribution 上本来有用的 value estimate 和 policy behavior 一起破坏。

Motivation

作者的出发点是 offline safe RL 的安全性高度依赖静态数据可信度，而训练后一旦发现数据被投毒，从头训练成本高，普通 fine-tuning 又不是 unlearning。尤其在 safe RL 中，poisoned samples 的破坏不是“让 reward 变差”这么简单，而是通过 cost underestimation 把 unsafe action 伪装成 feasible action。

关键缺口是：现有 RL unlearning 没有把 safety constraint 作为 unlearning objective 的一部分。也就是说，以前的方法最多回答“如何让 agent 不再偏好某些 trajectory”，但没有回答“如何让 agent 在约束意义上重新把这些 trajectory 判为不可行”。Safe-RULE 的动机就是把 forget set 从 reward optimization 的目标中删除，同时从 feasible set 中剔除。

Core Idea

核心思想可以概括为：在 clean data 上保持原来的 safe offline RL 学习逻辑，在 poisoned data 上主动重写其价值语义。对 keep set，critic 继续做 Bellman consistency，actor 继续在 cost constraint 下提升 reward；对 forget set，不再拟合 Bellman target，而是把 reward value 压低、把 cost value 推高到安全阈值以上，并让 actor 避开这些区域。

这改变了 unlearning 的建模方式：forget set 不再只是“需要降低 likelihood / advantage 的数据”，而是被建模为“应该落在 unsafe region 的数据”。这个 inductive bias 对 safe RL 很关键，因为 policy 的可行性由 cost critic 决定；如果只降低 reward，但 cost critic 仍认为这些动作安全，actor 仍可能在 reward-cost trade-off 中回到 poisoned behavior。和 prior 的本质区别在于，Safe-RULE 不是单通道 reward forgetting，而是对 constrained policy optimization 的内部约束几何做修复。

Method

方法层面真正必要的机制只有几个。

第一，critic 先被 unlearn。原因很直接：actor 的更新依赖 critic。如果 reward critic 仍给 poisoned transitions 高值，或者 cost critic 仍给低 cost，actor loss 设计再复杂也可能被错误 value landscape 牵引。Safe-RULE 在 keep set 上保持 TD/Bellman consistency，在 forget set 上放弃 Bellman regression，改为 value suppression / separation。这一步本质上是在修复 policy improvement 所依赖的评价器。

第二，reward 和 cost 的 forget 目标是非对称的。reward critic 被压到 clean backup 的低参考值以下，是为了消除 poisoned trajectories 的 reward attraction；cost critic 被推到 κ+σ 以上，是为了让 forget samples 从 feasible set 中被排除。这里的 σ 不是普通 margin trick，而是给 cost threshold 留出缓冲，避免轻微 critic error 或 actor update 又把 forget states 拉回 safe side。

第三，actor unlearning 不是简单反向梯度。keep objective 继续保持 constrained improvement；forget objective 则配合 cost critic，使 actor 在 forget states 上不再追逐 reward，并倾向于把这些状态动作对视为 unsafe。adaptive β_f 解决的是 forgetting-retention trade-off：忘得不够就加大 forget gradient，达到目标后降低破坏性更新。这个组件更像稳定性工程，但在 offline RL 这种 brittle setting 里是必要的。

第四，对非标准 actor-critic 的 COptiDICE，作者用 ν/χ network 作为 reward/cost proxy。这说明方法的抽象层是“reward-side attraction + cost-side feasibility”的重写，而不是绑定某一个具体 safe RL backbone。

Key Insight / Why It Works

最关键 insight 是：safe RL 的 poisoning 修复必须同时处理两个内部错误——高 reward attraction 和低 cost feasibility。只要其中一个还在，policy 都可能重新走向 poisoned behavior。Safe-RULE 有效的主要原因不是更强优化器，也不是更多训练步，而是把 poisoned samples 在 value space 中重新标记为“低收益且不安全”，从而改变 actor 的局部梯度场。

最可能的核心贡献是 critic-level unlearning。表面上 actor 最终决定行为，但 offline actor-critic 的实际信息瓶颈在 critic。若 critic 没有被修复，actor-only update 只是局部行为抑制，容易被残留 value estimate 反向拉回。论文的 ablation 也支持这一点：有 critic/value unlearning 通常更稳，虽然不是所有 case 都绝对占优。

reward reference 和 cost margin 是比较干净的设计。reward reference 避免把 forget reward collapse 到任意常数，同时给 reward-side influence 一个上界；cost margin 则让 forget samples 与 κ 有非零 separation。附录理论只是 surrogate-level bound，不应解读为真实安全保证，但它解释了为什么“压到阈值”不如“压过阈值”。

adaptive β_f 更像 engineering stabilization，而不是概念创新。它的作用是调节 forget gradient，避免 over-unlearning。实验中确实有帮助，尤其是 reward retention，但这类机制在 constrained optimization / Lagrangian tuning 中并不新。

这篇不是 scaling、retrieval、test-time compute 或 latent planning 的工作；增益主要来自更合适的 inductive bias：把 unlearning 嵌入 constrained value geometry。也就是说，它不是让模型获得新能力，而是改变 poisoned data 在 policy improvement 中的符号角色。

需要警惕的是，实验里的 forget set 是已知且由构造攻击生成，Safe-RULE 可以直接利用这个 hidden supervision。严格说，这更像 supervised repair of known poisoned region，而不是完整 defense pipeline。若 poisoning detection 不可靠，或者 poison 与 clean manifold 高度重叠，当前机制可能把问题转化为“如何定义哪些区域应该被 cost inflated”。

Relation To Prior Work

最接近的路线是 machine unlearning、RL unlearning 和 offline RL trajectory deletion。和标准 machine unlearning 相比，Safe-RULE 的不同在于目标不是删除分类/生成模型中的样本影响，而是修复 policy improvement 依赖的 reward-cost value structure；forgetting 的结果也不是简单降低 likelihood，而是改变可行性判定。

和 Reinforcement Unlearning / Trajdeleter 相比，Safe-RULE 的实质新增信息是 cost channel。Trajdeleter 的 trajectory forgetting 主要围绕 reward advantage suppression；即使扩展 cost-aware advantage，也仍然偏 actor-side，未必能消除 critic 中的 poisoned Bellman/value structure。Safe-RULE 的关键升级是 joint critic-actor unlearning，并且显式把 forget samples 推到 unsafe side。

和 offline safe RL 本身相比，它不是提出新的约束优化算法，而是在已有 BCQ-Lag、BEAR-Lag、CPQ、COptiDICE 等 backbone 上加一个 post-hoc repair layer。技术谱系上，它更像 constrained actor-critic 的 targeted model editing / data deletion，而不是 robust offline RL。

哪些看似新其实是重组：softplus margin、adaptive weight、keep/forget loss mixing 都是已有思想的组合。实质创新在于把这些机制组织成 safe RL 的 unlearning objective：保留 clean Bellman consistency，同时对 forget data 施加 reward suppression + cost separation。

Dataset / Evaluation

实验覆盖 Safety-Gymnasium / OSRL 的多个 locomotion/navigation/manipulation-like benchmark，并测试四种 offline safe RL backbone、三类 attack、两个 poisoning ratio。这个覆盖面足以说明 Safe-RULE 不是只对单一算法或单一任务有效，也能支持“作为 post-hoc defense framework 有一定通用性”的 claim。

但 evaluation 的边界很明显。首先，没有真实机器人或真实 autonomous system，所有结果仍是仿真 benchmark。其次，forget set 在 unlearning time 已知，这使实验更接近 oracle repair，而不是完整安全防御。第三，攻击是作者按 Max Cost / Max Reward / Min Reward 构造并重标 reward/cost；它验证的是对这类显式 label/trajectory poisoning 的修复，不等价于对 stealthy backdoor、partial trigger、distribution-shift poisoning 的鲁棒性。

结果总体显示 Safe-RULE 经常降低 cost，且比 fine-tuning / Trajdeleter 更好；但 reward-cost trade-off 仍不稳定，一些 case reward 明显下降或 cost 改善有限。文中没有充分拆清楚增益到底来自 critic cost inflation、reward suppression、adaptive weight，还是仅仅来自 5000 步 clean+forget mixed fine-tuning。尽管有 ablation，但归因仍不完全干净。

Limitation

最核心限制是 poisoned set identification 被假设已解决。现实中，检测哪些 trajectory 是 poison 往往比 unlearning 本身更难；如果 forget set 漏检，残留 poison 仍会存在；如果误报，Safe-RULE 会主动把 clean transitions 推成 high-cost，从而损伤策略。

第二，方法依赖 clean dataset coverage。keep loss 只能在 D_k 支持集附近维持 reward/cost consistency；如果部署分布超出 offline data，critic 的 cost separation 不提供真实安全保证。所谓安全恢复主要是 benchmark evaluation 上的 empirical recovery，不是 CMDP-level constraint guarantee。

第三，cost inflation 可能带来过保守性。把 forget states/actions 推到 κ+σ 以上在 poisoning region 与 clean feasible region 可分时成立；若二者共享状态或动作邻域，这种机制会误伤正常策略。文中没有充分分析 overlap regime。

第四，理论部分较弱。Lemma 说明 softplus loss 小则 forget reward excess / safe probability surrogate 小，但这些都是 learned critic 上的分布内性质，不是环境真实 J_c 的保证。critic 本身如果有系统性误估，这些 bound 的安全意义有限。

第五，scalability 上限不清。当前设置是中等规模 continuous-control offline RL；若策略/critic 更大、任务更长时序、cost delayed 或稀疏，简单的 per-transition value suppression 是否还能传导到 long-horizon unsafe behavior，文中未充分说明。

第六，增益来源仍可能部分是 engineering。adaptive β_f、margin、quantile reference、短步数 unlearning 都会显著影响结果；这些选择是否稳健、是否需要大量 tuning，论文没有给出足够系统的 sensitivity。

Takeaway

• 1. 对 safe RL 做 unlearning，不能沿用纯 reward forgetting；必须把 cost feasibility 当成需要编辑的内部结构。
• 这个 insight 很值得迁移到其他 constrained decision-making 场景。
• 2. post-hoc repair 的关键对象不是 actor，而是 actor 所依赖的 value landscape。
• 先修 critic，再修 actor，比只做 behavior-level fine-tuning 更合理。

一句话总结

Safe-RULE 是把 RL trajectory unlearning 推进到 constrained safe RL 场景的一种 post-hoc value-structure editing 方法，其真正贡献是用 joint reward suppression 与 cost separation 修复 poisoned offline policy，而不是提出新的 safe RL backbone。