精读笔记

Problem Setting

论文标题：SHAPO: Sharpness-Aware Policy Optimization for Safe Exploration（arXiv preprint / 2026）。

这篇论文实际处理的是 safe RL 中更棘手但经常被弱化的问题：不是最终策略是否满足 CMDP constraint，而是训练过程中一系列中间策略的探索安全性。对真实 deployment 来说，训练期累计 cost、failure 次数、以及 episodic cost 的 tail risk 往往比最终平均 cost 更关键。

真正困难点在于：on-policy safe RL 的每次更新都基于有限、偏置、相关的轨迹数据，而最危险的事件通常是低概率、高代价、早期数据覆盖不足的事件。标准 Lagrangian / CPO / CRPO 类方法可以限制平均 cost 或单步 KL，但 actor update 仍然可能对罕见动作的估计过度自信。换句话说，trust region 限制了“走多远”，但没有改变“往哪里走”时对参数不确定性的态度。

以前路线的主要瓶颈是 uncertainty 多数在 critic/model 侧：ensemble、dropout、distributional critic、risk measure 可以告诉你 value/cost 估计不稳定，但它们没有天然转化为 actor 参数空间里的 pessimistic update。显式维护 deep actor posterior 又不现实。因此关键矛盾是：safe exploration 需要 actor 在数据稀疏区域保守，但现有 on-policy update 的梯度本身是局部平均意义上的、容易被乐观 advantage 驱动的。

Motivation

作者的核心动机不是“SAM 能提升泛化，所以拿来 RL”，而是把 sharpness 重新解释为 actor epistemic uncertainty 的可计算 proxy：如果 policy surrogate 对微小参数扰动非常敏感，那么当前策略附近的行为/性能判断可能并不可靠；在安全场景下，这种不可靠应当以 pessimism 进入 policy update。

已有 safe RL 缺的是 actor-side uncertainty-aware optimization rule。Lagrangian 调 λ 只改变 reward-cost tradeoff，不改变梯度对 low-probability unsafe action 的处理方式；CPO/TRPO 的 KL trust region 主要控制 update size，不会主动把更新方向偏向 worst-case local performance；critic uncertainty 方法依赖 value 侧风险估计，但 actor 的参数不确定性没有被直接建模。

因此论文的关键缺口是：如何在不显式 Bayesian actor、不引入复杂 posterior sampling 的情况下，让 actor update 对其自身参数不确定性保持保守。SHAPO 的答案是：用 Fisher/KL neighborhood 内的 adversarial perturbation 近似 lower-tail parameter scenario，然后在该 scenario 上算 policy gradient。

Core Idea

SHAPO 的核心思想可以概括为：不要在当前 actor 参数 θ 上算梯度，而是在 θ 的 Fisher/KL 邻域内先找一个让 policy surrogate 变差的 perturbed parameter θ + ε_down，再用这个点上的梯度来更新 θ。这个操作把普通的局部一阶优化改成了“对邻域内坏情况也能改进”的更新规则。

从建模方式上，它把 actor 的 epistemic uncertainty 从一个显式 posterior 问题转换成了一个 local sharpness / sensitivity 问题。Fisher metric 的作用很关键：它让 perturbation neighborhood 对应 policy distribution 的局部 KL，而不是神经网络参数坐标系里的任意欧氏距离。这样 inner perturbation 至少在形式上和 TRPO/CPO 的 policy-space trust region 对齐。

它引入的 inductive bias 是局部稳定性与安全悲观性：只有那些在参数小扰动下仍然可靠的改进才被鼓励；那些依赖脆弱、低覆盖、罕见动作估计的乐观更新会被削弱。和 prior 的本质区别在于，prior 多数评估或约束 policy 的 expected cost，而 SHAPO 改写了 actor gradient 的来源，使 rare unsafe actions 在梯度层面获得更高权重。

Method

1. Fisher/KL perturbation：它解决 Euclidean SAM 在 policy optimization 中几何不匹配的问题。参数空间小距离并不保证 policy 分布接近，尤其在深策略网络中更不可靠。用 Fisher metric 近似 expected KL，相当于在 on-policy 数据支持的局部统计流形里定义“邻近策略”。核心变化是 perturbation 从 weight-space heuristic 变成 policy-space local trust-region perturbation。

2. Inner pessimistic step：给定当前 surrogate L_{π0}^λ，SHAPO 沿负梯度方向在 Fisher ball 内找 ε_down，使 perturbed policy 近似成为当前邻域中表现更差的 policy。它解决的是当前梯度只反映 mean estimate、不反映 lower-tail parameter uncertainty 的问题。这个步骤把“更新当前点”替换为“更新一个可信但悲观的邻近点”。

3. Gradient at perturbed parameter：outer update 不使用 g=∇L(θ)，而使用 \tilde g=∇L(θ+ε_down)。这不是简单 regularization，而是改变了每个样本对 policy gradient 的权重。对 Gaussian policy 的分析显示：低概率且负 advantage 的动作会被放大，低概率且正 advantage 的动作会被抑制。机制上，这正对应 safe exploration 想要的 asymmetry：罕见坏事比罕见好事更值得相信。

4. 与 Lagrangian / CPO / CRPO 的组合：SHAPO 并不替代 safe RL 约束处理器，而是作为 actor update wrapper 插入已有 on-policy 方法。这个设计的优点是可迁移；缺点是安全性仍依赖 baseline 的 constraint handling，SHAPO 本身不是约束满足算法。

5. Critic SAM：文中还给 critic 加 Euclidean SAM，但 ablation 表明它更像性能/稳定性辅助项。真正与 safe exploration 对齐的是 actor perturbation，而非 critic loss flattening。

Key Insight / Why It Works

最重要的 insight 是：SHAPO 改变了 policy gradient 对 rare events 的 reweighting，而不只是让优化更平滑。Gaussian toy analysis 说明，在当前策略下概率很低的 action，如果 advantage 为负，SHAPO 在 perturbed parameter 上会提高该 action 的局部 likelihood，从而使其负梯度贡献更大；如果 advantage 为正，则会降低其贡献。这是一个安全任务中非常有用的非对称 bias：对罕见灾难更敏感，对罕见好运更怀疑。

这比普通 conservative penalty 更细：它不是统一提高 λ，也不是简单惩罚 cost，而是在 actor update 的样本级贡献上引入 sign-dependent、probability-dependent 的调制。某种意义上，它把 tail-risk awareness 放进了梯度估计器，而不是放在 objective scalarization 里。

最可能的核心贡献是 Fisher-SAM + policy surrogate 的结合，以及将其解释为 actor-side pessimism。理论上的 Proposition 2 把 Fisher perturbation 和 Gaussian posterior lower quantile 联系起来，这个解释很漂亮，但要谨慎看待：RL 中样本相关、non-stationary actor-critic coupling、effective sample size 不可知，所以 posterior 解释更像 motivating lens，而不是严格 uncertainty calibration。

哪些部分可能只是辅助？critic SAM 大概率是稳定 value fitting 的 engineering regularizer；fixed δ_down 的成功也部分来自调参后得到合适的 conservatism，而不是理论自动给出。实验中 baseline hyperparameter frozen、只调 SHAPO 参数，这有助于说明 wrapper 有用，但仍不能完全排除“额外调参维度改善 Pareto frontier”的因素。

这不是 scaling，不是 retrieval，不是 memory reuse，也不是 planning。它本质上是 better inductive bias：在 on-policy actor update 中加入局部 worst-case / lower-tail parameter perturbation，使优化过程更保守。它也有一点 implicit curriculum 效应：更安全的 update 产生更少灾难轨迹，后续数据质量更好，但这只是闭环结果，不是显式 curriculum。

Relation To Prior Work

最接近的谱系有三条：TRPO/CPO 的 natural gradient / KL trust region；SAM/Fisher-SAM 的 sharpness-aware optimization；safe RL 中的 pessimism / uncertainty-aware exploration。

和 TRPO/CPO 的不同点在于：TRPO/CPO 用 Fisher/KL 来约束 update magnitude，SHAPO 用同一几何来寻找 pessimistic perturbation 并改变梯度方向。前者回答“更新能走多远”，后者回答“在不确定邻域里该相信哪个方向”。这是实质差异。

和普通 SAM/Fisher-SAM 的不同点在于：监督学习里的 SAM 主要服务 generalization/flat minima；SHAPO 把 inner minimization 放在 policy improvement surrogate 上，并解释为 safe exploration 下的 actor epistemic pessimism。形式上是已有思想重组，但重组的位置很关键：从 loss flattening 迁移到 policy-gradient reweighting，产生了 rare unsafe action amplification 这个 RL-specific 机制。

和 critic uncertainty / distributional RL 的不同点在于：那些方法主要估计 return/cost distribution 或 epistemic value uncertainty；SHAPO 不直接估 uncertainty 数值，而是通过 actor 参数敏感性改变更新。它牺牲了可校准 uncertainty 的明确性，换来更轻量、更容易插入 on-policy 算法的优化规则。

实质创新不在“提出 SAM 变体”，而在把 Fisher-SAM 作为 actor-side safe exploration bias，并给出 rare-event gradient reweighting 的解释。

Dataset / Evaluation

评估覆盖 Safety Gym 的显式 cost 任务和 MuJoCo 中以 fall/termination 作为 failure 的 continuous control 任务，也测试了多个 on-policy safe RL baseline。这种覆盖足以验证 SHAPO 作为 wrapper 在常见模拟 benchmark 上不是只对单一算法有效。

实验最支持的 claim 是：SHAPO 能改善训练期 safety-efficiency Pareto frontier，并压低 episodic cost/failure tail。尤其是 actor-vs-critic 和 Fisher-vs-Euclidean ablation，与论文主张相对一致：安全增益主要来自 Fisher actor perturbation，而不是泛泛的 SAM regularization。

但 evaluation 没有真正验证“epistemic uncertainty proxy”是否 calibrated。文中没有直接测 actor sharpness 与 epistemic uncertainty、coverage、OOD state-action region 的相关性。真实世界安全探索、不可逆风险、hard safety constraints、sim-to-real shift 都没有覆盖。因此 benchmark 支持“经验上更保守、更少 failure”，但不足以支持“可靠处理部署级 epistemic uncertainty”。

另一个限制是环境类型偏向 low-dimensional continuous control，failure/cost signal 相对直接。对于 sparse catastrophic events、长时序 credit assignment、复杂视觉输入或部分可观测场景，现有实验外推有限。

Limitation

1. Sharpness ≠ epistemic uncertainty：论文把 actor sensitivity 当作 epistemic uncertainty proxy，但二者在深网络中并不等价。sharpness 可能来自参数化冗余、优化尺度、critic 噪声或 advantage estimator 方差，而不一定来自数据覆盖不足。

2. Posterior 解释依赖强假设：Gaussian Q(θ)=N(θ0, F^{-1}/n) 和 Bernstein-von Mises 在 on-policy actor-critic RL 中非常理想化。样本相关、policy-induced distribution shift、critic bias 都会破坏这个解释。文中未充分说明如何估计有效 n，最终固定 δ_down，本质上把统计解释转成了可调 conservatism。

3. 无硬安全保证：SHAPO 降低经验 failure tail，但不保证训练过程中不违反约束。它仍然依赖采样发现 unsafe action 后再放大其梯度；对于完全未见过的危险区域，没有 shield 或 reachability-style guarantee。

4. 增益归因不完全清晰：虽然 ablation 指向 actor perturbation，但 δ_down 带来的额外调参自由度、critic SAM、baseline λ/PID 状态、TRPO Fisher solver 近似误差之间可能存在交互。增益来源不清的部分主要在“更好优化稳定性”与“真正 epistemic pessimism”之间。

5. 可扩展性上限：每次 update 需要额外 perturbed-gradient 计算和 Fisher/natural-gradient 相关操作。在 on-policy 环境交互主导时 overhead 小，但在大模型策略、视觉策略或高吞吐仿真中，额外二阶/近似 Fisher 成本可能更明显。

6. 可能过度保守或错杀探索：SHAPO 会抑制 rare positive advantage，这在安全任务中合理，但在需要罕见高收益探索突破的任务中可能降低 discovery rate。safe exploration 与 efficient exploration 的冲突没有被彻底解决，只是通过 δ_down 调节。

Takeaway

• 1. 值得记住的不是“把 SAM 用到 RL”，而是：actor update 可以通过局部 worst-case parameter perturbation 显式偏向 tail-risk pessimism。
• 这为 safe exploration 提供了一条比 critic uncertainty 更直接的路线。
• 2. Fisher geometry 是关键，不是装饰。
• 若 perturbation 不对应 policy-space KL，inner worst-case 很容易退化成参数空间 artifact；这也是 Euclidean SAM 表现较弱的原因。

一句话总结

SHAPO 是一类 actor-side pessimistic policy optimization 方法：它把 Fisher-SAM 从泛化正则化改造成 safe exploration 的梯度重加权机制，实质贡献是在 on-policy 更新中系统性放大罕见危险事件、抑制脆弱乐观改进。