Awesome RL with Human Feedback / 2026 / OpenReview

Escaping Policy Contraction: Contraction-Aware PPO (CaPPO) for Stable Language Model Fine-Tuning

作者：Dun Yuan, Di Wu, Xue Liu · 单位：School of Computer Science, McGill University · 来源：OpenReview · 发布日期：2026

对齐目标设计训练稳定性策略优化策略梯度人类反馈强化学习

精读笔记

Problem Setting

《Escaping Policy Contraction: Contraction-Aware PPO (CaPPO) for Stable Language Model Fine-Tuning》（Awesome RL with Human Feedback / 2026）关注的是 PPO-RLHF 的分布收缩，而不是传统意义上的 reward overoptimization 或单纯文本多样性下降。具体说，PPO 在 on-policy 采样和 reward 梯度驱动下，会把概率质量集中到少数 reward model 偏好的 completion 上；即使 KL-to-reference 仍在可接受范围内，大量 SFT/reference 下合理的 completion 已经变成当前策略下的低概率事件。

关键矛盾是：RLHF 需要利用 reward 信号做模式选择，但 alignment 后模型仍需要保留足够宽的行为支持集，以便维持鲁棒性、多样性和后续可适配性。以前的 PPO recipe 把 KL 和 entropy 当正则项，默认一个固定 scalarization 能同时处理 reward learning、稳定性和探索；但在 LLM RLHF 中 reward scale、advantage noise、critic variance、prompt distribution 都会变化，这种固定权重很容易失效。困难点因此不是“怎么让输出更随机”，而是如何在策略更新本身防止 reward 梯度系统性吞掉 support。

Motivation

论文的出发点是一个很实际的训练现象：PPO 的 win rate 可以持续提升，但 entropy 下降、repetition 上升、reference completion 的 log-probability 分布左移。也就是说，模型看起来更 aligned，但可生成空间更窄。这和很多 reasoning RL 中“pass@1 上升、pass@k 或 solution diversity 下降”的观察是一致的：RL 很可能主要在已有支持集内做重加权，而非扩展能力。

已有路线缺的是两个东西。第一，缺一个不依赖 decoding 的 support loss 诊断。Self-BLEU、Distinct-n 受 temperature/top-p 强影响，更多反映采样输出，不直接反映策略分布本身。第二，缺一个训练时把 support preservation 纳入优化几何的机制。DPO/KTO 等 off-policy 方法可能更保守，但不处理 on-policy drift；PPO/VinePPO/GRPO 更关心 credit assignment 或 variance，不显式约束支持集收缩。作者因此把问题重写为多目标优化：reward、entropy、KL 是共同目标，而不是 reward objective 的附属 penalty。

Core Idea

CaPPO 的核心思想是：PPO-RLHF 中的 contraction 本质上来自优化目标的优先级结构，而不是缺少某个 diversity trick。标准 PPO 先最大化 reward surrogate，再用固定 KL/entropy 权重修边界；当 reward 梯度和 entropy/KL 梯度冲突时，固定权重无法保证支持集不被牺牲。CaPPO 改成在每次更新时看三个梯度的几何关系，选择它们凸包中最小范数方向，近似一个 Pareto-stationary / Pareto-improving update。这个更新方式把“不能以 entropy collapse 或 KL runaway 为代价换 reward”编码进训练动态。

直觉上它有效是因为 contraction 不是一个终局指标问题，而是每一步小更新累积出的路径依赖问题。一旦 entropy 掉到某个水平，on-policy rollouts 覆盖变窄，reward model 只在更窄区域给反馈，之后再加 entropy bonus 也很难恢复丢失模式。CaPPO 和 entropy scheduling 的组合相当于在 fast gradient update 和 slow feedback control 两个时间尺度上同时干预：前者避免冲突梯度把策略推向尖锐模式，后者防止采样分布进入低探索吸收态。

Method

方法上最重要的不是算法细节，而是三个机制的必要性。

1. SRR：它解决“怎么证明 contraction 不是 decoding artifact”的问题。通过从 reference/SFT 策略采样 completion，再评估这些 completion 在当前策略下的长度归一化 log-likelihood 是否仍超过阈值，SRR 直接测量 reference support 有多少被当前策略保留。它比 Self-BLEU/Distinct-n 更贴近训练分布，但也更依赖 reference 质量和阈值设定。

2. Pareto multi-gradient update：它解决固定 scalarization 的脆弱性。reward、entropy、negative KL 分别形成梯度，CaPPO 用最小范数凸组合决定更新方向。核心变化是权重不再是人工先验，而由当前梯度冲突自动决定。若 reward 梯度与 entropy/KL 梯度冲突严重，更新会自然降低 reward 单目标的支配性。

3. Entropy scheduling：它解决 entropy collapse 的路径依赖。controller 监控 token entropy 相对目标的偏差，动态提高或降低 entropy pressure。这个机制很可能贡献很大，因为它直接避免 PPO 早期过快确定化；Pareto mixing 则进一步避免 adaptive entropy 被 reward 梯度压掉。

Key Insight / Why It Works

我认为这篇最有价值的 insight 是：KL anchoring 不等于 support retention。前向 KL 限制的是平均分布距离，不能阻止策略在 reference 支持集内部变尖；而 LLM 生成质量和后续可适配性往往依赖的是“可达模式集合”而不只是平均 KL。SRR 这个指标虽然简单，但把问题从 output diversity 重新定位为 support preservation，这个视角是可迁移的。

方法有效的核心大概率是两部分叠加：adaptive entropy control 负责阻止早期探索退化，multi-gradient/Pareto mixing 负责让 reward、entropy、KL 的冲突在更新方向上被显式处理。若只看工程收益，entropy scheduling 可能已经解释了相当一部分 SRR 改善；但 CaPPO 相比 PPO+adaptive entropy 仍有额外收益，说明梯度几何层面的冲突处理不是纯装饰。

不过也要直接说：这不是 capability expansion 方法。它没有引入新的数据覆盖、检索、外部 memory、test-time compute 或 latent reasoning structure；本质是在已有 reference/SFT 支持集内避免过度重加权。因此它更像一种更好的 post-training inductive bias：用优化几何保护分布宽度。若任务需要发现 reference 外的新 reasoning mode，CaPPO 不会凭空创造它；它最多避免 PPO 把已有可行模式过早压死。

另外，文中对 Pareto update 的理论表述偏理想化。LLM PPO 中梯度估计噪声、clip surrogate、Adam preconditioning、minibatch advantage normalization 都会让“Pareto-improving”只是一种近似解释。真正成立的经验机制可能更朴素：动态调高 entropy + 限制 KL + 梯度归一化后降低 reward 梯度支配性。

Relation To Prior Work

这篇最接近三条线：KL-regularized PPO-RLHF、entropy-regularized policy optimization、多目标/Pareto gradient methods。它并不是发明新的 RLHF objective，而是把已有的 reward/entropy/KL 关系重新组织成多目标几何问题。

和标准 PPO 的本质差异在于目标优先级：PPO 是 reward-first，KL/entropy 是 penalty；CaPPO 是 peer objectives。和 DPO/KTO/ORPO 的差异在于它仍然处理 on-policy drift，而不是绕开 RL。和 VinePPO/GRPO 的差异在于后者主要改 credit assignment、variance 或 group contrast，而不是显式维护 support。和普通 entropy bonus 的差异在于 CaPPO 不把 entropy 作为固定权重项，而是结合反馈 controller 与梯度混合，使 entropy 在冲突时有实际更新权。

看似新的部分里，Pareto minimum-norm gradient 是已有多目标优化思想；entropy scheduling 也是控制论式 adaptive regularization。实质创新在于把这些东西放到 LLM RLHF 的 contraction 问题上，并用 SRR 把 claim 变得可测。真正新增的信息不是算法数学本身，而是“PPO contraction 可以被 support-retention 方式稳定观测，并可通过多目标更新缓解”。

Dataset / Evaluation

评估覆盖开放式对话、安全偏好、摘要和一般 helpfulness，模型也跨 Qwen、Mistral、Llama，范围比单一 benchmark 更可信。它验证了两个层面的 claim：一是 PPO 的 contraction signature 在多个设置下出现；二是 CaPPO 在 win rate 不降的同时提高 SRR 和常规多样性指标。

但 evaluation 仍有边界。首先，SRR 是相对 SFT/reference 的支持集保留，不直接证明保留的是人类真正偏好的语义多样性。其次，win rate 依赖 reward model 或偏好评估协议，若 reward model 与训练 reward 相关性过高，可能高估 alignment 增益。第三，实验主要在 7B/14B 级别和标准离线 RLHF 数据集上，不能直接外推到大规模在线 RLHF、long-horizon reasoning 或真实用户交互。第四，decoding sweep 能排除一部分采样 artifact，但不能证明部署中多轮对话、工具使用、长上下文下也保留 support。

Limitation

最核心的前提是：reference/SFT distribution 的支持集值得保留。如果 reference 本身包含大量低质量、冗余或不安全模式，那么提高 SRR 可能和 alignment 目标冲突。论文默认 support preservation 通常有益，但这个假设需要按任务重新验证。

第二，增益归因不完全干净。PPO+adaptive entropy 已经显著改善多样性和 SRR，CaPPO 的额外收益可能来自梯度归一化、preconditioning、line search、动态权重这些工程稳定化，而不完全是 Pareto stationarity。文中未充分说明在严格计算预算、相同 entropy trajectory、相同 KL trajectory 下，Pareto mixing 是否仍显著优于强 tuned scalarized PPO。

第三，SRR 的阈值选择是一个隐含自由度。percentile-based threshold 缓解了跨 prompt 比较问题，但不同长度、tokenizer、reference entropy、prompt difficulty 都会影响 log-likelihood 分布。SRR 更像一个有用 probe，而不是绝对 support metric。

第四，CaPPO 可能只是把问题从“手调 entropy/KL 权重”转移到“设定 entropy target、controller range、gradient normalization 和 preconditioner”。这比固定 scalarization 稳定，但不是免调参。

第五，它不解决 reward model 错误。若 reward model 偏好错误，高 support retention 只是让错误优化更平滑；若 reward hacking 发生在高 entropy 区域，CaPPO 甚至可能延长探索到坏模式的时间窗口。

Takeaway

  • 1. PPO-RLHF 的一个关键失败模式应被看成 support reweighting / contraction，而不只是 entropy 下降或文本重复；SRR 这种 decoding-agnostic probe 值得迁移到其他 post-training 方法比较中。
  • 2. KL regularization 不是 support preservation 的充分条件。
  • 未来 RLHF objective 需要显式区分“离 reference 不远”和“保留 reference 下的多模式可达性”。
  • 3. CaPPO 代表一种有前途的方向：把 alignment、diversity、stability 从加权 penalty 改成并列目标，用梯度几何或 constrained optimization 动态处理冲突。

一句话总结

这篇论文把 PPO-RLHF 的多样性退化重新定义为可测的 support contraction，并用多目标梯度更新与 entropy feedback control 将 support preservation 提升为训练时一等目标，属于 RLHF objective/optimization design 从固定正则化走向自适应约束优化的一步。