Awesome RL with Human Feedback / 2026 / OpenReview

Keep the Best, Forget the Rest: Reliable Alignment with Order-Aware Preference Optimization

作者：Jiahui Zhu, Yuanjie Shi, Xiyue Peng, Xin Liu, Yan Yan, Honghao Wei · 单位：School of Electrical Engineering & Computer Science, Washington State University, School of Information Science & Technology, ShanghaiTech University · 来源：OpenReview · 发布日期：2026

偏好学习对齐目标设计策略优化策略梯度人类反馈强化学习

精读笔记

Problem Setting

论文标题：Keep the Best, Forget the Rest: Reliable Alignment with Order-Aware Preference Optimization（Awesome RL with Human Feedback / 2026）。

这篇论文解决的不是“如何设计一个更强的 DPO loss”，而是 DPO 训练分布中哪些 pair 应该产生梯度的问题。DPO 默认每个 preference pair 都同等可信，并且固定 reference policy 的 log-ratio 是可用的 reward baseline。但在实际 preference 数据里，reference 往往会对一部分 pair 给出与 human label 相反的排序，即 reference 更偏好 rejected response。此时 DPO margin 中的 reference term 会把样本变成高损失 hard example，而这些 hard example 的梯度权重大，容易主导更新。

关键矛盾是：reference policy 同时是 regularizer 和噪声源。完全保留 reference 可以控制 policy drift，但会继承 reference misalignment；完全去掉 reference 可以避免这类错配，但损失 SFT prior 和 KL anchor。以前方法多在 objective 形状上调整，例如 margin、offset、reference-free reward、token-level credit assignment，但很少正面处理“某些样本上 reference 可信，另一些样本上 reference 不可信”这个 sample-wise 异质性。

Motivation

作者的核心观察很直接：reference model size 变大后 misaligned pair 比例下降，但不会消失；而 DPO 对这些 pair 特别敏感。DPO 的 hard samples 不一定代表有价值的偏好边界，很多时候只是 reference 与 human preference 冲突导致的 optimization artifact。换句话说，DPO 中的 high loss 不总是“模型还没学会”，也可能是“reference 给了错误坐标系”。

已有两条路线都不够彻底。数据选择方法通常在训练前静态过滤，未必考虑当前模型状态，也未必把 reference 的局部错误作为核心对象；reference-free 方法则把 reference 整体丢掉，避免了坏信号，也丢掉了有用的 prior。RAPPO 填的缺口是：保留 reference，但只在它相对可信的地方强使用；在它不可信的地方做保守更新。

Core Idea

RAPPO 的真正核心是把 DPO 从 uniform preference optimization 改成 reference-aware trimmed optimization。它不试图修正所有错配样本，也不学习一个新的 reward model，而是在每个 mini-batch 内识别 reference-untrusted pairs，并从这些 pair 中丢掉当前 loss 最大的若干个。保留的是两类样本：reference 与 human label 一致的 aligned samples，以及 reference 不太可信但当前模型已经能较低损失解释的 unaligned-easy samples。

这个思想的本质是 robust curriculum。传统 ordered SGD / hard example mining 往往强调高损失样本，因为它们包含强学习信号；RAPPO 在 DPO 场景下反过来认为：当 high loss 出现在 reference-untrusted 区域时，它更可能是高方差或错误方向信号。新的 inductive bias 是“优先学习 reference-consistent 和 currently-learnable preference”，牺牲一部分 hard region 的拟合，换取整体 alignment 的稳定性和泛化。它改变的不是 reward 表达能力，而是梯度信息流。

Method

方法层面可以压缩成三个必要机制。

第一，reference alignment gate：用 π_ref(y_w|x) / π_ref(y_l|x) 与阈值 τ 比较，将 pair 分为 aligned 和 unaligned。它解决的是 reference 的 sample-wise heterogeneity：不是所有 reference term 都同样可信。这个 gate 的核心变化是把 reference 从全局锚变成局部可靠性估计器。

第二，unaligned 内部按 DPO loss 排序并丢弃最大 q 个。这里 loss 大意味着当前 DPO margin 难以满足；在 reference-untrusted 区域，作者将其解释为 ambiguous / unreliable，而不是 informative hard case。这个机制直接削弱了最可能带来高方差和错误方向的梯度。

第三，动态过滤而非永久删除。样本是否被过滤取决于当前模型 loss，因此某些早期 high-loss unaligned samples 后期可能重新进入训练。这一点很重要，因为它避免了静态 data selection 的不可逆性，也让方法更像 curriculum 而不是 dataset pruning。

理论上，作者把这个过程抽象成 trusted/untrusted split 下的 top-score selection，证明保留最大 score / 最小 loss 的 untrusted samples 可以带来更大的期望一阶下降、更小的条件方差，以及更紧的 stability generalization bound。需要注意的是，这个理论更像机制解释，依赖 score 与梯度方向、方差权重之间的单调关系；它不是对真实 Transformer 训练的强保证。

Key Insight / Why It Works

最有价值的 insight 是：DPO 里的 hard example 与普通 supervised learning 里的 hard example 含义不同。普通分类任务中，高损失样本常常靠近决策边界，因此值得强调；但 DPO 的 loss 同时受 policy 和 reference 的相对 log-ratio 控制，高损失可能来自 reference 对 preference pair 的反向偏置。此时继续强化这些样本会让模型在错误坐标系里用力，既增加梯度方差，也可能破坏已经对齐的区域。

RAPPO 可能有效的核心原因不是“更聪明的 preference model”，而是 better inductive bias + curriculum + robust trimming。它把训练重心从全量偏好拟合转向可靠偏好拟合；对于 offline RLHF，这通常比追求覆盖所有 pair 更稳。尤其当 preference dataset 由 SFT/reference 采样而来时，reference 的局部排序错误会系统性出现，trim 掉最冲突样本能显著降低 optimization noise。

我认为最核心贡献是 reference-aware sample selection，而不是理论 bound 或 objective closed form。理论部分的单调性假设较强，且“最大 expected first-order decrease”的符号推导在直觉上需要谨慎理解；它的说服力主要在于说明 gradient weight w(z)=σ(-z) 会随 margin 变小而变大，因此 high-loss untrusted samples 对稳定性最危险。实验增益也可能部分来自有效 batch 的 regularization：丢掉 q 个样本降低了过拟合和过强更新，不一定全部来自 reference misalignment 修正。

这不是 scaling 方法，也不是 test-time compute，也不是 retrieval；它属于 training-time data curriculum / robust optimization。若迁移到其他问题，关键不是照搬 q-filter，而是识别“loss 高但未必可信”的区域，并在这些区域做保守梯度更新。

Relation To Prior Work

它最接近三条谱系：DPO-family objective design、preference data selection、robust / ordered SGD。

相对 DPO/IPO/DPO-offset，RAPPO 的差异不在 pairwise logistic form，而在样本梯度是否进入更新。DPO-offset 试图校准 margin，IPO 改 loss 几何，RAPPO 则直接改变 empirical risk 的支持集。它解决的是 training signal reliability，而不是 preference margin calibration。

相对 SimPO/ORPO 等 reference-free 方法，RAPPO 的立场更温和：reference 不是要删除，而是要选择性使用。reference-free 方法把 reference 视作系统性风险，RAPPO 把 reference 视作局部可靠但全局不完美的 prior。这个差别很实质，因为它保留了 SFT anchor，同时避免在明显错配区域被 reference 牵着走。

相对 Selective DPO / RSO / margin-based data selection，RAPPO 的新增信息在于动态性和 reference-awareness。静态过滤通常在训练前决定样本价值；RAPPO 的样本保留依赖当前 loss，因此更像在线 curriculum。看似新颖的部分其实是 robust trimming 和 curriculum learning 的重组；实质创新是把这一思想放进 DPO 的 reference-misalignment 机制里，并给出非常低成本的实现路径。

Dataset / Evaluation

实验覆盖 controlled generation、summarization 和 safety alignment，任务范围算比较广，且包含 GPT-2/GPT-Neo/GPT-J/Llama/Mistral 等不同规模模型。它确实支持一个有限 claim：在离线 preference optimization benchmark 上，reference-aware high-loss filtering 对 DPO-family baseline 有稳定帮助。

但 evaluation 仍有明显边界。首先，大部分指标依赖 reward classifier、cost model 或 LLM judge；这些评估器本身可能与训练数据或 preference construction 有偏好重叠。尤其 sentiment/toxicity 任务中，reward model 同时参与偏好构造和评估的风险需要警惕，增益可能部分是对 proxy reward 的更好适配。其次，summarization 的 GPT-4 judge 结果有多 judge sanity check，这是加分项，但仍不能替代真实人类偏好。第三，模型规模到 8B 为止，无法说明在 frontier-scale RLHF 中 high-loss filtering 是否仍然带来同等收益。

最关键的是，实验没有充分分解增益来源：是 reference alignment gate 重要，还是简单 trim high-loss 就够？是动态 batch-level trimming 重要，还是静态过滤也差不多？q 带来的有效学习率 / batch-size 变化是否贡献了收益？这些在文中未充分说明。

Limitation

最大限制是 reliability signal 本身很粗糙。π_ref(y_w|x) / π_ref(y_l|x) 被当成 reference 是否支持 human label 的证据，但 LM likelihood 受长度、格式、常见表达、采样概率等影响，并不等价于偏好置信度。若 reference 对某类安全拒答、长推理、少数群体表达或稀有任务系统性低估，RAPPO 可能会把真正需要学习的 hard cases 当成噪声过滤掉。

第二，方法可能把问题从“如何学习困难偏好”转移成“只优化容易对齐区域”。这在平均 benchmark 上有效，但对 tail risk 和 adversarial safety 未必好。安全任务里最重要的往往是少数 hard prompts；如果它们恰好被判为 untrusted high-loss，RAPPO 的保守性可能损害真正部署性能。

第三，泛化保证依赖强假设：score 与梯度方向收益单调、gradient norm 可由 w(z) 控制、条件独立等。真实 LLM 训练中这些假设未必成立。理论更多说明“如果 high-loss untrusted samples 是高方差噪声，那么 trimming 有利”，而不是证明 RAPPO 一定识别了噪声。

第四，scaling 上限未验证。作者只评估到 8B，且训练预算有限。更大模型的 reference misalignment 比例可能下降，但 hard preference 更复杂；此时固定 q 的 trimming 可能过弱或过强。文中承认固定 q 是限制，但更深层问题是 q 应该依赖 batch composition、task risk、label uncertainty 和 reference calibration，而不是常数。

第五，增益归因不清。RAPPO 可能主要来自降低梯度方差和避免 overfitting，而不一定来自真正“理解 reference misalignment”。若用普通 loss clipping、gradient clipping、small-loss selection、confidence reweighting 是否能达到类似效果，文中未充分说明。

Takeaway

  • 1. DPO 中的 high-loss samples 需要重新解释：它们不一定是有价值的 hard positives，可能是 reference-induced noisy gradients。
  • 这个判断对后续 preference optimization 很重要。
  • 2. Reference policy 更合理的使用方式可能是 sample-wise reliability estimator，而不是全局 KL anchor 或完全删除。
  • 未来的 DPO 演化很可能走向 adaptive reference usage：按样本、按 token、按任务动态调节 reference 权重。

一句话总结

RAPPO 是 DPO 谱系中一个轻量但有启发性的 robust-curriculum 变体，其真正贡献是把 reference 从全局锚改造成 sample-wise 可靠性门控，并通过过滤 reference-untrusted high-loss pairs 降低离线偏好优化中的错误梯度。