Awesome RL with Human Feedback / 2026 / OpenReview

RE-PO: Robust Enhanced Policy Optimization as a General Framework for LLM Alignment

作者：Xiaoyang Cao, Zelai Xu, Mo Guang, Kaiwen Long, Michiel A. Bakker, Yu Wang, Chao Yu · 单位：IDSS, Massachusetts Institute of Technology, EE, Tsinghua University, SIGS, Tsinghua University · 来源：OpenReview · 发布日期：2026

鲁棒性/噪声反馈偏好学习对齐目标设计策略优化策略梯度人类反馈强化学习

精读笔记

Problem Setting

论文实际处理的是 noisy preference alignment，而不是再提出一个新的 direct preference objective。现有 DPO 系列方法把每条 pairwise label 都当作 hard truth；但大规模 preference 数据来自 crowdworker、AI judge、不同 instruction pipeline 或混合来源，label correctness 本身是随机变量。真正难点不是“有噪声”这个事实，而是去噪依据和训练目标互相依赖：模型越好越能识别噪声，但模型变好又需要可靠监督。以前方法通常把这个问题压进 loss 形状、全局噪声率或样本过滤规则里，因此很难区分三类东西：错误 label、困难但正确的 pair、以及人类偏好本身不唯一的 pair。RE-PO 试图把这个关键矛盾显式化：alignment loss 不应只消费 preference label，还应同时估计 label 的可信度。

Motivation

作者的核心动机是：preference data 的噪声不是一个可以靠固定 label smoothing 解决的均匀扰动，而是 example-specific / annotator-specific 的 latent reliability 问题。rDPO 这类方法需要全局噪声率，robust loss 依赖 loss geometry，filtering 方法容易把难例和错例混淆；这些路线都没有真正建模“是谁给了这个 label、这个 label 在当前模型看来有多像 clean preference”。因此缺的不是又一个偏好损失，而是一个能插到不同 preference objective 上的 probabilistic denoising layer。RE-PO 的想法很自然地来自 Dawid-Skene / Crowd-BT：如果 annotator reliability 可以估计，那么 label 不应是 0/1，而应是 posterior confidence。

Core Idea

RE-PO 改变的是 preference optimization 的监督语义：observed winner 不再被视为 ground truth，而只是 latent clean preference 经过 annotator noise channel 后的观测。每个样本有一个隐变量 z_i 表示 observed label 是否正确，每个 annotator/source 有 reliability η_k。当前 policy 对两个 response 的偏好概率提供“内容证据”，η_k 提供“来源证据”，二者合成 posterior correctness w_i。训练时 w_i 越高越接近标准 DPO；w_i 越低则越倾向于反向训练。这比单纯 down-weight 更强，因为它允许模型从可识别的 reversed labels 中恢复信号。

更 general 的部分在于作者用 exp(-L_pref) 构造 induced preference probability，使 DPO、IPO、SimPO、CPO 都能被放进同一个 EM 框架。这个统一化有实际价值，但要注意：对 DPO 是概率解释的恢复；对非 likelihood objective，更多是把原 loss 映射成一个可用于 posterior inference 的 surrogate probability。这里的 inductive bias 是“模型当前偏好 + annotator reliability 可以共同解释 label correctness”，本质上是 latent-structure denoising，而不是 scaling、retrieval 或 test-time compute。

Method

方法的关键机制可以压缩为三层。

第一层是 noisy channel 建模。observed preference = latent clean preference 经 annotator 可靠性 η_k 采样后的结果。这解决的是 hard preference label 过度自信的问题，也给多 annotator 数据提供了自然接口。没有这层，所有样本只能被同等处理或依赖启发式过滤。

第二层是 induced preference probability。为了让 EM 可计算，必须把任意 preference objective 转成 p(y_w ≻ y_l | x, θ)。作者用 Gibbs construction：两个方向的 loss 越低，对应偏好概率越高。对 DPO，这与 Bradley-Terry 一致；对 IPO/SimPO/CPO，它是统一框架所需的概率化接口，但不保证完全保留原 objective 的统计含义。

第三层是 EM-style alternating update。E-step 用当前 θ 和 η 估计 w_i；M-step 用 w_i 作为 soft label 更新 policy，同时用样本 posterior 平均更新 η_k。机制上这相当于一种在线 self-denoising curriculum：早期 w_i 接近 η_k，训练比较保守；模型变强后，posterior 更尖锐，正确 label 被强化，疑似反标 label 被削弱甚至反向利用。EMA mini-batch 更新只是让这个过程可扩展，不是理论核心。

Key Insight / Why It Works

这篇最重要的 insight 是：preference alignment 中的噪声处理应当发生在“label generation model”层，而不是只发生在“loss robustness”层。很多 robust objective 本质上只看当前 loss 大小；但大 loss 可能来自噪声，也可能来自模型尚未学会的有效信号。RE-PO 引入 annotator/source reliability 后，给模型一个额外 latent structure 来解释观测冲突，这比单变量 loss clipping 更有信息。

它有效的主要原因可能有三个。第一，soft posterior label 相当于动态 label smoothing，但 smoothing 强度是 sample-dependent 且随训练演化的，比固定 LS 更匹配 preference 数据。第二，低 w_i 样本不是简单丢弃，而是对 reversed preference 贡献梯度；这在 synthetic flipped-label 场景尤其有用。第三，η_k 提供了跨样本共享统计量，尤其在 MultiPref 这种真实多 annotator 数据上，可以把单样本不确定性聚合成 source-level reliability。

不过需要直接判断：主实验里大量 UltraFeedback-derived 数据没有 annotator id，只能设 K=1 virtual annotator。这时 RE-PO 其实更像全局噪声率 + sample posterior reweighting，而不是充分发挥 annotator modeling。其 win-rate 增益可能相当一部分来自动态 soft-label regularization 和训练稳定性，而非真的学到了可靠的人类标注者模型。SimPO/CPO/IPO 上的泛化说明框架可插拔，但也混入了 induced probability 是否合理的问题；对非 likelihood loss，所谓 probabilistic equivalence 并不严格。最核心贡献仍然是 EM posterior weighting 这一 latent correctness bias，而不是具体的 Gibbs 包装或 EMA 实现。

Relation To Prior Work

最接近的谱系不是普通 RLHF，而是 noisy-label learning / crowdsourcing aggregation 与 direct preference optimization 的结合。Dawid-Skene 和 Crowd-BT 已经有“latent true label + annotator reliability + EM”的经典范式；RE-PO 的新增点是把这个范式嫁接到 LLM direct alignment objective，并给 DPO/IPO/SimPO/CPO 提供统一 robustification recipe。

与 rDPO 的本质差异：rDPO 更像已知全局噪声率下的 unbiased correction；RE-PO 估计 sample/annotator-level correctness，不需要先验全局噪声率。与 Hölder-DPO / robust loss 的差异：后者通过 loss shape 降低 outlier influence，RE-PO 显式假设 label channel 并做 posterior inference。与 filtering / selective DPO 的差异：filtering 往往把样本划分为用/不用，且容易按 difficulty 误删；RE-PO 保留样本但改变方向和权重。

看似新的部分中，EM 和 reliability estimation 本身不是新思想；真正实质的创新在于把它做成 preference optimization 的 meta-framework，并指出不同 alignment losses 可以通过 induced probabilistic model 接入。但这个统一化对非 likelihood loss 的理论含义偏弱，更多是工程上实用的抽象层。

Dataset / Evaluation

实验覆盖了四类 direct alignment objectives、两个 7B/8B 级 instruction backbone、UltraFeedback-derived on-policy preference 数据，以及 MultiPref 真实多 annotator 数据。这个覆盖足以支持“RE-PO 是 plug-in robustness layer”这一 claim，尤其 MultiPref 让 per-annotator η_k 不只是概念设定。

但 evaluation 仍有明显边界。主要指标是 AlpacaEval 2 和 Arena-Hard 这类自动 LLM judge win-rate，它们验证的是输出偏好是否更讨 judge 喜欢，而不是直接验证 label denoising 是否恢复了真实人类偏好。synthetic noise 实验能验证 η 跟注入噪声率相关，但 synthetic flip 与真实偏好冲突、annotator bias、ambiguous preference 不是一回事。文中 qualitative low-confidence case 有说服力，但样例级证据无法排除 cherry-picking。总体上，实验支持性能提升和一定的 reliability tracking，但还不足以证明 RE-PO 在真实 deployment 中能稳定识别“错误反馈”而不是“与当前模型/自动 judge 不一致的反馈”。

Limitation

最关键限制是 calibration / initialization 依赖。RE-PO 用当前 policy 判断 label correctness；如果初始模型偏好已经偏了，E-step 会把模型偏见写进 w_i，形成 confirmation loop。作者承认极端 misaligned initialization 会失败，但没有给出实用检测或恢复机制。

第二，identifiability 不充分。很多 preference 数据每个 pair 只有一个 label，没有重复标注；此时 sample-level correctness 很难从数据本身识别，主要靠模型先验。K=1 virtual annotator 设置进一步削弱了 reliability modeling 的意义，η 只是全局有效可信度。

第三，对 disagreement 的语义处理过于二元。RE-PO 假设存在 latent noise-free preference，并把不一致解释成 annotator error。但真实 alignment 中常有多峰人类偏好、价值冲突、style preference 和 task ambiguity；这些不一定是噪声。把 disagreement 全部吸收到 η_k 可能会压制少数但合理的偏好。

第四，泛化 claim 的上限还不清楚。AlpacaEval/Arena-Hard 改善可能来自更好的 regularization、长度/风格变化或 judge-aligned behavior；增益来源不清。尤其对 SimPO/IPO 等非 likelihood loss，RE-PO 的 induced probability 改变了训练语义，性能提升不一定说明原 objective 被“鲁棒化”，也可能是换了一个更合适的 surrogate。

第五，scalability 上 EM 额外开销不大，但在真实大规模多源数据中，annotator/source 粒度如何定义是开放问题。人类标注者、AI judge、数据生成 pipeline、prompt domain 都可能是 reliability factor；单一 η_k 太粗，完整建模会迅速变成复杂 latent variable system。

Takeaway

  • 1. 值得记住的不是具体公式，而是把 preference label correctness 作为 latent variable 放进 alignment objective；这是比 robust loss 更结构化的去噪方式。
  • 2. RE-PO 提供了一个有迁移价值的 pattern：对任何 pairwise objective，先构造 induced probability，再用 EM/posterior confidence 做 soft supervision。
  • 这一思路可迁移到 reward modeling、AI feedback aggregation、多 judge distillation、甚至 safety data filtering。
  • 3. 未来真正有价值的方向不是再调 η_0 或 EMA，而是解决 calibration 和 identifiability：如何在模型不可信时估计 label correctness，如何利用重复标注/多 judge/metadata/domain structure 打破 self-confirmation。

一句话总结

RE-PO 是把 Dawid-Skene 式 latent reliability estimation 接入 DPO 系列 direct alignment 的通用鲁棒化框架，真正贡献在于用 EM posterior correctness 重写 preference supervision，而不是发明一个新的偏好优化目标。