Awesome RL with Human Feedback / 2026 / OpenReview

Beyond Pairwise: Empowering LLM Alignment With (Ranked) Choice Modeling

作者：Yuxuan Tang, Yifan Feng · 单位：Institute of Operations Research and Analytics, National University of Singapore, Department of Analytics and Operations, NUS Business School · 来源：OpenReview · 发布日期：2026

偏好学习对齐目标设计策略优化策略梯度人类反馈强化学习

精读笔记

Problem Setting

【Beyond Pairwise: Empowering LLM Alignment With (Ranked) Choice Modeling，Awesome RL with Human Feedback / 2026】

这篇论文解决的不是“如何再设计一个 DPO loss”，而是 preference optimization 中反馈表示层的瓶颈：我们通常收集或能够构造比 pairwise 更丰富的反馈，例如一个 prompt 下多个候选的 single-best choice、top-k ranking、甚至完整排序，但训练时往往压成 winner-loser pair。这个压缩有两个问题：一是丢掉集合内结构，例如 winner 是在什么候选池中胜出的、第二名和第五名的差异、top-k 边界；二是把多项选择/排序隐式拆成若干 pairwise comparison，默认这些 pairwise comparison 可独立相加，这通常不成立。

真正困难点在于：LLM alignment 已经形成了以 DPO 为代表的 policy-ratio reward 形式，任何新反馈结构如果不能和这个形式兼容，就会退回 reward-model + RL 或复杂 listwise training。作者要解决的是如何在不放弃 DPO 式直接优化的前提下，把 ranked choice 的统计结构纳入 policy optimization。关键矛盾是：pairwise objective 简单、稳定、可扩展，但信息效率低；ranked feedback 信息更丰富，但如果没有正确 likelihood 建模，容易变成 ad-hoc listwise loss 或数据膨胀版 all-pairs DPO。

Motivation

已有路线不够的地方在于，它们多数仍围绕 pairwise Bradley-Terry 假设做局部改造：换 reward shape、加 margin、去 reference、修 length bias、改 divergence，但 feedback channel 仍基本是“一个好答案 vs 一个坏答案”。这使得即使原始数据是 K 个 response 的排序，也常被转成 top-bottom pair 或 all pairs。前者浪费信息，后者膨胀训练量并且扭曲原始排序生成过程。

作者的关键观察是：DPO 可以被看成一个 choice model 的 MLE，而不是只能看成 RLHF 的解析化替代。具体地，DPO = Bradley-Terry pairwise choice likelihood + policy-ratio implicit reward。既然如此，pairwise BT 只是 choice rule 的一个特例；如果换成 MNL、Mallows、nested logit 或其他 ranked choice model，就能自然得到对应的 preference optimization objective。论文的动机不是“排名比成对比较更好”这个泛泛判断，而是指出 alignment objective 里缺少一层明确的 choice-model abstraction。

Core Idea

核心思想是把 LLM alignment 重新表述为 context-dependent choice model estimation：prompt 是 context，responses 是 assortment 中的 alternatives，human/AI feedback 是从该 assortment 中产生的 choice 或 partial ranking。然后用 policy ratio 定义 implicit reward：r_π(x,y)=β log π_θ(y|x)/π_ref(y|x) 加上与 y 无关的 normalizer；把这个 reward 喂给一个 choice model，最大化 observed choice/ranking 的 likelihood。

这改变的是建模粒度：prior 的基本单元是 pairwise margin，RCPO 的基本单元是 assortment-level likelihood。引入的 inductive bias 也不同：MNL 假设选择概率由 cardinal utility gap 决定，适合“强弱差距有意义”的场景；Mallows-RMJ 假设主要由 ordinal rank violation 决定，弱化对 reward gap 数值的信任，更像一种 rank-robust alignment。信息流上，RCPO 让一个 prompt 下多个候选共同决定更新方向，而不是把候选拆散成互相独立的 pair。理论直觉上这更 efficient，因为每次标注/打分可以贡献关于候选集合分布的约束；也更 scalable，因为新 feedback format 可以通过替换 likelihood 接入，而不是重写整个 RLHF pipeline。

Method

方法层面真正必要的机制有四个。

1. DPO-as-choice-MLE：论文先把 DPO 放回 Bradley-Terry choice model 中解释。这样做的作用不是数学包装，而是明确“preference objective = choice likelihood + reward parameterization”。它解决了新 feedback format 如何进入 DPO 框架的问题。核心变化是 choice rule 从固定 BT 变成可替换组件。

2. MNL-PO：MNL 是 utility-based extension。single-best 情况下，winner 要在整个 candidate set 的 softmax choice probability 中胜出；top-k 情况下，目标类似 Plackett-Luce/sequential MNL，每一步从剩余集合中选择下一名。它解决的是 multiway feedback 如何利用所有 unchosen alternatives。带来的变化是 loser 不再只有一个，而是所有未被选/未进入当前前缀的候选按其当前 implicit reward 加权参与更新。

3. Mallows-RMJ-PO：这是 rank-based extension。它不强调 utility gap 的精确数值，而惩罚与中心排序不一致的 rank violations。由于 RMJ distance 给出 tractable ranked choice probability，才能得到可训练目标。它解决的是 cardinal reward misspecification 和 noisy preference 下 MNL 可能过度相信分数差的问题。核心变化是从“扩大 winner-loser utility gap”转向“减少关键排序违例”，尤其强调 top positions 和 top-k boundary。

4. Practical smoothing / dispersion weighting：Mallows-RMJ 原始目标包含 indicator，无法直接梯度训练，因此用 sigmoid 近似；dispersion ϕ(x) 用 token entropy proxy 估计，使低不确定性 prompt 权重更大。这部分是把理论 likelihood 变成可训练 loss 的工程桥接。它可能重要，但不是论文最本质的贡献；更像把 rank-based choice model 接入 neural policy optimization 的必要近似。

Key Insight / Why It Works

我认为这篇最重要的 insight 是：alignment 中的“偏好学习”长期把重点放在 reward parameterization 上，但同样重要的是 feedback generation model。DPO/SimPO/IPO 等方法很多差异其实是 reward shape 或 regularization 差异，而 RCPO 把另一个自由度显式化：人类/评审是如何从候选集合中产生 choice/ranking 的。这个自由度一旦打开，pairwise 就不再是默认形式，而只是最小信息量的观测。

方法有效的主要原因可能有三层。第一是 data coverage / information efficiency：同一个 prompt 下多个候选提供了更密集的局部偏好约束，尤其是多个 negatives 会迫使模型学习“在一组 plausible responses 中区分好坏”，而不是只区分 top 和 bottom。这里部分增益可能只是 richer data + more negatives，不一定是 choice modeling 本身。第二是 better inductive bias：Mallows-RMJ 的表现强，说明在 LLM preference data 中，ordinal relation 可能比 reward gap 更可靠。reward model 给出的分数差、policy ratio 的 log-prob 差都容易受长度、风格、置信度校准影响；rank-based loss 只关心相对顺序，天然更 robust。第三是 implicit curriculum：top-k objective 中高排名位置权重大、reward 接近时梯度大，实际形成了“优先学习顶部边界和困难比较”的 curriculum。这比 all-pairs DPO 把所有 pair 同权展开更合理。

最可能的核心贡献是 choice-model abstraction + Mallows-RMJ 这种 ordinal choice bias 的引入。MNL top-k 更像已有 listwise/softmax ranking 思想在 DPO reward 上的自然落地；有价值，但新意相对有限。Mallows-RMJ 的优势可能来自它不强迫模型拟合 cardinal utility，这在 AI-generated preference labels 噪声较大时很关键。

需要警惕的是，实验中的 ranked feedback 来自 Skywork reward model 对模型生成 responses 的排序，而不是真实 human top-k choice。这样 RCPO 可能主要是在更好地蒸馏 reward model 的局部排序偏好。所谓 generalization 增益可能来自更充分利用 reward model supervision 和更大的候选覆盖，而非真正证明“人类 ranked choice modeling 更符合 alignment”。另外 AlpacaEval/Arena-Hard 使用 LLM judge，训练反馈也来自强 reward model，存在 judge-style alignment 的隐性耦合；不能排除 evaluation bias。

Relation To Prior Work

这篇最接近三条线：DPO 系 preference optimization、listwise/ranking-based alignment、以及离散选择/社会选择建模。

相对 DPO/IPO/SimPO/R-DPO/AlphaPO，RCPO 的本质差异不是又换一个 scalar reward，而是替换 preference likelihood。DPO 仍是 Bradley-Terry pairwise；SimPO 改 reference-free reward；R-DPO 修 length bias；AlphaPO 改 reward shape。它们大多还在 pairwise generation model 内部移动。RCPO 则把 generation model 从 pairwise comparison 推广到 assortment choice/ranking。

相对 RRHF、SLiC-HF、LiPO、PRO、K-order ranking 等 ranking/listwise 方法，RCPO 的新意在于用 choice modeling 统一解释这些目标应该来自什么 likelihood，而不是直接设计排序损失。很多看似新公式本质上和 learning-to-rank/listwise softmax 已有思想相近，尤其 MNL top-k 接近 Plackett-Luce/listMLE 语义；但把它和 DPO implicit reward、KL-regularized policy optimization 连接起来，是实质性的框架贡献。

相对 Chen et al. 的 MallowsPO，这篇把 Mallows 类模型从 pairwise preference dispersion 扩展到 richer ranked choice，并选择 RMJ 以获得 tractable top-k likelihood。这里的实质新增是 rank-based choice model 在 top-k alignment 中的可训练化，而不只是引用 Mallows 名字。

技术谱系上，它属于“alignment objective design via probabilistic preference/choice modeling”，不是 RL 算法创新，也不是模型架构创新。

Dataset / Evaluation

评测覆盖了多个 instruction-tuned base model 和 ID/OOD benchmark，足以说明该 objective 在常见 offline alignment setup 中不是只对单一模型偶然有效。尤其在 Llama、Gemma、Mistral 上 Mallows-RMJ-PO-Top-2 大体稳定，支持“choice-model objective 可迁移”的弱 claim。

但 evaluation 对核心 claim 的支持仍有限。论文声称利用 richer human feedback，但训练 ranked data 实际由 reward model 对生成候选排序得到，不是真人 multiway/top-k 标注。它验证的是“给定 reward-model-ranked multi-response 数据，RCPO 比 pairwise DPO 更会蒸馏这些排序”，而不是严格验证“人类 ranked choice feedback 更优”。

benchmark 也主要是 AlpacaEval、Arena-Hard、UltraFeedback test 这类 LLM-as-judge / preference-style 评测。它们能检测 instruction-following 风格提升，但不能充分验证安全性、长期对话一致性、真实用户偏好异质性、多目标 trade-off 或 deployment robustness。Arena-Hard 的 cross-judge robustness 有补充，但 GPT-5-mini 结果中优势并非在所有 RCPO 变体上都明显，说明 judge choice 会影响结论。

消融中 k 和 |S| 的分析有价值：较小 top-k 和适度 assortment 似乎是 sweet spot，fuller ranking 未必更好。这反而支持一个重要判断：richer feedback 不是越多越好，低质量尾部排序会引入噪声。

Limitation

1. 成立依赖 choice model 假设。MNL 有 IIA 和 cardinal utility 假设，Mallows-RMJ 有 single central ranking 与特定 dispersion 结构。真实人类偏好往往多峰、context-dependent、群体异质，未必能由单一 reward 或中心排序解释。RCPO 的框架可以接更多模型，但本文实验只验证了两个 tractable 实例。

2. 增益归因不清。top-k RCPO 相比 DPO 同时改变了候选数量、负样本数量、loss 结构、排序信息、训练样本组织方式。文中虽然有 DPO-AllPairs 对照，但仍不能完全分离“choice likelihood 好”与“更多 response coverage / 更强 reward model supervision”之间的贡献。部分提升可能主要来自 data construction，而非理论建模。

3. 依赖 reward model 伪标注。UltraFeedback 上生成五个 responses，再用 Skywork reward model 排序，本质是 reward-model distillation。若 reward model 有系统偏差，RCPO 会更有效地放大这种偏差。论文没有证明在人类真实 top-k 标注、低一致性标注者、多偏好群体下仍然成立。

4. Mallows-RMJ 的 dispersion proxy 薄弱。用 token-level entropy 估计 -log ϕ(x) 很方便，但它衡量的是模型预测不确定性，不一定等于人类 preference dispersion。文中未充分说明这个 proxy 在不同任务、不同 base model、不同 response style 下是否校准。若 proxy 失真，低/高权重分配可能只是偶然有效。

5. Offline benchmark 与 deployment 有鸿沟。该方法优化的是给定候选集上的排序 likelihood，但部署时模型自采样分布会变化，候选集合不再固定。若训练 assortment 不能覆盖部署时高概率错误模式，RCPO 仍可能过拟合离线候选池。

6. top-k 上限明显。消融显示 k 增大不一定收益，说明尾部排序噪声会伤害训练。这个方法的信息效率优势依赖“标注者能可靠地区分 top region”，而不是任意长 ranking 都有价值。

Takeaway

  • 1. 最值得迁移的不是具体 MNL/Mallows 公式，而是把 preference optimization 拆成两层：implicit reward parameterization 和 feedback generation / choice model。
  • 以后 alignment objective 的设计应系统搜索第二层，而不是只在 DPO reward shape 上微调。
  • 2. Ordinal inductive bias 可能比 cardinal utility 更适合当前 LLM preference data。
  • 尤其当反馈来自 reward model 或 noisy judge 时，rank violation loss 往往比强行拟合 utility gap 更稳。

一句话总结

这篇论文把 DPO 从 pairwise Bradley-Terry 特例提升为 choice-model MLE 框架，真正贡献是为 richer ranked feedback 引入可替换的概率建模层，其中 Mallows-RMJ 展示了 ordinal choice bias 在 LLM alignment objective design 中可能比单纯 pairwise reward shaping 更有价值。