Awesome RL with Human Feedback / 2026 / OpenReview

Beyond RLHF and NLHF: Population-Proportional Alignment under an Axiomatic Framework

作者：Kihyun Kim, Jiawei Zhang, Asuman E. Ozdaglar, Pablo A. Parrilo · 单位：University of Wisconsin-Madison · 来源：OpenReview · 发布日期：2026

偏好学习对齐目标设计多目标对齐框架/系统

精读笔记

Problem Setting

【Beyond RLHF and NLHF: Population-Proportional Alignment under an Axiomatic Framework】（Awesome RL with Human Feedback / 2026）

这篇论文不在解决“如何从 pairwise preference 学一个更强 reward model”，而是在解决一个更规范性的 aggregation 问题：当 evaluator population 内部存在多种互相冲突的 top-choice preferences，且我们只观察匿名 pairwise comparison aggregate 时，policy 是否能按真实 population share 给不同观点留出概率质量。

真正困难点是不可识别性。完整 profile σ 是 ranking distribution，但 pairwise preference function Pσ 只是它的二阶边际。不同 σ 可以诱导同一个 P，却有不同 top-choice distribution w。也就是说，random dictatorship 这种完美 proportional rule 在 full profile 下很自然，但在 pairwise-only learning 下不可实现。本文的任务不是恢复真相，而是在不可恢复的条件下构造一个可证明不把任何潜在群体完全压掉的 rule。

以前方法卡在目标函数本身。RLHF/BT-MLE 等价于 maximal Borda，倾向于选 Borda winner；NLHF/maximal lotteries 处理了 cycle 和 intransitivity，但仍是 majority/game value 逻辑。它们解决的是“谁应该赢”，不是“群体比例如何被 policy 表达”。因此即使 51/49 的二元偏好，也会变成 deterministic 选择。这是核心矛盾：alignment 的 win-rate objective 会放大微弱多数，而 proportional alignment 要保留少数概率质量。

Motivation

已有路线缺的不是更复杂的 reward model，而是一个能在无 group label 条件下表达 population mixture 的 aggregation principle。Pluralistic alignment、personalization、group-robust RLHF 往往默认知道 group identity、belief label 或可分群结构；现实中的 pairwise comparison 数据通常没有这些信息。作者的核心观察是：虽然完整 group profile 不可恢复，但 pairwise preference 中仍隐含了每个 top-choice group 的上界信息。

最关键的 motivating example 是二元偏好：w1=1/2+ε, w2=1/2−ε 时，RLHF 和 NLHF 都输出 y1 的概率 1。这个例子不是为了说明 RLHF 不稳定这么简单，而是指出 winner-selection paradigm 与 population representation paradigm 的根本冲突。只要目标是选择最优项，微小 preference margin 就会被 policy optimization 放大；如果目标是反映 population，则 policy 应该接近 population share。

因此本文缺口非常明确：需要一种 pairwise-only、group-label-free、axiomatically justified 的 proportional alignment rule。它不追求 exact random dictatorship，因为那在 pairwise data 下不可实现；它追求可实现规则中尽可能强的弱比例保证。

Core Idea

论文真正核心的思想是：不要把 P(y≻y') 直接当成 reward / payoff 去优化，而是把它当成由隐藏 top-choice coalitions 混合生成的观测边际。对于每个 alternative yi，如果有 wi 的人把 yi 排第一，那么无论他们如何排列其他选项，yi 对任意 y 的 pairwise preference 至少贡献 wi。因此 wi ≤ min_{y≠yi} P(yi≻y)。这个最小 pairwise win probability ui 就成了 yi 可能代表的人口份额上界。

基于这个上界，policy 不再选择 Borda winner / Nash equilibrium，而是按 ui 分配概率：πi∝ui。这相当于把 preference learning 从“强者全拿”的 optimization rule 改成“对可行 population distribution 的保守覆盖”。它的 inductive bias 是：pairwise 支持最弱的一条边决定该 alternative 可被解释为 top-choice coalition 的最大规模；policy 应该覆盖这些潜在 coalition，而不是只奖励平均胜率最高者。

和 prior 的本质区别在于信息流重新组织：RLHF/NLHF 是 P→score/game→winner/equilibrium；本文是 P→feasible population constraints→proportional policy。它不需要显式 group labels，因此比 group-conditioned pluralistic alignment 更 general；但它的 generality 来自保守外近似，而不是更强的 representation learning。

Method

1. Feasible population set：定义 W(P) 为所有与观测 pairwise preference P 一致的 top-choice distribution。这个对象直接对应“在 pairwise data 下哪些 population shares 仍可能是真的”。它解决的是 proportional alignment 的可识别边界问题。

2. Polyhedral outer approximation：精确 W(P) 需要处理由 strict rankings 诱导的复杂约束，实际不可扩展。作者用 ui=min_y P(yi≻y) 给出 wi≤ui，得到 Wbar(P)。这是方法成立的关键压缩：把 profile recovery 简化为 M 个上界。它牺牲 tightness，换来 tractability 和可证明性。

3. Conservative proportional rule：令 πi=ui/Σj uj。这个 rule 在机制上是在最大化对所有 feasible population 的最坏比例覆盖；更直观地说，它把 policy mass 给到那些在最差 pairwise matchup 中仍有支持的 alternatives。它带来的核心变化是把 deterministic selection 改成 population-bounded stochastic selection。

4. Axiomatic guarantees：证明该 rule 满足 monotonicity、Pareto efficiency、α-PPA 和 γ-PBM。这里最重要的是 PPA 与 PBM：前者保证 πi/wi 有下界，后者保证单个 top-choice group 通过操纵 profile 后也不能任意把自己偏好的 yi 推到 1。

5. Softmax relaxation：πi∝ui exp(βui)。这是为了处理 PPA 与 Condorcet consistency 的不可能兼得。β 越大越接近 minimax Condorcet，win-rate 更高但 PPA 变差。这个组件更像 practical knob，而不是核心理论创新。

6. Function approximation：在 LLM 场景中估计 u(y|x)=min_z P(y≻z|x)，再拟合对应 policy。它解决开放上下文下 tabular rule 无法直接应用的问题，但其理论 cleaness 明显弱于 tabular setting。

Key Insight / Why It Works

最核心的 insight 是：pairwise preference 虽然不足以恢复完整 profile，但足以给每个 top-choice group 的 population share 一个简单上界。这个上界来自 top-choice unanimity：把 yi 排第一的人必然在所有 pairwise comparison 中偏好 yi 胜过其他项。因此 min pairwise win probability 是一个保守但有效的 coalition-size certificate。

方法有效不是因为更好的 reward modeling，也不是 scaling，而是换了 aggregation inductive bias。RLHF/NLHF 把 pairwise margin 当作优化信号；本文把 pairwise margin 当作 latent population constraint。这个转变使得 51/49 不会被直接推成 100/0，除非 β 被调到很大。理论上的 PPA/PBM 都来自这个 constraint view，而非训练技巧。

最可能的核心贡献是 pairwise-only feasible population upper bound + proportional policy construction。这一块很干净，也确实把 social choice 中 random dictatorship 的不可实现性转化成了一个可实现的 conservative surrogate。相比之下，softmax relaxation 是必要但普通的 engineering/normative interpolation；LLM function approximation 也主要是把规则套到高维模型上，增益来源不清。

需要警惕的是，ui 不是 population estimate，而是 upper bound。π∝ui 代表的是“可能有这么多人支持 yi”，不是“确实有这么多人支持 yi”。当外近似很松时，方法可能把不确定性误当成 pluralism。也就是说，它有时不是在更准确地对齐 population，而是在对不可识别性做保守 hedge。这个 hedge 是理论上合理的，但与真实 proportional alignment 不是同一件事。

在 LLM 实验里，所谓 scalability 更像 proof-of-concept。开放输出空间下 min_z P(y≻z|x) 的 z 集合如何定义非常关键；如果 candidate responses 来自有限模板或 group-generated responses，那么 PPA 很可能依赖数据构造和 annotation model，而不是模型真正学到了 population-proportional generation。这里的增益可能主要来自 synthetic/group-labeled data coverage，而不是泛化能力。

Relation To Prior Work

这篇最接近三条线：RLHF/NLHF 的 social-choice reinterpretation、pluralistic alignment / group-robust RLHF、以及 probabilistic social choice 中的 proportional representation。

相对 RLHF，论文利用已有结论把 BT-MLE reward ranking 对应到 Borda ranking，指出其 winner-take-all 性质与 PPA 不兼容。相对 NLHF/maximal lotteries，本文承认它处理 cycle 更好，但指出 Nash equilibrium 仍不保证 population share representation。也就是说，NLHF 修的是 preference inconsistency，不是 population proportionality。

相对 max-min/group-robust/social-welfare 方法，本文的不同点是无需显式 group labels。很多 pluralistic alignment 方法本质上先识别或指定 groups，再做 mixture / conditioning / steering；本文从 aggregate pairwise data 中只恢复 feasible share constraints。这是实质差异。

相对 random dictatorship，本文是其 pairwise-implementable surrogate。random dictatorship 在 full profile 下完美比例，但 pairwise data 下不可实现；本文用 ui upper bound 做可实现的弱比例版本。这个连接是论文最漂亮的 social-choice contribution。

哪些看似新其实是重组：softmax β trade-off、Condorcet interpolation、LLM two-stage fitting都不是本质新机制，更像把 existing preference optimization 工具接到新 rule 上。实质创新在于把 population-proportional alignment formalized as axioms，并给出 pairwise-only 可实现 rule 及其 PPA/PBM guarantee。

Dataset / Evaluation

实验覆盖两个层次：tabular MovieLens recommendation 和 LLM instruction tuning。Tabular 设置较适合验证理论，因为 alternatives 有限、profile/ranking 可以相对明确、ui 和 PPA 可直接计算。这里的结果主要说明预期 trade-off：β 从 proportional rule 走向 winner-selection rule 时，win rate 上升、PPA 下降，manipulation gain 降低。这支持核心理论 claim，但并不意外。

LLM 实验更像 scalability demonstration，而不是严格验证。Synthetic color task 有明确 finite response set 和可控 population，因此能干净观察 β 的作用；但任务过于模板化，不能说明开放式 alignment。Alpaca-GPT4 使用 expertise/style 两类 group，并用 GPT-4.1 生成/标注 group responses；这实际上引入了强 hidden supervision 和 annotation bias。PPA 的测量依赖 GPT-4.1 classification，不是直接从真实 human population 估计。

因此 evaluation 支持“规则可实现、trade-off 存在、LLM 上能跑”，但没有充分支持“真实开放环境中能无 group label 地实现 proportional alignment”。特别是 claim 中最难的部分——从匿名 pairwise data 中稳健反映真实 population distribution——在 LLM setting 并没有被强验证。

Limitation

1. Top-choice-only proportionality：PPA 只约束每个 group 的第一选择概率，不考虑 lower-ranked preferences。一个 alternative 被许多人排第二但无人排第一，在该框架中没有代表性地位。这可能与 broader welfare / pluralism 目标冲突。

2. 不可识别性没有消失，只是被外近似管理：真实 w 不能从 P 恢复，ui 只是上界。π∝ui 的行为在 Wbar(P) 松时可能偏保守甚至失真。方法把“估计真实 population”转成“覆盖所有可能 population”，这是一种 robust hedge，不等于 accurate alignment。

3. 外近似 tightness 是实际上限：理论保证依赖 Σui 较小或非 dominated alternatives 较少。如果许多 alternatives 都有中等 pairwise support，Σui 会大，PPA 下界变弱。论文有随机 ranking 分析，但真实 LLM preference space 下 tightness 文中未充分说明。

4. Condorcet / win-rate trade-off 无法原则化：β 是手动 knob。论文证明 PPA 与 Condorcet consistency 不可兼得，但没有给出 deployment 中如何选择 β 的规范标准。实际系统仍需要外部价值判断。

5. PBM 不是 strategyproofness：PBM 是 group-level over-representation bound，不是 individual incentive compatibility。现实中 evaluator manipulation 通常是个体、平台、数据采样和模型训练共同作用，γ-PBM 的实际安全含义有限。

6. LLM scaling 部分可能主要来自 data/candidate coverage：开放生成空间中 Y 的定义、u 的 min over z、policy distribution 的估计都很脆弱。所谓 proportional generation 很可能依赖预先构造的 group responses 和 GPT annotation，而不是模型内生学到多元偏好结构。

7. 两阶段 function approximation 有误差传播：先学 selector/u，再学 policy；任何 preference model misspecification 都会放大到 π。文中未充分说明 finite-sample / approximation error 下 PPA/PBM 是否还能保持。

8. 对真实部署的鸿沟明显：真实 RLHF 数据有噪声、非独立采样、prompt-dependent demographics、strategic annotators、changing population。论文的 axioms clean，但 deployment 中 profile 是否稳定、P 是否由某个 σ 诱导，本身就是强假设。

Takeaway

  • 1. 这篇真正推动的是把 alignment objective 从“选出 collective winner”推进到“在 pairwise-only 约束下做 population representation”。
  • 这比单纯改 reward model 更有概念价值。
  • 2. 最可迁移的 insight 是：当 latent group 不可观测时，可以先从 aggregate comparisons 中提取 feasible group-share constraints，再用 robust/proportional rule 做 policy，而不是强行聚类或学习单一 reward。
  • 3. PPA 与 Condorcet consistency 的不可能兼得是重要提醒：pluralistic alignment 与 majority efficiency 是真实 normative trade-off，不应被包装成一个更大模型就能自动解决的问题。

一句话总结

这篇论文把 RLHF/NLHF 的 winner-selection 范式改写为 pairwise-only 条件下的保守比例代表范式，核心贡献是用 social-choice axioms 和 feasible population upper bounds 给出一个可实现但弱化的 random-dictatorship surrogate。