Awesome RL with Human Feedback / 2026 / OpenReview

Learning Correlated Reward Models: Statistical Barriers and Opportunities

作者：Yeshwanth Cherapanamjeri, Constantinos Costis Daskalakis, Gabriele Farina, Sobhan Mohammadpour · 来源：OpenReview · 发布日期：2026

奖励建模偏好学习人类反馈设计理论/遗憾界

精读笔记

Problem Setting

《Learning Correlated Reward Models: Statistical Barriers and Opportunities》（Awesome RL with Human Feedback / 2026）实际处理的是 correlated random utility model 的可学习性问题，而不是普通 reward modeling 的工程优化问题。设潜在效用 X 服从 N(μ,Σ)，观测者只能看到给定候选集合中的 argmax / ranking，目标是从偏好数据恢复 μ 和 Σ，尤其是 Σ 中编码的相关性。

真正困难点在于：choice observation 天然只对效用的相对顺序敏感，对公共平移、尺度缩放、公共随机项都不敏感；因此模型存在结构性不可识别性。更关键的是，pairwise comparison 只给出 P(Xi ≥ Xj)，它本质上只依赖一维差值 Xi-Xj 的均值与方差比，而无法暴露多维 joint geometry。对于 μ=0 的特例，所有 pairwise win probability 都是 1/2，Σ 任意变化都不可见，这已经说明 pairwise 数据根本没有携带相关性信息。

所以这篇论文的关键矛盾是：RLHF 里最常用的数据形态 pairwise preference 正好是最不适合学习 preference correlation 的观测形态；如果想超越 IIA / universal utility，就不能只改模型，还必须改数据收集协议。

Motivation

现有路线不够，不是因为 Bradley-Terry / logit 不够大，也不是因为优化不够强，而是因为它们的 IIA inductive bias 把所有人的偏好压成一个平均效用排序。对 LLM/RLHF 来说，这意味着系统看到用户过去偏好后，不能合理更新对未见 response 的偏好预测；例如两个 response 是否是替代品、某类用户是否同时喜欢一组风格，这类结构在独立 utility 模型里没有位置。

作者抓住的缺口是 observation design：如果相关结构只在联合选择事件中出现，而训练数据只有 pairwise marginal，那么再复杂的 estimator 也只能拟合不可识别的投影。这个视角很重要，因为它把“个性化 reward modeling 为什么难”从模型表达能力问题转成统计可识别性问题。

因此论文的动机不是简单提倡三选一标注，而是证明：对于 correlated probit，pairwise 标注协议在统计上已经失败；best-of-three 是能让 covariance 显形的最小高阶交互之一。

Core Idea

核心思想可以概括为：相关性不是存在于 pairwise win-rate 里，而是存在于多选项联合排序区域的概率质量分布里。三元比较把原本一维的差值符号观测提升为二维 Gaussian 被多个 halfspace 切分后的区域概率；这些区域概率包含了 halfspace 法向之间的角度信息，而角度正是协方差经过 whitening 后留下的几何结构。

和 prior 的本质区别在于，论文没有试图用更强的 neural reward model 从 pairwise 数据里“学出”correlation，而是指出这在一般情形下不可能。它引入的新 inductive bias 是 correlated Gaussian utility，并引入的新信息流是 higher-order ranking event。模型本身并不神秘，真正变化的是数据从 marginal comparison 变成 joint comparison，使 latent covariance 从不可见变成可识别。

这也解释了为什么它理论上 scalable：完整使用所有三元组需要 O(n^3)，但 covariance 有 O(n^2) 自由度；作者通过图聚合只选 O(n^2) 个三元子问题，避免了 naive 三元枚举的组合爆炸。这部分是从 identifiability 走向可估计性的关键。

Method

第一，normalization 解决 choice model 的不可避免对称性。因为对所有 utility 加同一个常数、投影掉公共方向、整体缩放都不改变 ranking，论文固定 ⟨μ,1⟩=0、Σ1=0、Tr(Σ)=n，并假设 rank n-1。这不是技术装饰，而是让“可识别”这个命题有意义。

第二，pairwise impossibility 是核心负结果。论文证明对任意满足 normalization 的参数，都存在无限多组不同的 μ,Σ 给出完全相同的 pairwise probabilities。这个结果直接否定了“用 pairwise 数据拟合 full covariance probit”这类做法的统计基础：即使无限数据也不够。

第三，三元 identifiability 是核心正结果。对于 n=3，模型活在 1⊤X=0 的二维平面上；三元排序的 6 个 permutation probability 对应这个平面被三条边界切成的 6 个区域质量。通过 whitening，把问题转为 isotropic Gaussian 下恢复 halfspace 法向与均值的关系：单边概率恢复 αi=⟨ĉi,μ̃⟩，双边区域概率单调确定 αij=⟨ĉi,ĉj⟩。一旦这些内积恢复，Σ 和 μ 就能反解。

第四，从三元子问题到 n 维全局参数。直接估所有三元子矩阵是 O(n^3)，作者构造一个以 pair 为节点、三元组为边的图，只需 O(n^2) 条边且直径 O(log n)。每个三元估计提供 pairwise quadratic form 的比值约束，全局通过线性/凸聚合恢复 Σ，再恢复 μ。这个机制的必要性在于控制样本复杂度和误差传播，而不是简单工程加速。

第五，有限样本与 lower bound。上界需要 observability：所有三元 permutation probability 至少 γ，避免某些排序事件几乎不可见。样本复杂度约为 n^2 ε^-2，带 γ 的高次多项式和 log 因子。lower bound 说明每个 pair 必须出现在足够多三元实验中，因此 n^2 级别不是分析松弛造成的。

Key Insight / Why It Works

最重要的 insight 是：相关 reward model 的瓶颈首先是统计观测，而不是模型容量。pairwise comparison 是对高维 preference distribution 的严重 marginalization；它保留了谁平均赢谁，却丢掉了“哪些选项一起高/一起低”“哪些选项替代/互补”这些 covariance 信息。best-of-three 有效，是因为它观测到联合排序事件，等价于测量 Gaussian 在二维锥形区域中的概率质量。

这篇最核心的贡献是 identifiability boundary：pairwise 不够，three-way 足够。有限样本算法和 O(n^2) 聚合很重要，但相对来说是把这个边界变成可操作 estimator 的技术推进；真正改变认知的是负结果。它说明很多所谓 correlated preference learning 如果仍只用 pairwise labels，其 learned covariance 要么来自额外 feature prior，要么来自 regularization / initialization / data leakage，而不是由 pairwise 数据本身识别。

从归因上看，这不是 scaling，不是 retrieval，不是 test-time compute，也不是 representation alignment；它是 better data coverage + latent structure identifiability。best-of-three 不是因为给了更多样本数量，而是每个样本的事件类型不同，包含了 pairwise marginal 没有的二阶几何信息。

论文中比较容易被误读的一点是：真实实验里 best-of-three probit 相比 logit 的提升并不大，作者也承认 mean effect 很强。这意味着在许多推荐式数据集中，平均效用排序已经解释了大部分预测准确率；correlation 的价值更多体现在 personalization、counterfactual choice、welfare maximization、menu design，而不是普通 held-out binary accuracy。若只看 accuracy，可能低估论文的理论意义，也可能高估其实际收益。

Relation To Prior Work

它最接近的谱系是 random utility model、multinomial probit、discrete choice theory，以及 RLHF 中的 preference-based reward modeling。和 Bradley-Terry/logit 的差异不是换了 link function，而是放弃 IIA 后学习对象从一个 utility vector 变成一个 utility distribution，特别是 covariance。

和传统 multinomial probit estimation 相比，论文的新意不在于“probit 可以建模相关性”——这是经典事实；新意在于明确证明什么观测协议足以识别相关性。很多 econometrics / transportation 文献关注大规模 probit 的数值估计、积分近似、MLE 计算，但通常默认数据包含多选项 choice 或不正面回答 pairwise 是否可识别 full covariance。本文把这个统计屏障讲清楚了。

和 nested logit / mixed logit 的关系也很清晰：它们同样试图缓解 IIA，但通常通过结构化 grouping 或 latent mixture 引入相关性。本文选择 Gaussian covariance 作为更直接的二阶结构，并给出精确可识别性和样本复杂度。相比这些模型，correlated probit 的优势是 covariance 语义直接；劣势是 Gaussian 假设和高维积分/估计成本。

对 RLHF 来说，它挑战的是 pairwise preference pipeline 的默认合理性。很多 RLHF 工作把 pairwise 数据视为最自然、最便宜、最稳定的反馈形态；本文说明，如果目标包括多样人群建模、个性化、counterfactual preference，那么 pairwise 可能是错误的数据接口。

Dataset / Evaluation

实验覆盖 synthetic、sushi ranking、joke、Netflix、MovieLens 等偏好/评分数据。它们能够验证一个有限 claim：在存在相关结构、且能构造三元排序观测时，best-of-three probit 比 pairwise-probit 更能恢复或利用 covariance；synthetic 中这一点最干净，真实数据中也能看到合理的正负相关 pair，例如续集强正相关、风格群体间负相关。

但这些实验并没有完全验证 RLHF deployment claim。真实 RLHF 中 item 是 prompt-response pair，候选 response 动态生成，用户反馈稀疏且上下文依赖；电影/寿司数据更接近推荐系统或 discrete choice benchmark。它们证明 correlated preference modeling 有用，但不证明在 LLM alignment 中 best-of-three 标注一定划算。

评价指标主要是 context 后预测剩余 pair preference，以及 welfare maximizing subset 的示例。前者容易被 mean utility 主导，因此对 covariance 的验证不够敏感；后者更贴近 correlation 的真正用途，因为高相关高均值选项的组合并不一定带来高 welfare。这个 welfare 实验虽然小，但比普通 accuracy 更能说明为什么 correlation matters。

总体判断：理论 claim 被充分支持；工程/应用 claim 只是初步支持。实验不是论文最强部分，也不需要是最强部分。

Limitation

第一，Gaussian probit 假设很强。人类偏好分布可能多峰、重尾、上下文依赖、受语义 feature 非线性影响；full covariance Gaussian 是一个方便的二阶近似，不一定是实际 preference heterogeneity 的真实形态。若真实分布是 mixture 或离散群体结构，Σ 可能只是在压缩更复杂的 latent population。

第二，observability γ 是理论上非常重的条件。样本复杂度中 γ 的指数很高，说明一旦某些三元排序事件概率很小，估计会急剧变难。真实 RLHF 里很多 response 质量差异巨大，某些排序几乎不会出现；这会让理论 estimator 的有效性依赖主动构造难度接近的候选集。换言之，问题可能从 reward modeling 转移到了 query design / candidate generation。

第三，best-of-three 的标注成本未充分说明。三元排序比 pairwise 更耗认知，标注噪声可能结构性更强；如果只问 top-1 among three 而非完整 ranking，信息量也不同。论文理论上使用 rank-3 permutations / ranking probabilities，实际标注协议的成本-收益需要单独研究。

第四，scalability 上限仍明显。理论上 O(n^2) 对有限 item 集可接受，但 LLM response 空间不是固定 n 个 item；如果把 item 视为 prompt-response pair，n 会爆炸。必须引入 feature-conditioned covariance、low-rank structure 或 neural parameterization，否则不能直接部署。

第五，真实实验中相对 logit 的提升有限，增益来源不完全清楚。部分提升可能来自高阶数据提供更多监督，而不完全是 covariance inductive bias；虽然 theory 区分了信息类型，但实验中 label budget、采样方式、ranking-to-rating conversion 等因素可能混杂。文中未充分说明这些因素的严格控制。

第六，pairwise-probit 在实验中学到错误 correlation 的现象支持负结果，但也提示 full covariance MLE 在不可识别情形下会被 initialization / regularization 任意牵引。实际系统若把这种 covariance 用于 personalization，可能产生虚假的相关解释。

Takeaway

  • 1. 对 correlated reward modeling，数据协议比模型形式更基础；pairwise preference 不是“少一点信息”，而是在一般情形下完全不可识别 covariance。
  • 2. 高阶偏好数据的价值不只是更多监督，而是暴露 joint ranking event。
  • 这个 insight 可以迁移到个性化 RLHF、推荐菜单优化、active preference elicitation：如果目标是学习用户间/选项间结构，就必须设计能观测联合结构的 query。
  • 3. 未来更值得做的是把本文的 identifiability 结果接到 scalable representation：例如 low-rank correlated probit、feature-conditioned covariance、adaptive best-of-k query、以及和 user embedding / context-conditioned reward model 的结合。

一句话总结

这篇论文在 correlated reward modeling 中给出了一个清晰的统计分界线：pairwise preference 无法识别相关效用，而 best-of-three 通过引入联合排序事件使 covariance 可识别，是从“扩大 reward model”转向“重新设计偏好数据接口”的理论型推进。