Awesome RL with Human Feedback / 2026 / OpenReview

Learning Ordinal Probabilistic Reward from Preferences

作者：Longze Chen, Lu Wang, Renke Shan, Ze Gong, Run Luo, Jiaming Li, Jing Luo, Qiyao Wang, Min Yang · 单位：Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, University of Chinese Academy of Sciences, Shenzhen University of Advanced Technology · 来源：OpenReview · 发布日期：2026

奖励建模偏好学习

精读笔记

Problem Setting

《Learning Ordinal Probabilistic Reward from Preferences》（Awesome RL with Human Feedback / 2026）处理的是 reward modeling 中一个长期被低估的问题：偏好模型通常擅长回答“哪个更好”，但不擅长回答“这个回答本身处在什么质量层级”。标准 BT/DRM 学到的是相对 margin，分数可以排序但不可解释、不可校准，也很难设定可靠 acceptance threshold。GRM/LLM-as-judge 则更接近绝对评价，但代价是点式监督、生成式推理成本、pairwise 输入格式和评价稳定性问题。

真正困难点在于：pairwise preference 本身只提供相对约束，却希望得到 pointwise、绝对、可校准的 reward。这个反问题天然欠定。论文的核心目标不是简单提高 pair accuracy，而是把 pairwise preference 中隐含的质量结构重写成一个 ordinal probability distribution，并让这个分布既能排序，又有一定绝对语义。

Motivation

作者对已有路线的判断是合理的：DRM 的 scalar reward 本质上是 gauge-free 的，任意平移/缩放都不改变 BT likelihood，因此谈“绝对质量”是没有根据的；GRM 虽然能通过 critique 或 rating 引入语义，但训练和推理都更重，而且很多 GRM 实际上依赖昂贵 pointwise calibration 才能达到 DRM 的排序能力。

关键缺口是：有没有一种方法可以仍然只吃 preference data，却输出类似 rating model 的质量分布？也就是说，既保留 BT 的数据效率和 BoN 友好性，又获得 GRM/pointwise judge 的概率解释和绝对区间。OPRM 的动机正是把 reward 从 deterministic scalar 改成 ordinal random variable，让“偏好”变成两个质量分布之间的随机效用比较。

Core Idea

核心想法很简单但有效：对每个 response 不输出一个 reward，而输出在 1-9 有序等级上的概率分布；偏好概率不是 sigmoid(r_c-r_r)，而是 P(S_c>S_r)。这样 pairwise preference 的监督信号会作用在两个完整分布的联合空间上，而不是只作用在两个点估计上。

这个改变引入了一个重要 inductive bias：质量是有序离散变量，不是任意实数；相邻分数之间存在顺序结构，模型应当把 chosen 的概率质量整体往高分移动，把 rejected 的概率质量整体往低分移动。相比 BT，这个表示天然带有 bounded scale 和 uncertainty；相比普通分类，它仍保留 preference margin 的连续变化。论文真正有价值的地方不是“用 1-9 打分”，而是把 pairwise likelihood 写成 ordinal distribution 的下三角概率质量，从而让 preference learning 产生 pointwise distribution。

Method

方法层面最关键的不是训练 recipe，而是三个机制。

第一，Probabilistic Reward Modeling：将 response quality 视为随机变量 S，偏好概率定义为 P(S_c>S_r)。连续形式没有闭式且需要积分/采样，所以作者转为离散 ordinal support。这一步解决的是 BT scalar 不可解释的问题，也把 reward 的不确定性显式暴露出来。

第二，OPRM：在有限有序分数集合上计算 P(S_c>S_r)=sum_s_c p_c(s_c) sum_{s_r<s_c} p_r(s_r)。这保留了 BT 的排序驱动力：提高 chosen 高分质量、提高 rejected 低分质量都会增加 likelihood。它带来的核心变化是 preference loss 不再只看两个标量差，而是看两个分布的 stochastic dominance 关系。

第三，Region Flooding Tuning：单纯用 good/normal/bad 区间约束会让目标区域变成矩形，梯度只要求落入区间，不再鼓励区间内部拉大 margin。RgFT 将区域 flooding 成下三角形，使质量区间监督和 preference margin 目标兼容。它解决的是“绝对质量锚定会削弱排序分离压力”的问题。

Key Insight / Why It Works

这篇论文最重要的 insight 是：BT 的优势不是 scalar 本身，而是其梯度结构提供了持续的分离压力；只要新的分布式目标保留这种压力，就可以替换掉 scalar reward，并获得额外的 calibration/uncertainty 表达。OPRM 的 P(S_c>S_r) 正好满足这一点：chosen 在更高 score 上的质量越多，rejected 在更低 score 上的质量越多，目标越大。这比普通 ordinal classification 更适合 reward modeling，因为排序 margin 没有被离散标签吃掉。

第二个有效点是利用 LM head 的数字 token 概率。表面上这是 value-head-free 的 engineering trick，但它可能贡献不小：LLM 预训练和 instruction tuning 已经让数字评分 token 带有一定语义先验。OPRM 实际是在复用模型已有的 judge/rating latent structure，而不是从零训练一个 reward head。这可能解释了为什么它在较小数据上有效。换言之，增益不完全来自新 loss，也可能来自 representation alignment：让 reward 输出落在 LLM 原生语言空间，而不是附加 MLP head。

RgFT 的核心贡献比普通 quality label augmentation 更实质。普通三分类只会学 coarse tier，无法区分同一 tier 内的强弱；简单 region tuning 又会丢失 margin pressure。flooding 机制把 absolute region 和 relative ordering 同时编码进联合概率区域，本质上是把 coarse pointwise labels 转成 structured pairwise constraints。这个设计确实比“加 margin weight”更有结构。

需要警惕的是，文中部分增益可能主要来自 scaling/data/backbone。Qwen2.5-32B 本身 zero-shot judge 能力很强，训练数据来自 Skywork/UltraFeedback 这类高覆盖偏好集，benchmark 与训练分布可能存在语义重叠。RewardBench 还被作者自己指出有 contamination 问题。因此 OPRM 的机制贡献是可信的，但绝对 SOTA 数字不应被过度解读。

Relation To Prior Work

OPRM 最接近三条线：BT reward modeling、ordinal regression / label distribution learning、以及 generative verifier / LLM-as-judge。它与 BT 的本质差异是输出空间从 unbounded scalar 变成 bounded ordinal distribution；与 ordinal regression 的差异是监督不是 pointwise label，而是 pairwise preference likelihood；与 GRM 的差异是它不生成 critique，也不依赖 pairwise prompt judging，而是保持单 response scoring 和 BoN 友好。

所谓 Probabilistic Reward Model 并不是完全新思想，随机效用模型、分布式 reward、uncertainty-aware RM 都已有类似基础。但这篇的实质创新在于把这些思想落到 LLM reward modeling 的可训练闭式目标上，并且用 LM head 数字 token 做 value-head-free 实现。更准确地说，它是“ordinal distributional BT”而不是一个全新的 reward paradigm。

和 margin-based BT 相比，RgFT 更像结构化 margin：不是给 pair 一个 scalar weight，而是规定 chosen/rejected 的质量分布应落入哪些 ordinal region，并通过 flooding 保留内部排序压力。这一点是论文相对 prior 更有新信息的部分。

Dataset / Evaluation

评估覆盖了通用 reward benchmark、pairwise preference、correctness-heavy BoN、RMB 以及 role-play domain adaptation，任务面比较宽，至少能验证 OPRM 不是只对单一 pair accuracy 有效。尤其 PPE-Correctness 和 RMB 的 BoN 设置更接近 reward model 的实际使用场景，因为真实部署中 RM 经常用于 reranking 多个候选。

但 evaluation 对核心 claim 的支撑仍有限。论文声称捕获 absolute quality，主要证据来自 RgFT 后 score distribution 更分离、ECE 更低、少量人工 good/bad set 上分数更极化。这些证据方向正确，但还不足以证明跨域绝对校准。ECE 的 ground truth 由 GPT-4o/human tier 聚合得到，仍然依赖外部 judge 与 coarse label；absolute-good/bad set 只有 100+100，规模太小。

更重要的是，论文没有展示 OPRM 在真实 RLHF loop 中的效果，比如 PPO 训练稳定性、reward hacking、overoptimization scaling、policy improvement。它验证的是 offline RM benchmark，而不是 reward 作为优化目标时的可靠性。对于 reward model 论文，这是一个明显缺口。

Limitation

第一，方法把“绝对质量”问题部分转移给了 quality-level annotation。没有 RgFT 时，OPRM 主要仍是相对排序模型；有 RgFT 时，绝对锚定依赖 good/normal/bad 标签质量。作者自己承认 general-domain RgFT 在部分 benchmark 上不稳定，原因是 AI 粗标和人工校正带来噪声。这说明绝对校准不是免费从 preference 中长出来的。

第二，ordinal scale 的语义稳定性是假设而不是结论。1-9 数字 token 在不同 backbone、tokenizer、prompt、语言和领域中是否代表同一质量尺度，文中未充分说明。LM head 概率还可能受到 prompt wording 和数字 token prior 影响，分布方差也未必等价于真实 human disagreement。

第三，分布表达能力有限。9 个等级和三段 quality region 对通用 helpfulness/safety/reasoning 可能太粗；多峰分布被论文用来解释 annotator disagreement，但训练目标并没有直接观测多标注分布，多峰是否真实学习到而不是 softmax artifact，证据不足。

第四，scaling 归因不清。OPRM-Qwen2.5-32B 优于 72B 的解释被归因为 32B zero-shot 能力，这反而说明 backbone prior 对结果影响很大。没有充分控制 backbone 原始 judging 能力、训练数据规模、LM-head vs value-head 的独立贡献。

第五，offline benchmark 与 deployment 存在鸿沟。一个 calibrated-looking reward 在 BoN 上有效，不代表在 RL 优化下不会被 exploit。OPRM 的 bounded score 可能缓解极端 reward，但也可能限制对超高质量样本的区分；RgFT 的极化还可能放大错误标注带来的 reward cliff。

Takeaway

  • 1. 值得记住的不是 1-9 打分，而是把 BT preference likelihood 改写成两个 ordinal distributions 的 stochastic dominance。
  • 这给 reward modeling 一个很干净的 distributional formulation。
  • 2. 绝对质量校准不能只靠 pairwise preference；需要额外锚点。
  • 但锚点如果直接做分类会损失排序能力，RgFT 展示了一种把 coarse absolute labels 转成 structured pairwise region constraints 的方式。

一句话总结

这篇论文把传统 BT reward model 推进为一种 value-head-free 的 ordinal distributional preference model，真正贡献在于用 P(S_c>S_r) 和 RgFT 同时保留排序梯度与绝对质量锚定，属于 reward modeling 从标量回归向结构化概率评分演化的一步。