Awesome RL with Human Feedback / 2026 / OpenReview

RewardBench 2: Advancing Reward Model Evaluation

作者：Saumya Malik, Valentina Pyatkin, Sander Land, Jacob Morrison, Noah A. Smith, Hannaneh Hajishirzi, Nathan Lambert · 单位：Allen Institute for Artificial Intelligence, University of Washington · 来源：OpenReview · 发布日期：2026

安全对齐奖励建模偏好学习对齐目标设计评测/基准

精读笔记

Problem Setting

RewardBench 2 处理的是 reward model evaluation 的“可用性缺口”：我们有越来越多 RM，但缺少一个能区分强模型、避免污染、并对下游 BoN/RLHF 有实际指导意义的评估。以前 RewardBench/RM-Bench 类 benchmark 的问题不是完全错误，而是评估压力太低、prompt/response 与已有下游任务纠缠太深、pairwise 形式太容易被已有 RM recipe 捕捉。

真正困难点在于 RM 的评估目标本身是多重的：静态 accuracy、human preference agreement、BoN selection quality、PPO training utility 并不是同一个量。一个 RM 在固定候选集上会选好答案，不代表它在 policy-gradient training 中给出的 reward landscape 可优化、稳定、且与 policy distribution 匹配。本文最重要的判断是：通用 RM benchmark 可以作为必要筛子，但不能作为 PPO 场景的充分选择标准。

Motivation

已有路线缺的不是更多 leaderboard，而是更可信的 evaluation signal。RewardBench 之后，强 RM 在常见二选一数据上已经接近饱和，分数差异开始混合数据污染、benchmark gaming 和真实能力差异。另一方面，下游 post-training 越来越依赖 RM 做 BoN、filtering、RLHF，但 benchmark 分数和这些用法之间的关系并没有被系统验证。

作者看到的关键缺口有两个：一是评估数据需要脱离常见 downstream eval prompt，否则“相关性”可能只是 overlap 或 implicit memorization；二是 evaluation format 需要更接近实际使用，尤其 BoN 中 RM 面对的是多个候选而不是一个显然更差的 rejected response。

Core Idea

核心思想是把 RM benchmark 从低维 pairwise preference probe 改造成高压 listwise correctness probe：每个 prompt 给一个 chosen 和三个 rejected，让模型必须在多个可能有迷惑性的候选中选出真正正确/合适的 completion。这个设计直觉上有效，因为 RM 下游最常见的一个用途就是在多个候选中排序；pairwise accuracy 很容易高估这种能力，而 best-of-4 更接近 selection under distractors。

本质区别在于它不再主要评估“是否知道哪个回答更像人类偏好”，而是评估“能否在多技能、真实 prompt、强干扰项下稳定恢复任务相关 correctness”。这给 benchmark 注入了更强的 inductive bias：奖励模型需要学到 domain-sensitive quality boundary，而不是利用长度、风格、安全套话等浅层偏好线索。

Method

方法可压缩为几个机制选择。

1. Unseen human prompts：解决 benchmark contamination 和 downstream correlation 虚高的问题。约大部分 prompt 来自真实用户交互，并用去污染工具检查与常见下游 eval 的 overlap。核心变化是让 RM 不能简单依赖训练/评测生态中反复出现的 prompt 模式。

2. Best-of-4 scoring：解决 pairwise benchmark 区分度不足的问题。随机基线降低、干扰项增加，使强 RM 间差异更容易显现，也让评估更接近 BoN selection。

3. Multi-domain correctness construction：解决 RM 能力被单一 chat/style benchmark 掩盖的问题。Factuality、Precise IF、Math、Safety、Focus、Ties 分别覆盖 hallucination detection、constraint following、reasoning correctness、refusal/compliance、topic relevance、等价答案 calibration。这里的重点不是 domain 数量，而是每个 domain 都试图构造相对客观的 chosen/rejected 边界。

4. Downstream correlation validation：解决 benchmark 是否只是自娱自乐的问题。作者分别测 BoN 和 PPO，最后得到一个更细的结论：RB2 对 BoN 是强 proxy；对 PPO 只提供基础筛选，真正性能还依赖 RM-policy lineage 和 training distribution。

Key Insight / Why It Works

这篇最有价值的 insight 不是“做了更难的 benchmark”，而是把 RM evaluation 的两个层次分开了：selection quality 和 training compatibility。RB2 对 BoN 有效，是因为 BoN 本质上就是静态候选排序；best-of-4 benchmark 与 BoN 的信息流高度同构。只要 candidate distribution 类似，RM accuracy 就自然会转化为下游选择质量。

但 PPO 不同。PPO 中 RM 不只是选择器，而是优化目标；policy 会沿着 reward gradient 改变生成分布。因此 RM 的 absolute score geometry、局部 reward margin、policy support、completion style bias、model-lineage alignment 都会进入系统。论文发现高分 off-policy RM 在 PPO 中不一定好，这很关键：它说明“RM 能判断好答案”与“RM 能教当前 policy 变好”不是同一件事。

最可能的核心贡献是 on-policy / same-lineage 依赖的实证识别。作者还发现 RM 对自身 base model 的输出有轻微偏好，这为 PPO 中不同 lineage RM 表现差提供了一个可能机制：reward model 学到的不只是质量函数，还混入了 base model/style/manifold preference。这个偏好在 BoN 中可能只是排序 bias，在 PPO 中会被反复优化并放大。

哪些可能只是 engineering / scaling：多 domain 数据构造、更多人工过滤、更多模型池生成 completion、训练 100+ RM 做 sweep，这些都很有用但主要是 benchmark/data engineering。训练多 epoch 有时更好这个发现也更像 recipe 修正，不是理论突破。真正可迁移的是评估设计思想：评估 RM 时要模拟其下游信息流，而不是只做抽象 pairwise accuracy。

Relation To Prior Work

RewardBench 2 属于 RewardBench/RM-Bench/PPE/RMB 这条 reward model benchmarking 谱系，但它更偏 capability-grounded accuracy benchmark，而不是 human preference agreement benchmark。相比 RewardBench，它的实质新增是 unseen prompts、best-of-4、多新 domain、以及明确验证 BoN/PPO 两类下游使用的差异。相比 PPE，它避免直接复用下游 eval prompt，降低了 correlation claim 的污染风险。相比 RMB，它拒绝完全依赖 LM-as-judge preference，而更强调 objective correctness。

看似新的部分中，best-of-N/listwise evaluation 并不是全新思想，PPE/RMB/RewardMATH 等已有类似方向；多 domain RM benchmark 也不是新概念。实质创新在于把这些设计组合成一个更干净的评估协议，并用大量 RM 证明：同一个 benchmark 对 BoN 和 PPO 的预测机制不同。这是本文相对 prior 最大的信息增量。

它不是提出新的 RM architecture，也不是新的 alignment objective；它更像是 reward modeling 进入成熟阶段后，对 evaluation protocol 的一次校准。

Dataset / Evaluation

数据覆盖面合理，且比早期 benchmark 更接近 post-training 关注的能力组合。Factuality、Math、Precise IF 是明显的 capability probe；Safety 测 refusal/compliance boundary；Focus 测 prompt relevance；Ties 测 calibration 和等价正确答案的 margin 控制。这个覆盖不是完整的 RM 使用空间，但比 chat/style preference 更有诊断性。

评估是否支持核心 claim：对 BoN，支持较强。best-of-4 格式与 BoN 的静态 selection 结构一致，且跨多个下游任务的相关性较高，说明 RB2 可用于挑 off-the-shelf RM 做 inference-time scaling。对 PPO，支持的是一个更弱但更重要的 claim：benchmark accuracy 是必要但不充分。作者没有证明 RB2 能可靠预测 PPO 最优 RM，反而证明单看 benchmark 分数会误导。

明显 limitation 是标签构造仍部分依赖 LM judge、manual verification 和 domain-specific heuristic。Math 虽人工核验但仍受答案抽取/问题歧义影响；Safety 的“正确 refusal”依赖当前 taxonomy；Factuality 的错误检测依赖 judge agreement。Ties 的思想好，但规模小、人工构造强，是否代表开放域多解问题文中未充分说明。

Limitation

1. 核心能力可能主要来自数据覆盖和评估格式，而不是某种新的评估理论。RB2 更难是事实，但难度来源被混合在 unseen prompt、强干扰项、best-of-4、多 domain、人工过滤中，增益归因不清。

2. PPO 相关性有限不是小问题，而是揭示了 accuracy benchmark 的结构性上限。只要 RM 被用于优化而不是选择，静态 benchmark 就无法充分描述 reward landscape。score scale、variance、margin、policy manifold、KL constraint 下的局部梯度都没有被 RB2 直接评估。

3. Same-lineage 结论很重要，但机制还没拆开。可能是 tokenizer/representation alignment，可能是 style bias，可能是 RM 对 base model outputs 的自偏好，也可能是训练 prompt distribution 匹配。文中给了实证现象，但因果分解不足。

4. 部分 benchmark 仍有 hidden supervision / judge bias 风险。Factuality 和 Safety 使用 LLM judge/rubric，可能把 GPT/Claude 的偏好固化为 correctness；模型若训练中见过类似 judge 风格，仍可能产生间接 metric capture。

5. Ties 指标有潜力，但目前更像概念验证。它触及 reward calibration 和 diversity preservation，但没有充分证明其分数能预测 RLHF 后模式坍缩、多样性下降或 overoptimization。

Takeaway

  • 1. RM benchmark 要按下游信息流设计：BoN 需要 listwise selection proxy；PPO 需要的不只是 selection accuracy，还需要 policy-compatible reward geometry。
  • 2. 对 inference-time scaling，RewardBench 2 这类 best-of-k accuracy benchmark 是有实际用途的，可以作为 RM 选择和 hill-climbing 的 proxy。
  • 3. 对 RLHF，不要直接拿 leaderboard 第一的 RM；更合理的是拿高分 RM 的 recipe，在自己的 policy lineage、prompt distribution 和训练设置中重训/校准。
  • 4. 未来 RM evaluation 的关键方向不是再堆 domain，而是评估 reward landscape：margin、variance、calibration、policy support、style bias、on-policy transfer，以及 reward 被优化后的失真。

一句话总结

RewardBench 2 是 reward model evaluation 从简单 pairwise leaderboard 走向下游感知评估的一次重要校准：它用更干净、更高压的 multi-skill best-of-4 benchmark 证明了 RM accuracy 对 BoN 有效，但也明确暴露了 PPO 中 benchmark 分数无法替代 policy/reward 分布匹配的结构性上限。