Awesome RL with Human Feedback / 2026 / OpenReview

Reward Models Inherit Value Biases from Pretraining

作者：Brian Christian, Jessica A F Thompson, Elle, Vincent Adam, Hannah Rose Kirk, Christopher Summerfield, Tsvetomira Dumbalska · 单位：Department of Experimental Psychology, University of Oxford, Department of Computer Science, University of Oxford, Oxford Internet Institute, University of Oxford · 来源：OpenReview · 发布日期：2026

安全对齐奖励黑客/过优化奖励建模偏好学习对齐目标设计

精读笔记

Problem Setting

《Reward Models Inherit Value Biases from Pretraining》（Awesome RL with Human Feedback / 2026）关心的不是 reward model 在 RewardBench 上准不准，而是 RM 的价值判断到底有多少来自 preference data，多少来自它被初始化的 base LLM。关键矛盾是：RM 在 alignment pipeline 中被当作“人类偏好代理”，但训练过程却从一个已经携带语言、文化、语义和价值先验的 LLM 初始化；preference data 的量通常远小于 pretraining data，因此 RM 可能只是在人类偏好标签上局部校准，而不是重写其底层价值表征。以前工作卡在两个地方：一类看 post-trained LLM 的政治/道德偏差，另一类看 RM 的评价准确率或 reward hacking，但都没有把 RM 本身作为继承 pretraining value prior 的对象来分析。真正困难点在于价值偏差不是一个直接监督标签，不能靠 benchmark accuracy 捕捉；需要一个能把 RM reward surface 映射到可解释价值维度、同时能追溯到 base model logits 的方法。

Motivation

作者的出发点很直接：如果两个 RM 使用相同 preference data、相同训练流程，但仅 base model 不同，就在“Love vs Freedom”这类价值选择上系统分叉，那么 alignment 阶段并没有完全决定 RM 的价值函数。已有路线默认 RM 是 preference dataset 的函数，最多关注偏好数据噪声、annotator heterogeneity、RM overoptimization 或 idiosyncratic bias；但缺的是对初始化模型所携带价值先验的归因。核心观察是 Llama-based RM 更偏 agency，Gemma-based RM 更偏 communion，而且这种差异不像随机 seed 或训练 recipe 的偶然性，而是 family-level、跨模型规模、跨 RM 开发者复现。这个观察自然指向一个更大的缺口：pretraining 不是只塑造能力和知识，也塑造 reward model 的“道德直觉”。

Core Idea

论文真正的核心不是训练一个新 RM，而是把 RM 解释问题改写为 reward surface 的价值投影问题。给定一个价值 laden prompt，作者不采样模型回答，而是穷举词表中每个 token 作为回答时的 RM 分数，得到一个完整 token ranking；然后用心理语言学词典把 token ranking 聚合到 agency、communion、care、authority 等价值轴。这种做法的 inductive bias 很强：它假设短 token 的相对 reward 足以暴露 RM 的局部价值偏好，并且人类构造的词典可以作为价值维度的 readout。这个假设不完美，但对比较不同 RM 的相对偏置很有效，因为它避免了 generation policy、temperature、decoding 和 refusal style 的干扰。更有意思的是，作者进一步把两个 LLM 的 log probability ratio 看成 implicit reward。根据 KL-regularized RLHF 的形式，任意两个 policy 的差异都可以被解释为某种 reward 驱动的 policy shift；因此 Llama 相对 Gemma 更愿意输出 Freedom 而不是 Love，不只是语言分布差异，也可被读作从 Gemma 到 Llama 的隐式奖励方向。这一步把“base model logits 差异”与“RM reward 偏差”放到同一个分析框架里，是论文最有迁移价值的建模变化。

Method

方法可以压缩成四个机制。第一，exhaustive token search 解决采样评估不稳定的问题：RM 对每个候选 token 单独打分，直接得到最优/最差响应，而不是依赖模型生成。它的核心变化是把 RM 从黑箱 preference classifier 转成一个可排序的 token-level value landscape。第二，psycholinguistic dictionary projection 解决 reward ranking 无语义坐标的问题：Big Two 和 MFD2 提供人工验证的价值词集合，使得 reward 排名可以被聚合成价值维度上的偏好。这不是语义理解模型，而是一个外部 readout probe。第三，base-model logprob analysis 解决“偏差是否来自 RM 训练”这个归因问题：如果同样 agency/communion split 已经存在于 instruction-tuned 甚至 pretrained model 的 token probabilities，那么 RM 偏差不是 preference finetuning 后才产生的。第四，MWLR implicit reward 解决裸 log-ratio 被低概率垃圾 token 支配的问题：用两个模型概率的 mixture 权重过滤掉两边都不会输出的 token，让 logprob 差异更接近可观察行为差异。最后的 controlled RM training ablation 用于验证持久性：固定训练流程和数据源，只换 base model，看价值差异在训练过程中是否收敛。

Key Insight / Why It Works

这篇论文最重要的 insight 是：RM 的价值偏置不是 reward head 上的浅层 artifact，而是 base model probability geometry 的延续。RM finetuning 在 preference data 上学习 pairwise ranking，但它从一个已有表示空间和语言先验出发；当 preference data 没有密集覆盖某些价值 tradeoff 时，初始化先验会成为默认解。Agency/communion 这类高层价值维度本质上由大量词汇、语境和语义关联共同构成，pretraining 中形成的表示方向很难被几万到几十万偏好对完全重写。方法有效的原因主要是 representation alignment / inherited latent structure，而不是 scaling、retrieval 或 test-time compute。exhaustive search 只是把这个结构显影；心理词典只是 readout；真正的信号来自 base family 在 token probability 和 RM reward ranking 上共享的 latent value geometry。MWLR 是一个有用但偏 engineering 的修正，它让 implicit reward 更干净，但不是核心科学贡献。训练 ablation 的作用也不是证明某个 recipe 更好，而是显示 preference data 与 pretraining prior 的竞争关系：更多偏好数据可以缩小差距，但不保证消除，尤其在 Qwen 或 GRM regularization 场景下偏差更顽固。需要注意的是，论文的“价值”证据主要来自 lexical preference，不应过度外推为完整道德推理或复杂决策偏好。所谓 agency/communion bias 可能部分反映 token frequency、instruction tuning style、chat template 习惯或英文文化语料差异，而不一定是模型内部有显式价值概念；但这并不削弱 deployment 风险，因为 RL 优化看到的就是这些 reward/logit 差异。

Relation To Prior Work

它最接近三条线：RM interpretability、LLM value probing、以及 DPO/IRL 语境下的 implicit reward。和普通 RM benchmark 工作的差异在于，它不问 RM 是否选中人类偏好的答案，而问 RM 的 reward surface 在价值轴上如何偏斜；和 survey-style value probing 的差异在于，它不评估 LLM 生成答案，而直接读 RM 或 base logits 的 token-level ranking；和 DPO implicit reward 的关系在于，它借用了“policy ratio 对应 reward”的数学结构，但不是用于优化，而是用于解释两个既有模型之间的价值差异。看似新的部分中，心理词典投影是已有 psycholinguistic 方法的重组，exhaustive token search 也来自前作；实质创新在于把这两者和 implicit reward ratio 结合起来，形成一条从 pretrained logits 到 downstream RM scores 的归因链。它属于 alignment objective design / reward model interpretability 谱系，但推动点更像是“pretraining-stage alignment matters for RM”，而不是 RM architecture innovation。

Dataset / Evaluation

评价设计基本能支撑核心 claim，但边界很清楚。开放 RM 部分覆盖 RewardBench 上多个 Gemma/Llama RM，能说明 in-the-wild family-level pattern 不是单个模型偶然现象；54 个 prompt perturbation 降低了 prompt wording artifact 的风险；Big Two 与 MFD2 提供了跨价值维度的 readout。base model logprob 与 pretrained/instruction-tuned 对比提供了强归因证据：偏差在 RM 训练前已经可见。controlled RM training 是最关键的验证，因为它控制了 preference data 和训练 recipe，直接观察 bias 随训练步数和数据量变化。问题在于 evaluation 主要是短回答 token-level 场景，距离真实 RLHF deployment 中的长文本、多目标、多轮交互还有明显鸿沟。benchmark 没有真正验证这些 value biases 在完整 policy optimization 后会如何影响行为，只用 top-k token 和概念 ranking 间接说明 downstream relevance。词典覆盖的价值空间也有限，尤其对 safety alignment 中更复杂的 honesty、deception、power-seeking、calibration 等维度没有直接证据。

Limitation

核心前提有三个：第一，短 token response 的 reward ranking 能代表 RM 的某种稳定价值偏好；第二，心理语言学词典的词类映射足以作为价值 readout；第三，base logprob 差异可以被解释为价值差异，而不只是风格、语料频率或 tokenizer artifact。前两个前提在相对比较中可接受，但不支持强语义结论。第三个前提最敏感：Freedom/Love 的差异很有解释力，但它可能混合了文化语料、品牌级 instruction tuning、tokenization、capitalization、chat-template prior 和训练数据分布。文中通过 vocab intersection、prompt perturbation、pretrained model 对比缓解了问题，但未充分说明具体 pretraining 数据成分如何导致差异。scalability 上限也不清楚：作者看到模型越大差异越明显，但没有 scaling law；数据量增加能缩小 gap，但不同 base family 需要多少数据、是否会在高维价值空间中产生新的 tradeoff，文中未充分说明。另一个限制是方法可能把“价值继承”问题转移成“选择哪些价值词典和 prompts”的问题；如果 readout 轴换掉，结论强度可能变化。最后，MWLR 虽然比裸 log-ratio 更 usable，但它是为可解释性服务的启发式指标，不应被当作真实 reward function。

Takeaway

  • 第一，RM 不是 blank slate；base model 选择本身就是 alignment objective design 的一部分，不只是性能/成本选择。
  • 第二，pretraining data filtering、reweighting 和 value-aware pretraining 可能比后期 RM finetuning 更深地决定模型的价值默认项。
  • 第三，implicit reward ratio 是一个值得迁移的分析工具：不仅可比较 Llama/Gemma，也可用于比较 safety-tuned vs base、domain-tuned vs generic、不同文化语料模型之间的隐式目标差异。
  • 第四，未来真正值得做的是把 lexical value probing 推进到 mechanistic interpretability 和 long-horizon behavioral evaluation：需要知道这些 inherited value priors 在 RL optimization 中什么时候被放大、什么时候被覆盖、以及能否被定向编辑。

一句话总结

这篇论文把 reward model bias 的归因从 preference data 推回到 pretraining initialization，核心贡献是用 token-level reward probing 与 implicit reward ratio 证明 RM 的价值函数在相当程度上继承自 base model 的概率几何。