Awesome RL with Human Feedback / 2026 / OpenReview

Eliminating Inductive Bias in Reward Models with Information-Theoretic Guidance

作者：Zhuo Li, Pengyu Cheng, Zhechao Yu, FeifeiTong, Anningzhe Gao, Tsung-Hui Chang, Xiang Wan, erchao.zec, xiaoxi jiang, guanjunjiang · 单位：Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong (Shenzhen) · 来源：OpenReview · 发布日期：2026

奖励建模偏好学习理论/遗憾界

精读笔记

Problem Setting

论文标题：Eliminating Inductive Bias in Reward Models with Information-Theoretic Guidance（Awesome RL with Human Feedback / 2026）。

这篇论文处理的是 RLHF 中 reward model 把偏好数据里的非因果属性当成质量信号的问题。更具体地说，RM 在 pairwise preference 上训练时，容易学习到“长答案更好”“迎合用户更好”“某种格式更好”这类 shortcut；这些 shortcut 在静态 RM 上也许只是相关性偏差，但一旦进入 PPO/DPO，policy 会主动 exploit，变成 reward hacking。

关键困难是：这些 bias 并不是纯噪声。长度、格式、礼貌/认同语气经常与真实 helpfulness 共现。直接惩罚长度或做分布不变性，很容易把真实质量信号一起抹掉；不处理又会让 RM 学到最便宜的决策边界。以前方法主要卡在两点：一是 bias measurement 太弱，如 Pearson 只捕捉线性相关；二是约束太硬，如 MMD / counterfactual invariance 容易压塌 reward landscape。这个任务的核心矛盾就是：要让 RM 不依赖 spurious attribute，但又不能把该 attribute 中与真实质量共线的有效信息全部删除。

Motivation

作者的出发点是合理的：RM debiasing 不能继续停留在“reward score 和某个标量 bias 低相关”这个层面。真实 bias 往往是非线性的、类别化的、上下文依赖的，甚至体现在 response pair 的相对关系里，而不是单个 response 的绝对属性。Pearson penalty 对这种结构基本无能为力。

InfoRM 这类泛化的信息瓶颈方法虽然也使用 information-theoretic language，但它压缩的是整体 representation，并没有显式告诉模型“要去掉哪类信息”。所以它可能去掉 spurious feature，也可能去掉 useful feature，缺少 targeted debiasing 的保证。DIR 的关键缺口定位是：需要一个既能显式指定 bias，又能表达复杂依赖关系，并且和 pairwise RM 训练形式兼容的 debiasing objective。

Core Idea

DIR 的真正核心是把 reward modeling 重新写成一个有监督的信息分解问题：RM prediction / representation 应该最大保留关于 human preference 的信息，同时最小保留关于 bias attribute 的信息。这里的改变不是简单加 regularizer，而是把“偏见”从 score-level correlation 提升到 representation-level information leakage。

这个建模带来的新 inductive bias 是：好的 RM 表征应该对偏好可分、对指定 bias 不可分。换句话说，模型被迫寻找不依赖目标 bias 的 preference evidence。相比 prior work，它不再假设 bias 与 reward 的关系是线性的，也不要求 chosen/rejected 两组 distribution 完全 invariant，而是在 pair representation 上降低 bias 可预测性。这使它理论上更 general：length、sycophancy、format 都可以被统一看成某个 b，并通过同一个信息约束处理。

直觉上，这类似 adversarial debiasing / domain-invariant representation learning，但作者用 MI upper bound 给了一个更直接的依赖度目标。真正有用的地方是 targeted information removal，而不是“信息论”本身。

Method

方法上保留三个必要机制。

第一，preference term：标准 Bradley-Terry loss 被解释为 BA lower bound 下的 preference MI maximization。这个解释本身不是新算法贡献，但它把普通 RM loss 放进了同一个信息论框架里，方便和 debiasing term 对偶起来。

第二，debiasing term：作者不直接最小化 I(prediction; b)，而是通过 data processing inequality 用 I(H; b) 上界它，再用 CLUB 构造可优化估计。机制上，这相当于训练一个 bias predictor qψ(b|H)，让它尽量准确识别 bias；同时训练 RM 表征让这个 predictor 失效。它解决的是“复杂 bias 依赖不可手工建模”的问题。核心变化是从 score-level regularization 变成 hidden representation-level information removal。

第三，relative bias attribute：对 length 这类属性，不预测绝对 token count，而预测 chosen 是否更长、是否带 sycophantic phrase、是否有某种格式。这个设计很关键，因为 RM 的监督本来就是 pairwise 的；bias 也应该定义在 pairwise comparison 中。否则模型可能被迫学习无关的绝对属性，或对不同长度区间做不必要的 reward flattening。

训练上迭代更新 RM 和 estimator，本质是一个 alternating minimization。具体 MLP、学习率、batch size 不是核心贡献。

Key Insight / Why It Works

DIR 最可能有效的核心原因是 representation alignment：它把 RM 的有效信息通道从“容易预测 bias 的表征”推向“仍能区分 preference 但不泄露目标 bias 的表征”。这比在输出 reward 上做线性去相关更强，因为很多 shortcut 在 hidden space 中已经形成，等到 score 层再惩罚往往太晚。

最有价值的 insight 是 pairwise relative debiasing。RM 学的是 r(x,yw)-r(x,yl)，所以 bias 约束也应该作用在 Δh 或 pair representation 上，而不是单个 response 的属性。这一点比 MI 包装更实质。它解释了为什么方法能在长度控制上不退化为简单 length penalty：模型不是被要求讨厌长答案，而是被要求不要用“chosen 比 rejected 长”作为稳定证据。

CLUB/MI 部分提供了更一般的依赖度度量，确实比 Pearson 更适合非线性和类别 bias。但需要直接判断：这里的理论保证主要是 objective-level 的，不等价于真实消除 bias。MI estimator 是否准确、qψ 是否足够强、batch 内负样本是否合理，都决定了约束强度。因此“information-theoretic guidance”是合理 framing，但不是无条件保证。

哪些可能只是辅助：BA bound 对 BT loss 的解释更多是理论整理，不改变训练本质；bias head 的实现也接近 adversarial classifier。哪些可能带来实际收益：relative attribute、Δh 表征、显式 bias target、额外正则化共同作用。不能排除一部分增益来自 regularization/curriculum-like effect，而不是 MI 上界本身。

这不是 scaling、retrieval、test-time compute 或 memory reuse 的工作；本质属于 better inductive bias / representation alignment。它通过改变 RM 学到的 latent structure 来降低 downstream policy 的 exploitability。

Relation To Prior Work

最接近的谱系有三条：RM length/format debiasing、adversarial/domain-invariant representation learning、information bottleneck / MI minimization。

和 Pearson penalty 方法相比，DIR 的本质差异是依赖度度量从线性相关变成 MI-style 可预测性；bias 从 scalar score correlation 变成 representation leakage。这是实质差异。

和 PoE / 双头 length disentanglement 相比，DIR 不只适用于长度，也不要求 bias 是连续标量；但从机制上看，仍然是在训练一个额外 head 识别 bias，只是目标函数更一般，理论叙事更清晰。

和 MMD / causal reward methods 相比，DIR 的约束更软：不是强迫 chosen/rejected 或 counterfactual distributions 完全一致，而是降低指定 b 的信息。这可能更不容易破坏 reward landscape。

和 InfoRM 相比，DIR 的新增信息最明确：InfoRM 是 generic compression，DIR 是 targeted removal。这个差别很重要，因为 reward hacking 通常来自具体可命名的 exploit feature，而不是所有冗余信息。

看似新的部分：把 BT loss 解释成 MI maximization并不新，本质是已有 BA bound 思想的重组。实质创新：把 CLUB-style MI minimization用于 RM pair representation 的指定 bias 去除，并用 relative bias label 适配 preference learning。

Dataset / Evaluation

评估覆盖了三类常见 RM shortcut：length、sycophancy、format，并且测试了 PPO、DPO、RM benchmark、能力 benchmark、ArenaHard/MT-Bench/AlpacaEval 等偏开放生成评估。覆盖面比较广，足以说明方法不是只对单一 length bias 有效。

但验证强度有明显边界。sycophancy 和 format 主要依赖人工污染或合成格式偏差，能够验证 targeted debiasing 是否按预期工作，但离真实偏好数据中的复杂 sycophancy 还有距离。length 部分更接近实际问题，但很多指标仍是离线 benchmark 或 LLM-as-judge，不能完全证明在线 RLHF 中 reward hacking 被消除。

实验支持的 claim 是：DIR 能降低已知、可标注、训练时显式指定的 bias，并在若干 benchmark 上保持/提升下游表现。实验没有充分支持更强的 claim：能够“eliminate inductive bias”或泛化到未知 bias。

结果归因也有不清楚的地方：DIR 与 baseline 的训练 recipe、数据处理、relative label 构造、额外 head 正则化之间的贡献虽然有部分 ablation，但 MI estimator 本身相对普通 adversarial debiasing 的独立收益没有被完全隔离。

Limitation

第一，方法依赖 bias 可定义、可标注、可枚举。现实 reward hacking 往往是 policy 在优化过程中发现的新 pattern，不一定事先知道。DIR 对 unknown unknowns 没有机制。

第二，去 bias 的前提是 bias 与真实质量可分。如果长度或格式在某些任务中确实承载质量信息，强行降低 b 在 H 中的可预测性可能会删除有用信号。作者也观察到 λ 过大时简单任务性能下降，这说明 trade-off 是真实存在的。

第三，MI upper bound 的理论与大模型训练之间有 gap。CLUB 需要 qψ 近似 p(b|H)，但 hidden representation 高维、训练动态非平稳，estimator 可能滞后或容量不足。此时优化的是 estimator failure，不一定是真实 MI 降低。文中未充分说明 estimator collapse / adversarial instability 的诊断。

第四，多 bias 扩展目前是多个 independent heads 相加。若 bias 之间相关，或某个特征同时是 length 与 sycophancy 的 proxy，梯度冲突和 over-removal 可能出现。文中 multi-bias 实验较小，不能证明 scalability。

第五，所谓泛化提升的归因不干净。可能来自更好的正则化、relative Δh 表征、训练数据覆盖、policy fine-tuning 稳定性，而不是信息论目标本身。部分增益可能主要来自 engineering / data，而不是理论机制。

第六，offline benchmark 与 deployment 鸿沟仍在。真实在线 RLHF 中 policy 会主动搜索 RM 盲点；DIR 只是减少已知盲点的信息泄露，不等于形成 robust reward specification。

Takeaway

  • 1. RM debiasing 更应该被看成 representation-level information control，而不是 output-level score calibration。
  • 只惩罚 reward 与长度的相关性太浅。
  • 2. Pairwise relative bias 是一个可迁移 insight：凡是 preference learning 中的 shortcut，都应优先定义成 pair-level attribute，而不是 sample-level absolute feature。
  • 3. Targeted information removal 比 generic information bottleneck 更适合 reward hacking 场景。

一句话总结

DIR 是一篇把 RM debiasing 从线性 score 去相关推进到指定 bias 的表示级信息约束的工作，实质贡献在于 targeted pairwise representation debiasing，而不是单纯的信息论包装。