Awesome RL with Human Feedback / 2026 / OpenReview

Disentangling Length Bias in Preference Learning via Response-Conditioned Modeling

作者：Jianfeng Cai, Jinhua Zhu, Ruopei Sun, Yue Wang, Li Li, Wengang Zhou, Houqiang Li · 单位：University of Science and Technology of China, Zhongguancun Academy · 来源：OpenReview · 发布日期：2026

奖励黑客/过优化奖励建模偏好学习策略优化策略梯度人类反馈强化学习

精读笔记

Problem Setting

《Disentangling Length Bias in Preference Learning via Response-Conditioned Modeling》（Awesome RL with Human Feedback / 2026）处理的不是一般意义上的“长度控制”，而是偏好学习里的因果混淆：人类偏好数据中 chosen response 往往更长，RM 在 BT loss 下自然把长度学成质量代理；policy 再优化 RM 时，会把这个代理放大成 reward hacking。

真正困难点在于长度有双重身份：在普通问答偏好中它常是 spurious shortcut；但在显式长度指令中，它又是任务目标的一部分。因此简单去相关、惩罚长度、压短输出都不是正确解。关键矛盾是：需要降低“无条件偏好更长”的偏置，同时保留“条件化地理解长度要求”的能力。

以前方法主要卡在两个位置：optimization-side correction 对 KL、penalty、clip 等超参敏感，本质是在 policy 端修补 reward misspecification；reward-side disentanglement 则常把长度当作纯 nuisance variable，试图正交化或剥离长度信息，但这会破坏长度作为合法 instruction signal 的场景。本文试图把问题从“去掉长度”改写成“让长度进入正确的条件关系”。

Motivation

作者的核心观察有两层。第一，普通 RM 的偏好严重依赖 response-side 特征：把 prompt 置空、随机替换，甚至扰乱 response token 后，模型仍在很大程度上维持对 chosen 的偏好；reward score 与 response length 呈明显正相关。这说明 RM 没有真正做 prompt-response semantic matching，而是在利用 response 本身的统计捷径。

第二，具有 length bias 的 RM 并不等价于“懂长度”。在显式长度约束评测中，baseline RM 接近随机；即使只给 length-only prompt，也没有稳定遵循约束的能力。这是本文最重要的动机：模型学到的是隐式长度相关性，而不是可组合、可条件化的长度概念。

因此缺的不是更强的 length penalty，而是一种训练信号，使模型把长度从 response quality 的 proxy 转为 instruction satisfaction 的变量。这个方向自然导向 response-conditioned modeling：固定 response，改变 prompt constraint，让模型判断同一回答在不同指令下是否合格。

Core Idea

论文真正的核心是改变偏好比较的轴。传统 BT / DPO 是在同一个 prompt 下比较两个 response：p(yc ≻ yr | x)。这种形式天然鼓励模型寻找 response 间最便宜的区分特征，长度就是最强的 shortcut。Rc-BT 改成固定 response，比较两个 prompt：p(xc ≻ xr | y)。模型面对的是同一个 y，因此不能再通过 response 长短区分优劣，只能判断这个 y 是否满足 prompt 中的语义与长度条件。

这引入了一个很明确的 inductive bias：质量不再是 response 的无条件属性，而是 prompt-response compatibility。长度也不再是 response-level scalar feature，而是 instruction-conditioned constraint。这个建模方式比“长度去相关”更合理，因为它不要求长度与质量独立；它只要求模型学会在不同条件下解释长度。

和 prior 的本质区别在于：prior 多数是在原始 response comparison 框架内抑制长度信号；本文则重排比较对象，让长度信号只能以“是否满足指令”的形式进入 loss。这个变化看似简单，但机制上比加 penalty 更干净，也更可能迁移到其他可显式条件化的偏置。

Method

方法的关键机制只有三个。

第一，构造 response-conditioned preference pairs。对原始 chosen response yc，作者构造一个长度增强 prompt x_l^1，使 yc 违反该长度约束，于是设定 (x, yc) 优于 (x_l^1, yc)。这迫使模型认识到：同一个高质量回答在不满足新增约束时应被降分。它解决的是“chosen response 总是好”的无条件偏置。

第二，对 rejected response yr，构造另一个长度增强 prompt x_l^2，使 yr 满足该长度约束，于是设定 (x_l^2, yr) 优于 (x, yr)。这迫使模型认识到：即便原本语义较差的 response，在某些显式长度约束下也可能相对更匹配。它解决的是“rejected response 总是差”的标签惯性，并防止模型简单学成“带长度 prompt 总是差”或“带长度 prompt 总是好”。

第三，把上述 Rc-BT 目标接到 RM 和 DPO。Rc-RM 只是用同一标量 reward r(x,y) 训练 prompt-pair preference；Rc-DPO 则通过类似 DPO 的 reward-policy 等价推导，把 prompt-conditioned-on-response 的比较写成 joint likelihood ratio。这里没有实质架构创新，核心变化是 preference data 的条件结构。

消融显示 Dc_Rc 与 Dr_Rc 必须成对存在。只用一边会形成新的偏置：模型可能把所有 length-augmented prompt 系统性降分或升分，而不真正判断 constraint satisfaction。这一点说明本文方法不是简单数据增强，而是依赖一个对称的反捷径设计。

Key Insight / Why It Works

最关键 insight 是：长度偏置不是因为模型“太懂长度”，而是因为 BT 训练让模型在 response comparison 中以最低成本利用长度。Rc-BT 的有效性来自比较轴转换后 shortcut 被切断：同一个 response 在两个 prompt 下比较，response 长度完全相同，长度本身不能作为 pairwise discriminator；模型必须把长度与 prompt constraint 对齐。

这本质上是 better inductive bias + data reparameterization，不是 scaling，也不是更大模型带来的能力。它把 latent structure 从“response quality scalar”改为“conditional compatibility”。在这个结构下，长度信号被保留，但只能通过条件匹配发挥作用。这比正交化更自然，因为真实偏好中长度与质量并不独立；独立性假设本身就是错的。

最可能的核心贡献是 response-conditioned preference construction，而不是 Rc-DPO 推导。Rc-DPO 的数学形式更像把同一思想套进 DPO 框架，实质新增信息有限；真正让结果变好的，是训练数据迫使模型学习 constraint satisfaction。Rc-RM / Rc-DPO 的提升很可能主要来自这种结构化监督，而不是算法层面的优化技巧。

LIFT-plus 的失败也反向支持这个判断。直接用 length instruction 格式训练 response preference，模型会快速学会“越短越符合 or less”或“越长越符合 or more”，牺牲语义质量；这说明仅加入长度指令不够，关键是避免 response 间长度差成为偏好标签的捷径。Rc-BT 固定 response 后恰好消除了这个捷径。

不过也要直说：部分增益可能来自更好的数据覆盖和 curriculum。Rc-BT 给模型提供了大量显式长度约束满足/违反样本，这本身就是 hidden supervision。论文虽然做了数据比例和 w/o BT 消融，但仍很难完全区分“建模形式带来的归纳偏置”与“额外合成数据带来的覆盖提升”。我的判断是：二者都有，但没有 response-conditioned 格式，单纯数据增强会像 LIFT 一样走向短偏/长偏，因此格式是主因，数据是放大器。

Relation To Prior Work

最接近的路线有三类：length penalty / R-DPO 类 optimization correction，ODIN 类 reward disentanglement，以及 LIFT 类显式长度指令学习。

相对 R-DPO / penalty 方法，本文不是在 policy objective 上压制长度，而是在 reward/preference 信号层面改变长度的语义位置。R-DPO 更像让模型少生成，不能保证它理解具体长度约束；本文要求模型判断 response 是否满足约束，因此更接近 instruction-conditioned reward modeling。

相对 ODIN 等 disentangled reward，本文没有试图把 length representation 与 quality representation 分开，也不依赖线性无关或多分支结构。它的立场更实际：不证明长度与质量独立，而是构造条件比较，让模型在正确上下文里使用长度。这是实质差异。

相对 LIFT，本文看似也使用 length instruction data，但本质不同。LIFT 仍是在同一 prompt 下比较两个 response，长度差仍可直接决定标签；Rc-BT 固定 response 后比较 prompt，消除了 response-level length shortcut。LIFT 学到的是规则化的长度偏好，Rc-BT 学到的是 prompt-response compatibility。

从技术谱系看，它属于 preference data reparameterization / causal debiasing by controlled comparison，而不是新 RL 算法。其新意在于把 counterfactual comparison 从 response side 移到 prompt side：同一 response 对不同 instruction 的反事实匹配关系。

Dataset / Evaluation

评估设计比一般 length-bias 论文更扎实，尤其是作者意识到原始 Deval 本身 chosen 更长，会导致“偏好更长”也能拿到接近 60% accuracy，于是重构了 length-balanced quality eval。这一点很重要，因为很多 reward model debiasing 工作其实是在有偏 benchmark 上互相比较。

论文验证了三类 claim：普通 RM 存在 length shortcut；Rc-RM 能在 length-debiased quality eval 上提升；Rc-DPO 能在生成侧减少冗长同时保持或提升语义质量。还做了 AlpacaEval-LI-plus-less / more，试图区分“短输出”与“遵循长度约束”。这些评估基本覆盖了论文核心 claim。

但 evaluation 仍有明显限制。Dq_eval 和 Dl_eval 大量依赖 GPT-4o 改写与验证，虽然后续有人类一致性和 Claude 重写补充，但仍可能继承 LLM judge 的风格偏好。尤其是“语义等价但长度不同”的构造，天然会引入 paraphrase artifacts；模型是否在学真正语义质量，还是学会适应这类改写分布，文中未充分说明。

DPO 评估依赖 GPT-4o judge，且 AlpacaEval 本身对风格、简洁性、格式有偏好。论文加入 conciseness criterion 后有利于惩罚冗长 baseline，这合理但也可能放大 Rc-DPO 的优势。真实 deployment 中，用户对长回答的偏好高度任务相关，仅凭 AlpacaEval 系列不足以证明广义 reward hacking 被解决。

跨数据集 HH-RLHF 和 format bias 扩展有价值，但仍是相对可程序化的偏置。它支持“框架可迁移到可构造约束的偏置”，但不能证明对更抽象的人类偏好混淆同样有效。

Limitation

最大前提是 confounder 必须能被显式写成 instruction，并且能可靠判断 response 是否满足/违反。长度满足这一点，格式也部分满足；但对“礼貌”“有帮助”“推理充分”“不过度自信”“引用可信”等更软属性，构造 Rc-BT pair 的可靠性会急剧下降。所谓 broader bias mitigation 目前更多是合理猜想，不是已证明能力。

第二，方法可能把问题从 reward hacking 转移到 constraint hacking。模型学会了显式长度约束，但在复杂多约束 prompt 中，长度、语义、格式、安全性之间如何权衡并未解决。Rc-BT 只提供局部二元反事实比较，不保证全局 preference composition。

第三，增益归因不完全清晰。Rc-BT 同时改变 loss 条件结构、增加训练样本、引入 GPT 合成数据、提供显式长度监督。论文做了不少 ablation，但仍不能完全排除主要收益来自数据覆盖或 curriculum。尤其是用 40% augmented data 就有大部分提升，说明数据效率高，但也说明新增监督本身很强。

第四，Rc-DPO 推导在概念上有点别扭。它从 π(x|y) 的 response-conditioned RL objective 推出，但实际 LM 训练仍是在自回归 joint sequence 上计算 likelihood ratio。这个推导更像为 objective 找理论包装，而不是一个真正可执行的 prompt-generation policy。有效性主要来自 pair construction，而不是该理论推导。

第五，真实人类偏好中长度并非纯偏置。很多任务中更长回答确实包含更多信息、更高覆盖率。Rc-BT 如果构造不当，可能把“必要展开”错误地当成长度 confounder。论文用 length-balanced semantic rewrite 缓解了评估问题，但训练时如何处理长度与质量真实耦合，仍依赖启发式构造。

Takeaway

  • 1. 处理 reward hacking 不一定要删除 spurious feature；更好的做法可能是把它条件化，让模型只在相关 instruction 下使用它。
  • 长度偏置是一个清晰例子。
  • 2. 偏好学习中的比较轴非常关键。
  • 固定 prompt 比 response 会诱导 response-side shortcuts；固定 response 比 prompt 可以迫使模型学习 instruction-response compatibility。

一句话总结

这篇论文把长度去偏从“惩罚或剥离长度信号”推进到“通过 response-conditioned counterfactual preference 学习条件化长度理解”，是偏好学习中用数据重参数化修正 reward shortcut 的一类代表性方法。