Awesome RL with Human Feedback / 2026 / OpenReview

All Roads Lead to Likelihood: The Value of Reinforcement Learning in Fine-Tuning

作者：Gokul Swamy, Sanjiban Choudhury, Wen Sun, Steven Wu, Drew Bagnell · 单位：Carnegie Mellon University, Cornell University · 来源：OpenReview · 发布日期：2026

奖励建模偏好学习策略优化策略梯度人类反馈强化学习

精读笔记

Problem Setting

论文解决的是 PFT / RLHF 中一个被经验结果掩盖的基础问题：既然 DPO、IPO、SLiC-HF 等 offline preference learning 已经可以把偏好数据写成 likelihood maximization，为什么业界最强 post-training 仍然采用“先学 RM，再用 RL / online preference optimization 解码”的复杂两阶段过程？真正困难点不在于定义偏好学习，而在于解释一个反直觉事实：RM 是信息瓶颈，on-policy sampling 没有新增人类标签，但两阶段方法仍然更强。

以前方法的解释大多偏局部：online data coverage 更好、KL regularization 更正确、PPO 优化性质不同、RM 可用更多数据、global RM OOD 泛化更好。作者认为这些解释都不足以成为根因，因为在控制 loss、checkpoint、数据、训练步数之后，online-offline gap 仍存在。关键矛盾因此变成：如果所有道路都在最大化 likelihood，那么 RL 这条弯路到底改变了什么 hypothesis class？

Motivation

作者的出发点很锋利：从 first principles 看，RLHF 没有理由凭空战胜直接 MLE。偏好数据经过 RM 只会损失信息；on-policy sampling 只是从当前 policy 产生额外 unlabeled candidates，再由同一个 RM 打伪标签。这不是新监督，而是重新组织同一份信息。因此如果 online PFT 更好，原因不应是“采样本身有价值”，而应是两阶段建模路径施加了某种 offline MLE 不具备的 inductive bias。

关键缺口是：现有理论常把 policy 与 reward 的等价关系用于说明 DPO 可以绕过 RL，但没有解释为什么实践中直接学 policy 反而更难。作者把这个缺口转化为一个表示复杂度问题：reward 与 optimal policy / Q-function 虽然在 soft RL 下同构，但同构两端的 circuit complexity 可以完全不同。verification 可能简单，generation 可能复杂；这才是 RL 的潜在价值来源。

Core Idea

论文核心思想可以概括为：RLHF 的价值不是 online interaction，也不是 reward signal 的信息增益，而是通过先学简单 verifier，再用 RL 解码，间接把 policy learning 限制在一个更小、更结构化的 policy 子空间中。offline DPO 在整个 Π 中直接拟合 token-level likelihood ratio；online RLHF 先在 R 中找到一个简单 global reward，再只返回这个 reward 的 soft-optimal policy。前者是直接学 generator，后者是先学 verifier 再求解 generator。

这改变了建模方式：offline PFT 把 LM logits 当作 local reward / Q-function 来拟合，必须在 token 级别解决 credit assignment；online PFT 则把偏好函数作为 trajectory-level classifier 学出来，把 planning / credit assignment 推给第二阶段 RL。新的 inductive bias 是“可被简单 verifier 解释的 policy 才是候选 policy”。这比单纯说 online data 更好更本质，因为它解释了为什么没有新信息仍可能降低 sample complexity：算法用更多计算换更少偏好数据。

Method

1. 信息几何重写：作者把 offline PFT 视为直接把 preference dataset 通过 forward KL / MLE 投影到 policy class；把 online PFT 视为先把数据投影到 reward class，再通过 soft RL 对 reward-induced trajectory distribution 做 reverse KL 投影。这个重写的作用是消除表面算法差异，把问题变成 function class 与 projection path 的差异。

2. 等价性定理：在 R = R(Π)、无优化误差、适当 realizability 和 reference regularization 条件下，RLHF 与 MLE / DPO 返回同一组 optima。这个结果不是为了证明 RLHF 无用，而是为了建立反事实基线：如果两者实践不同，原因必须来自非同构复杂度、优化近似、或隐式偏置，而不是 RL 本身天然更强。

3. H6 proper learning 假设：引入 R_sim，即简单 verifier 子类，并定义 Π(R_sim) 为这些 verifier 的 soft-optimal policy 集合。两阶段 online PFT end-to-end 等价于在 Π(R_sim) 上做 MLE，而不是在整个 Π 上做 MLE。机制变化是把“直接学习复杂 policy”替换为“学习简单 reward + 计算对应 policy”。

4. 反证式实验设计：作者不是提出新 SOTA 方法，而是系统排除 H1-H5：online samples 的内在价值、offline KL 正则失败、online 优化更容易、RM 可训练在更多数据上、global RM OOD 更好等。真正保留下来的解释是 generation-verification gap。

Key Insight / Why It Works

最重要的 insight 是：soft RL 中 reward-policy 同构不意味着两者同样容易从有限数据中学习。DPO 的“your LM is secretly a reward model”在实践中更准确地说是“your LM logits are secretly a Q-function”。而 Q-function 通常比 terminal / trajectory-level reward 复杂得多，因为它需要编码从任意 prefix 到未来偏好结果的多步 credit assignment。对于长 horizon 生成任务，这个复杂度差异会随 effective horizon 放大。

因此 online PFT 的增益最可能来自 better inductive bias，而不是 scaling、retrieval、hidden data 或 online sampling 本身。RL 阶段的作用更像 test-time / train-time compute：用计算把简单 verifier 展开成复杂 generator。它不是在数据层面创造信息，而是在算法层面避免用有限偏好数据直接拟合复杂 Q-function。

哪部分最可能是核心贡献：不是 online DPO 实验，也不是等价定理本身，而是把 online-offline gap 归因到 proper vs improper learning 的统计复杂度差异，并把 DPO/local RM 解释为 Q-function learning。这个解释能统一为什么在 summarization / reasoning 这类 verification easier than generation 的任务上 RL 有用，也解释为什么在 bandit-like 短 horizon 或 lookup-like ROUGE reward 中增益消失。

哪些可能只是辅助：prompt augmentation、GPT-label narrow data、BoN 曲线等实验更多是排除性证据，不是机制证明。global RM OOD 更好也可能只是 in-distribution margin 更好后的表象，而不是独立根因。实验中的 online DPO 仍可能受 RM sampling distribution、GPT-4o judge 偏差、长度偏好等影响，文中未充分说明这些因素是否完全排除。

Relation To Prior Work

这篇最接近三条线：DPO/IPO/SLiC-HF 这类 offline preference optimization；PPO / online DPO / RLHF 这类两阶段 RM+RL；以及 inverse RL / maximum entropy IRL 中“reward simpler than policy”的经典论证。它的不同点在于没有把 online RL 的价值归结为交互式探索或 coverage，而是把它解释成一种 hypothesis class restriction。

相对于 DPO，论文反过来使用了 DPO 的核心等价：既然 policy 可以表示 reward，那么在理想同构条件下 RLHF 应该等价于 DPO；因此 DPO 失败不是因为缺少某个 loss trick，而是因为它直接拟合的是更复杂的 local reward / Q-function。相对于 Song et al. 这类 coverage/KL 解释，本文更强调统计复杂度和 generation-verification gap。相对于 Tajwar / Tang 等经验工作，本文试图给出更基础的机制归因。

看似新的地方其实部分是 IRL 老思想的语言模型化：学 reward 再 plan 比 behavioral cloning 更省样本。但实质创新在于把这个思想接到现代 PFT / DPO 的 likelihood 视角，并指出“同构不等于同样可学习”。这对 RLHF 讨论很重要，因为它把争论从“RL 是否神秘有效”推进到“何时 verifier class 比 generator/Q class 简单”。

Dataset / Evaluation

实验主要基于 TL;DR summarization、Pythia 系列、GPT-4o winrate judge，以及两个用于破坏 generation-verification gap 的构造任务。优点是控制变量做得比常见 online-vs-offline 比较更干净：同一 SFT checkpoint、同一偏好数据、同一 DPO loss、同类模型规模，尽量把差异压缩到是否经由 global RM + online relabeling。

但 evaluation 对核心 claim 的支持仍是间接的。TL;DR summarization 只能代表一种中等 horizon 的文本生成任务，不足以覆盖 reasoning、agentic RL、多轮交互或真实 deployment。GPT-4o judge 本身可能引入偏好偏置，尤其当 RM、policy、judge 都共享类似语言先验时，所谓 verifier simplicity 可能部分来自 benchmark / judge 的可预测性。ROUGE-L 和 two-word summarization 是有用的 sanity check，但它们是人为缩小 gap 的 toy-ish 反例，不能定量刻画真实任务中的 gap 大小。

整体上，实验足以说明 H1-H5 很难单独解释现象，也与 H6 预测一致；但还没有达到“证明 generation-verification gap 是主因”的强度。更强证据应该来自跨 horizon、跨任务、跨 verifier complexity 的 scaling study。

Limitation

核心假设依赖两件事：第一，真实偏好 reward / verifier 比对应 optimal policy / Q-function 简单；第二，神经网络训练确实能利用这种简单性，即 overparameterized RM 不会因为 class size 大而付出同等 sample complexity。两者都合理，但文中没有给出可操作的复杂度度量，也无法预测什么时候 online RL 会失效。

方法也可能只是把问题从“学 policy”转移到“学可靠 verifier”。如果 human preference 本身不可由单一 scalar reward rationalize，或者存在 rater heterogeneity / intransitivity，那么简单 RM 可能学到的是评测器偏差而不是人类目标。此时 RL 会放大 verifier 的错误，generation-verification gap 反而可能变成 reward hacking 的入口。

scalability 上限也不清楚。H6 说 RL 用 compute 换 data，但现实中 RL optimization、sampling、RM overoptimization 都有成本和不稳定性。对于非常长 horizon agent，verifier 也许仍简单，但把 verifier 解码成 good policy 可能计算上极难；online DPO 的有限采样近似未必能代表真正 soft-optimal projection。

此外，增益归因仍有残余混杂：global RM 的 trajectory-level head、loss landscape、margin、regularization 方式、BoN candidate distribution、GPT-4o evaluation bias 都可能贡献一部分差异。作者排除了很多单因素解释，但“核心能力来自 verifier simplicity”仍更像最强解释假设，而不是完全闭环的因果证明。

Takeaway

  • 1. RLHF 的价值不应被理解为 on-policy samples 带来新信息，而应理解为通过 reward bottleneck 给 policy learning 加了结构约束；这是比 coverage 解释更可迁移的视角。
  • 2. DPO / offline PFT 的隐含难点是直接学 Q-function。
  • 对于有长 horizon credit assignment 的任务，直接从 preference pairs 学 token-level logits 可能统计上很贵；先学 terminal verifier 再 RL 解码更合理。
  • 3. 未来真正值得做的是显式控制或学习 Π(R_sim)：如果能在 offline setting 中约束 policy 必须对应某类简单 verifier，可能得到不需要昂贵 online RL 的替代路线。

一句话总结

这篇论文把 RLHF 相对 offline DPO 的优势从“online 数据更好”重新定位为“先学简单 verifier、再用 RL 解码复杂 generator”的统计-计算折中，是对偏好微调中 generation-verification gap 的一次机制化解释。