Awesome RL with Human Feedback / 2026 / OpenReview

ActiveDPO: Active Direct Preference Optimization for Sample-Efficient Alignment

作者：Xiaoqiang Lin, Arun Verma, Zhongxiang Dai, Daniela Rus, See-Kiong Ng, Bryan Kian Hsiang Low · 单位：Department of Computer Science, National University of Singapore, Singapore, Singapore-MIT Alliance for Research and Technology Centre, Singapore, The Chinese University of Hong Kong, Shenzhen, China, CSAIL, Massachusetts Institute of Technology, USA, Institute of Data Science, National University of Singapore, Singapore · 来源：OpenReview · 发布日期：2026

奖励建模偏好学习对齐目标设计策略优化策略梯度人类反馈强化学习

精读笔记

Problem Setting

《ActiveDPO: Active Direct Preference Optimization for Sample-Efficient Alignment》（Awesome RL with Human Feedback / 2026）实际处理的是一个比普通 DPO 更上游的问题：在还没有偏好标签、人工标注预算有限时，如何选择最值得标注的 response pair，使得后续 DPO 更新对目标 LLM 最有效。

关键矛盾是：偏好标注的价值不是数据本身的静态属性，而是相对于当前 policy / implicit reward 的局部缺口。一个 pair 对某个模型可能已经没有信息量，对另一个模型可能正好补足其 reward geometry 的盲区。因此，active preference selection 如果不看被训练的 LLM，只看外部 reward model、不确定性分数或固定 embedding diversity，本质上是在假设“所有模型需要同一批偏好数据”。这在 alignment setting 下很弱。

以前方法主要卡在两端：启发式方法实用但不稳定，理论方法通常把 reward 线性化为手工 feature 或依赖独立 reward model。前者缺少可迁移的 inductive bias，后者和 DPO 的最终优化对象脱节。ActiveDPO 试图解决的就是这个脱节：selection criterion 要直接作用在 DPO 所使用的隐式 reward 上，而不是作用在另一个代理模型上。

Motivation

作者的核心观察是：DPO 已经暗含了一个 reward model，rθ(x,y)=β log πθ(y|x)/πref(y|x)+const。既然最终训练目标就是通过 pairwise preference 修正这个隐式 reward difference，那么主动选点也应该问：哪一个 preference label 最能减少当前 rθ(y1)-rθ(y2) 的估计误差？

现有路线缺的是一个同时满足三点的 selection signal：第一，它要是 model-specific，而不是 task-level 或 dataset-level；第二，它要能处理非线性 reward，而不是线性 latent reward；第三，它要和 DPO update 直接对齐，而不是先学 reward model 再靠 RL 或其他 policy optimization 间接传导。

因此这篇论文不是在提出一种新的 alignment objective，而是在把 active learning 的信息度量重新绑定到 DPO 的参数空间。这个动机是合理的：在 LLM alignment 里，标注成本高，而模型之间的能力缺口高度异质，静态数据选择很容易浪费预算。

Core Idea

核心思想可以概括为：用当前 LLM 的 DPO 隐式 reward 对参数的梯度差，作为一个 response pair 的“信息方向”；再用历史已标注样本的梯度协方差矩阵 V 来衡量这个方向是否已经被覆盖。选择准则是最大化 ||∇rθ(x,y1)-∇rθ(x,y2)||_{V^{-1}}。这本质上是 neural bandit 里的 confidence width / elliptical potential，被搬到 pairwise preference 和 DPO reward difference 上。

这个 criterion 引入的 inductive bias 是：有价值的偏好样本不是 reward margin 最大或最小的样本，而是在当前模型参数空间里能提供新方向约束的样本。也就是说，它显式偏向 data coverage in gradient space，而不是 output-space uncertainty。这个区别很重要：reward difference 只告诉你模型现在怎么判断，gradient difference 告诉你标注这个 pair 可能怎么改变模型。

和 prior 的本质差异在于信息流闭环。APO/APLP 等方法要么在独立 reward / feature 空间做选择，要么用当前 reward score 的启发式 proxy；ActiveDPO 则让当前 LLM 同时扮演 policy、implicit reward model 和 active selector 的 uncertainty estimator。这个闭环使 selection 更贴近最终 DPO 更新，但也带来更高计算成本和更强的自举偏差风险。

Method

方法中真正必要的机制有三层。

第一，gradient-based acquisition。它解决的是“如何定义一个 preference query 对当前 DPO 模型的潜在信息量”。作者从 neural dueling bandit 的误差界出发，把 reward difference 的估计误差上界写成梯度特征在 V^{-1} 度量下的范数。实际意义是：选那些当前模型在参数空间中没有被充分约束的偏好比较。

第二，history-aware diversity via V^{-1}。如果只看梯度范数，会偏向高敏感但重复的数据；V 矩阵累计历史已选样本的梯度 outer product，V^{-1} 会压低已探索方向。这是方法里最像 experimental design 的部分，也是和简单 uncertainty / margin selection 的关键差别。

第三，dynamic candidate pool。每轮用当前模型重新生成 responses，而不是在固定数据池中反复选择。它解决的是 preference data 过时的问题：当模型变强后，旧 response pair 可能已经无法提供有效训练信号。这个机制让数据分布随 policy 演化，形成一种隐式 curriculum。但文中没有充分隔离它和 gradient criterion 各自贡献，增益归因不完全清楚。

LoRA gradient、random projection、batch selection、gradient normalization 都是工程化支撑。它们重要，但不是概念创新。LoRA/RP 让高维梯度 acquisition 可计算；batch selection 减少反复更新成本；normalization 防止长度导致梯度范数偏置。尤其 normalization 更像修补 criterion 的已知病灶，而不是新的算法思想。

Key Insight / Why It Works

这篇最有价值的 insight 是：active preference selection 应该在“会如何改变目标模型”这个空间里定义，而不是在“当前模型输出分数是否不确定”这个空间里定义。对 DPO 来说，目标模型的可变部分就是 implicit reward 的参数化，因此梯度特征比 reward score 更接近实际训练动力学。

方法有效的主要原因大概率是 data coverage / representation alignment，而不是更聪明的偏好建模。V^{-1} 选择在梯度空间中互补的 pairs，等价于给 DPO 提供覆盖更广的局部约束，降低偏好函数在未覆盖方向上的误差。这和 influence-based data selection、NTK active learning、linear bandit UCB 是同一个机制谱系：用参数空间几何近似“标注这条样本会带来多少新信息”。

另一部分收益可能来自 curriculum：每轮重新生成 responses，使模型不断比较自己当前能力附近的候选，而不是固定比较过难或过旧的 response。这对 DPO 尤其重要，因为 DPO 的有效信号来自可区分但非 trivial 的 preference pairs。如果 pair 太容易，label 几乎只强化已有判断；如果 pair 太差，训练信号可能无助于提升高质量生成。论文没有充分量化这一点，但它可能是实际增益的重要来源。

最核心贡献是把 neural dueling bandit 的 confidence bound 转译为 DPO selection criterion。最可能只是辅助的是 random projection 维度选择、LoRA rank、batch size 等工程配置。gradient normalization 虽然实用，但说明原始 criterion 会受 response length 混杂影响；这也提示其 acquisition 并非纯粹捕捉 preference informativeness。

需要警惕 evaluation bias：实验中的“人类偏好”由一个训练好的 reward model oracle 提供，最终评估也由 reward model 打分。这会偏向那些更能优化该 reward model 表示空间的数据选择方法。ActiveDPO 使用 LLM gradient，而标签与评价来自外部 RM，两者未必等价于真实人类偏好。不能排除部分提升来自 reward-model evaluation 的 proxy alignment，而非真实 alignment。

Relation To Prior Work

这篇最接近三条线：active preference learning / dueling bandits、active RLHF、DPO 数据选择。

相对 APLP，真正差异不是“是否主动学习”，而是 uncertainty 的定义。APLP 用 reward difference / confidence 类信号，本质是 output-space heuristic；ActiveDPO 用 gradient difference + V^{-1}，是 parameter-space information gain。前者容易在模型变准后选择大 margin 但低信息样本，后者理论上更接近“标注后会改变什么”。

相对 APO / sample-efficient RLHF，ActiveDPO 的差异是去掉线性 reward 和独立 reward model 的中心地位，把 DPO policy 本身作为 reward estimator。这是实质性的建模改变：selection objective 和 final optimization objective 更一致。但理论上它仍借用了线性化 / NTK 的局部近似，所以并不是完全摆脱线性结构，而是把线性结构藏在当前模型的 tangent space 里。

相对 LESS / influence-based data selection，这篇的新意在于 preference pair 和 DPO implicit reward 的场景化，而不是“用梯度选数据”本身。用随机投影压缩 LoRA 梯度、用梯度相似性做数据选择，这些思想已有；实质创新是把它和 neural dueling bandit 的 confidence width 结合，并用于主动偏好标注预算分配。

因此它属于“model-aware active alignment”谱系：不是新 DPO loss，也不是新 RLHF pipeline，而是把 data acquisition 从 dataset-level heuristic 推到 policy-conditioned experimental design。

Dataset / Evaluation

实验覆盖 TLDR summarization 和 WebGPT long-form QA，并跨 Llama-2-7B、Gemma-2B、Qwen3-4B，能一定程度说明方法不是单模型偶然有效。作者还比较 Random、APO、APLP，并做了 projection dimension、gradient normalization、model-dependent data preference 的 ablation，这些实验基本对准了论文的核心 claim。

但 evaluation 的最大问题是闭环 proxy：新生成 responses 没有人类实时标注，而是用公开 reward model 当 oracle；最终 performance 也用 reward model 的 average reward / win-rate 判断。这样验证的是“在一个 RM 代理人类偏好的离线模拟环境中，ActiveDPO 是否更能提升 RM 分数”，而不是“真实人类是否更喜欢”。这对 active preference alignment 论文是可以理解的工程折中，但不能过度外推到真实 deployment。

另一个不足是没有充分拆开候选池动态更新和 acquisition criterion 的贡献。APO baseline 被注明没有用新模型 regenerate responses，这可能使比较不完全只反映 selection criterion。文中说为了公平训练和标注 pipeline 一致，但候选生成策略是否一致仍是重要变量。若 ActiveDPO 的收益部分来自更好的 on-policy candidate generation，那么它并非纯 selection criterion 的胜利。

总体上，实验支持“gradient-space active selection 是一个强 baseline”，但还不足以证明其理论优势在真实 human feedback、高噪声、多目标偏好、长链任务中仍成立。

Limitation

第一，理论支撑和实际算法之间存在明显 gap。Proposition 基于 fully-connected 宽网络、NTK/GP 极限、正则化 DPO objective、BTL preference 和 bounded reward；实验则是 transformer + LoRA + 标准 DPO。作者在 appendix 承认 transformer 的 GP-limit 证明缺失。因此理论更像提供设计启发，而不是严格解释实验中的 LLM 行为。

第二，计算上限不可忽视。ActiveDPO 每轮需要对大量 candidate pairs 做 backward pass 获取 LoRA gradients，再做投影和 V^{-1} scoring。即使人类标注更贵，这种方法在大规模候选池、多 response、多任务、多轮在线系统中仍可能成为瓶颈。它把一部分人工成本转移成训练时计算成本，不是免费 sample efficiency。

第三，方法依赖 candidate pool 质量。如果当前模型生成的 responses 都很差或缺少多样性，gradient criterion 只能在低质量 pool 内选“最有信息”的 pair，无法创造缺失能力。核心能力可能主要来自数据覆盖和候选生成质量，而不是 acquisition 本身。

第四，偏好噪声和多目标偏好没有被充分处理。BTL 假设单一 latent reward difference 决定 preference，但真实 alignment 常有风格、安全性、事实性、帮助性之间的冲突。V^{-1} 在梯度空间里追求新方向，可能选择语义上不稳定或标注者分歧大的样本；这在 reward-model oracle setting 下被弱化了。

第五，增益归因不完全清晰。ActiveDPO 同时引入 model-conditioned selection、dynamic response regeneration、gradient diversity、normalization、projection 等组件。实验虽有部分 ablation，但没有充分回答：核心收益到底来自梯度 UCB，还是来自更 on-policy 的数据分布，或来自避免 APLP 的 margin pathology。

第六，真实泛化仍未证明。TLDR/WebGPT 都是已有偏好数据生态中常见任务，且评价依赖 RM。若迁移到安全红队、代码执行反馈、工具调用、多轮对话或专家偏好，gradient-space coverage 是否仍对应人类偏好信息量，文中未充分说明。

Takeaway

  • 1. 主动偏好学习里，selection criterion 应该绑定到最终被优化的 policy / implicit reward，而不是独立 reward model 或静态 dataset heuristic。
  • 这是本文最值得迁移的观点。
  • 2. DPO 的“LLM secretly a reward model”不仅可用于训练，也可用于 acquisition：用隐式 reward 的梯度几何做实验设计，是比 reward margin 更稳的方向。
  • 3. 这篇推动的是 active alignment 从 output uncertainty 走向 parameter-space coverage。

一句话总结

ActiveDPO 是把 neural dueling bandit 式的梯度置信宽度引入 DPO 数据采集的 model-aware active alignment 方法，真正贡献在于用目标 LLM 的隐式 reward 参数空间来定义偏好标注价值，而不是提出新的对齐目标。