Awesome RL with Human Feedback / 2026 / OpenReview

Skywork-Reward-V2: Scaling Preference Data Curation via Human-AI Synergy

作者：Chris Yuhao Liu, Liang Zeng, Yuzhen Xiao, Jujie He, Jiacai Liu, Chaojie Wang, Rui Yan, Wei Shen, Fuxiang Zhang, Jiacheng Xu, Yang Liu · 来源：OpenReview · 发布日期：2026

安全对齐奖励建模偏好学习对齐目标设计样本效率

精读笔记

Problem Setting

论文题目是 Skywork-Reward-V2: Scaling Preference Data Curation via Human-AI Synergy（Awesome RL with Human Feedback / 2026）。它实际处理的问题是 open reward model 的系统性脆弱：在 RewardBench 上已经接近饱和的模型，换到更难的 correctness、BoN、style-bias、安全和真实偏好评测后并不稳定，甚至出现单榜提升不对应下游提升的情况。

真正困难点不是 pairwise reward modeling 本身，而是偏好标签的可扩展可信性。人类标签相对可信但贵；LLM 标签便宜但有 judge bias、position/style bias、事实核查失败、主观偏好不一致；已有 preference datasets 数量大但混入大量合成、弱验证、互相冲突的偏好对。关键矛盾是：RM 需要大规模、多样、高质量偏好信号才能泛化，但高质量和大规模天然冲突。

以前方法主要卡在两个方向：一类改 loss / head / uncertainty / distributional modeling，但在相同或相似数据上很难产生跨 benchmark 的实质提升；另一类扩展 RLAIF 或合成 preference，但缺少人类偏好锚定，容易把 LLM judge 的偏差规模化。本文的判断很直接：open RM 的瓶颈主要不是 objective design，而是 preference data curation。

Motivation

作者不是从“BT objective 不够好”出发，而是从 benchmark 失真和数据停滞出发。RewardBench 的高分模型并不能稳定转化为 PPE、RMB、RM-Bench、JudgeBench、RewardBench v2 或下游 BoN/RLHF 的收益；许多看似先进的 loss/architecture 变体本质上围绕同一批 base model 和相似数据做局部优化。

关键缺口是：现有公开 preference data 里可能有大量有价值信号，但这些信号被噪声标签、冲突偏好、任务覆盖不均、LLM 合成偏差掩盖了。直接拼接更多数据不会带来 scaling；直接让 LLM 重标也不够，因为 LLM judge 本身未对齐到人类偏好边界。

因此作者想到的方向是把问题从“训练一个更聪明的 RM”前移到“构造一个能持续发现、验证、纠正偏好信号的数据机器”。这也是本文最重要的动机：用人类标注提供高精度局部偏好锚点，用 AI 系统把这种锚点扩散到千万级已有偏好池。

Core Idea

核心思想可以概括为：把少量人类验证数据从 ordinary training data 升级为 curation prior。人类不是负责标完整个大数据集，而是负责校准偏好属性、提供 gold examples、训练 gold RM、暴露当前 RM 的错误区域；LLM 和 RM 则负责在这个人类偏好局部坐标系下进行大规模筛选、重标和翻转。

这引入的 inductive bias 是“局部人类一致性”：一个偏好对是否可用，不只看原始 chosen/rejected，也看它是否与人类验证样本的局部语义属性、gold RM、best RM 和 LLM judge 一致。相比普通 RLAIF，这不是让 LLM 自由判断；相比纯 human data，这又不是线性增加人工成本。它重新组织的信息流是：human labels → preference attributes / few-shot exemplars / gold RM → LLM annotation 与 RM filtering → curated large-scale preference mixture。

直觉上它有效，因为 RM 的泛化很依赖偏好空间的覆盖和标签边界的一致性。已有数据提供 coverage，人类验证提供 boundary calibration，retrieval 把标注预算放到模型当前不懂的区域，consistency filtering 把已有 preference pool 中的明显错边删掉或翻转。它不是发明新 reward learning 理论，而是把数据层面的 active learning、weak supervision、self-training、RLAIF 和 consistency filtering 组合成一个可规模化闭环。

Method

方法上值得保留的机制只有几类。

第一，preference attributes。它解决的是 pairwise preference underspecification：同一个 chosen/rejected label 如果不知道任务类型、客观性、争议性和样本级判断准则，RM 很容易学到长度、语气、格式等 shortcut。属性不是简单 metadata，而是给后续 retrieval、human annotation 和 LLM judge 提供局部判别坐标。核心变化是把“两个回答谁好”转化为“在这个任务语境和偏好准则下谁更符合要求”。

第二，human-verified gold data。它解决的是 LLM judge 无锚定的问题。论文里的 human annotation 其实是 tool-assisted human verification：人可以用搜索、frontier LLM、代码/数学工具，但最终判断由人负责。这一点很重要，因为它不是廉价众包主观投票，而是带协议的验证流程。核心变化是提高 gold set 的可作为校准信号的可信度。

第三，error-driven adaptive retrieval。它解决的是人工标注预算应该花在哪里。当前 RM 在 gold set 上错或低置信的样本被视为偏好边界薄弱区域，再从 unverified pool 检索相似样本进行重标。这个机制类似 active learning / hard example mining，但检索空间不是只看 prompt，而是看 prompt 加 preference attributes。核心变化是让 curation 过程形成 curriculum：模型哪里错，就扩展哪里。

第四，human-guided LLM annotation。LLM 不是裸 judge，而是拿相似 human-labeled examples 做 few-shot，再通过多模型 self-consistency 聚合。它解决的是自动标注的尺度问题，同时降低单个 judge 的偏差。文中 ablation 显示 raw LLM curation 几乎无效，说明关键不是“LLM 能标数据”，而是“LLM 被人类样本局部约束后能扩展人类偏好”。

第五，Stage 2 consistency filtering / correction。它解决的是千万级已有 preference pair 不可能全量人工或高成本 LLM 重标的问题。高置信且与 best RM 一致的直接保留；冲突样本调用 LLM；再用 gold RM 与 best RM / LLM 的一致性决定保留或翻转。核心变化是把 dataset curation 变成图边清洗：原始 preference edge 不再被默认相信，而是需要通过人类对齐代理模型的一致性检查。

Key Insight / Why It Works

最重要的 insight 是：RM scaling 的瓶颈不在模型训练，而在偏好边的质量和覆盖。论文非常清楚地展示了 uncurated data 不随规模有效增长；这说明 preference pair 不是普通语言建模 token，噪声边、冲突边、shortcut 边会直接污染 reward ordering。大规模偏好数据只有在经过筛选、纠正、属性化之后才表现出 scaling。

我认为核心贡献排序大致是：1）human-verified gold set + annotation protocol；2）用 gold examples 约束 LLM judge 的 human-guided curation；3）Stage 2 的 RM/gold-RM consistency filtering 和 label flipping；4）adaptive retrieval。BT training、大 batch、backbone 选择更多是 engineering / scaling，不是本质创新。

为什么 human protocol 这么关键？因为 reward benchmark 中很多样本偏好信号非常强、接近“可验证正确性”或“明确违反指令”。普通主观标注容易把这种判别退化为个人偏好，而 tool-assisted verification 能把大量 objective preference 转成更干净的监督。论文中 objective / low-controversial 样本占比很高，这意味着它很可能通过大规模“准可验证偏好”提升 RM 的 correctness、instruction-following 和 safety，而不是纯粹学到了复杂人类审美。

为什么 retrieval 有用？它不是为了增加数据量，而是为了减少偏好空间中的盲区。RM 在 gold set 上错的地方，往往对应局部标签冲突、style shortcut、事实/代码/数学判断难点或主观边界。检索相似样本并要求 LLM 参考 human examples，相当于把 sparse human supervision 沿着语义邻域扩散。这里的本质更接近 active data repair，而不是普通 RAG。

为什么 label flipping 有效是一个值得怀疑但很有价值的点。作者发现 discarded data 翻转后继续提升，说明公开 preference pool 中存在大量系统性反向或低质标签；也可能说明被过滤掉的样本构成了更难的 contrastive negatives，翻转后给 RM 提供强 margin 信号。文中未充分说明这部分样本的真实分布，增益来源不清，但它是很强的实用发现。

需要直接指出：这篇的“推理能力”或“correctness preference”提升，可能主要来自数据覆盖与大量客观任务偏好，而不是 RM 具备了独立推理能力。RM 在 JudgeBench/PPE correctness 上强，不等于它能生成推理；它可能只是学到了跨大量相似任务的判别模式和答案质量特征。所谓 generalization 也可能部分来自公开数据池与 benchmark task family 的广覆盖重叠，尽管作者做了 n-gram decontamination。

此外，Stage 2 本质上会放大 gold RM 的 inductive bias。高 agreement 说明它和抽样 human judgments 一致，但并不能保证不压制少数偏好或复杂 intransitive preference。BT surrogate 会把局部冲突偏好线性化；在高度主观、多目标任务中，这种线性化本身就是上限。

Relation To Prior Work

它最接近几条路线的交叉：RLAIF / LLM-as-a-Judge 数据标注、semi-supervised reward modeling、自训练/高置信伪标签、active learning、preference dataset filtering，以及 Skywork-Reward v1 以来的 data-centric RM recipe。

和 UltraFeedback、Magpie、Tulu/OLMo preference mixtures 这类合成或聚合偏好数据相比，本质差异是它不信任原始标签，也不信任裸 LLM judge，而是用 human-verified preference attributes 和 gold examples 来重建标签可信度。它不是“再造一个更大的 synthetic dataset”，而是“从已有 messy preference graph 中修边”。

和 HelpSteer / ArmoRM / multi-objective RM 相比，它没有显式建模多维 reward，也没有引入可解释 reward head；它选择用数据覆盖和局部准则隐式吸收多维偏好。优点是简单、可扩展、BT 兼容；缺点是多目标结构被压进单一 scalar reward，解释性和个性化不足。

和 generative reward models / RM-R1 / J1 / EvalPlanner 相比，它走的是相反路线：不是在 inference-time 用更强 judge 推理，而是把多个强 judge 和人类验证蒸馏进一个小型 scalar RM。它牺牲了显式 reasoning trace 和 test-time compute scaling，换来部署效率和 BoN/RLHF 可用性。实验显示小 RM 可超过 LLM-as-Judge 平均表现，但在 objective correctness 上 LLM ensemble 仍更强，这符合预期。

哪些看似新其实是重组：self-consistency、few-shot LLM judge、hard-example retrieval、伪标签过滤、consistency check 都不是新概念。实质创新在于把这些机制组织成一个以 human gold preference 为中心的 scalable curation loop，并且在千万级 preference data 上证明数据清洗/纠正比换 loss 更重要。

Dataset / Evaluation

SynPref-40M 的强点是覆盖广：信息检索、代码、数学、advice、creative writing、reasoning 等任务都有，且大部分来自公开 in-the-wild preference pool。它的实际分布偏 objective 和 low-controversial，这对提升 correctness、instruction following、BoN selection 很有利，但也意味着它未必充分覆盖真正高争议、个性化、审美型偏好。

评测设计相对扎实，因为没有只押 RewardBench，而是包含真实人类偏好、可验证正确性、BoN、style robustness、安全和更难的 RewardBench v2。最能支持论文 claim 的证据是：1）多 benchmark 平均显著提升；2）BoN 曲线正向 scaling；3）RM-Bench hard style 条件下明显更稳；4）下游 RLHF 和 human agreement 也有补充结果。它基本证明了“策展后的数据能训练出更强、更稳的 open RM”。

但 evaluation 仍有明显限制。第一，benchmark 多并不等于 deployment 覆盖；真实生产中的偏好漂移、用户个性化、多轮状态、工具调用、长期任务没有被充分验证。第二，公开 preference pool 与 benchmark task family 之间可能存在隐式覆盖重叠，n-gram decontamination 不能排除语义级或模板级 overlap。第三，大量结果仍是 pairwise accuracy，本质上评估排序边，而不是 RL 过程中的 reward hacking resistance。第四，human evaluation 是内部 hold-out，文中未充分说明规模、分布和标注者多样性。

Limitation

这篇方法成立依赖几个强前提。第一，少量 human-verified gold data 能代表更大偏好空间的局部结构；如果 gold set 分布偏、协议偏或 annotator preference 单一，Stage 2 会把这种偏差扩散到千万级数据。第二，LLM-generated preference attributes 足够准确；虽然作者抽样验证了属性质量，但 attributes 错误会影响 retrieval、few-shot selection 和标签准则，属于隐性误差源。

第三，consistency filtering 假设 best RM / gold RM / LLM judge 的一致性意味着更接近真实人类偏好。这在 objective tasks 上比较合理，在主观、多目标、intransitive preference 上并不稳。它可能把偏好冲突“清洗”成单一标准，而不是保留多样性。作者自己也承认单一 reward model 难以表达复杂人类偏好。

第四，scalability 上限不是训练 RM，而是 gold data 和 high-quality LLM judging 的成本。论文说人类标注量 modest，但实际持续九个月、严格协议、作者参与、外部工具辅助；这对普通团队不一定便宜。Stage 2 虽然自动化，但依赖前期 gold RM 的质量和 frontier LLM judge 资源。

第五，增益归因仍不完全清晰。特别是 40M 版本与 26M curated subset、flipped discarded data、backbone family、benchmark overlap、objective task dominance 之间的贡献没有完全拆开。文中 ablation 已经比多数工作充分，但全管线递归性质导致严格因果归因很难。

第六，模型强并不意味着 reward hacking 安全。BoN 正向 scaling 是好信号，但 RL 训练中 policy 会主动 exploit RM；论文有下游 RLHF 补充，但仍不足以证明长期优化下不会出现 reward overoptimization。核心能力可能主要来自数据覆盖，而不是对人类价值的稳健建模。

Takeaway

  • 1）这篇真正推动的是 data-centric reward modeling：在当前阶段，open RM 的主要杠杆不是更复杂的 loss，而是对 preference graph 的大规模修边、筛边、补边。
  • 2）人类标注最有价值的用法不是生产最多标签，而是定义自动策展系统的坐标系：gold examples、protocol、attributes、gold RM、error regions。
  • 这一思路可以迁移到 judge training、PRM、multimodal reward、agent evaluation。
  • 3）LLM-as-a-Judge 单独不够，但 human-guided LLM judge 很有用。

一句话总结

Skywork-Reward-V2 是一篇把 open reward modeling 从“改训练目标”推进到“人类锚定的大规模偏好数据修复与蒸馏”的 data-centric 工作，真正贡献在于证明高质量策展比模型/损失技巧更能解释 RM 的跨场景提升。