Awesome RL with Human Feedback / 2026 / OpenReview

RLBFF: Binary Flexible Feedback to bridge between Human Feedback & Verifiable Rewards

作者：Zhilin Wang, Jiaqi Zeng, Olivier Delalleau, Ellie Evans, Daniel Egert, Hoo-Chang Shin, Felipe Soares, Yi Dong, Oleksii Kuchaiev · 来源：OpenReview · 发布日期：2026

奖励建模偏好学习对齐目标设计人类反馈设计

精读笔记

Problem Setting

论文标题：RLBFF: Binary Flexible Feedback to bridge between Human Feedback & Verifiable Rewards（Awesome RL with Human Feedback / 2026）。

这篇论文针对的不是“再做一个 reward model benchmark SOTA”，而是 post-training 中 reward supervision 的表示问题。RLHF 的人类偏好覆盖广，但评价标准通常隐式混合：helpfulness、correctness、style、conciseness、safety、语言匹配等都被压进一个 pairwise label。BT reward model 因而学习的是某个数据集分布下的混合效用函数，既不可解释，也容易把长度、迎合用户、格式等 spurious feature 当成 reward。RLVR 则相反：二值 verifier 清楚、可解释、可优化，但覆盖面主要局限于可机械验证 correctness 的任务。

关键矛盾是：开放域 alignment 需要人类反馈的 coverage，但稳定 RL 又需要 verifier-like 的明确目标。已有路线要么牺牲可解释性换覆盖，要么牺牲覆盖换精确性。RLBFF 的问题设定本质上是在问：能否把自然语言人类反馈拆成一组可二值判断的评价原则，使 reward model 既保留开放域语义覆盖，又具备类似 verifier 的条件化可解释接口。

Motivation

作者的动机不是简单认为 binary label 比 preference label 好，而是认为 preference label 缺少“为什么偏好”的显式变量。一个回答被喜欢，可能因为正确、幽默、简洁、礼貌、满足格式，也可能只是符合 annotator 偏好；如果这些因素不被显式建模，reward model 的优化目标天然混浊。KTO 类 binary good/bad 也有同样问题：二值信号存在，但二值判断背后的 principle 未知。

RLVR 给了一个重要启发：当 reward 的判定原则明确时，二值监督可以很强。但 correctness 只是原则空间里的一个点。作者真正看到的缺口是：开放域人类反馈中已经包含了大量自然语言理由，这些理由可以被重写成 verifier-like 的 principle；只是 prior work 通常把它们丢掉，或者仅用作自由文本解释，而没有把它们变成 reward model 的条件变量。

所以 RLBFF 的方向是把“人类反馈文本”当成 latent rubric 的观测，而不是只当 preference 的附属解释。这是本文比较有价值的 framing。

Core Idea

核心思想是把 reward modeling 改写为 principle-conditioned entailment：输入不再只是 prompt-response 或 response pair，而是 prompt、response、principle 三元组；输出是 response 是否满足该 principle。这样 reward model 不需要学习一个全局的、隐式的“好回答”标量，而是学习“在给定评价轴下，回答是否成立”。

这个改写引入了一个很强的 inductive bias：评价维度必须可命名、可局部验证、可被用户替换。它把原来混在 BT latent utility 里的质量因子显式展开，使模型更容易把监督信号对齐到具体语义特征。对 RL 来说，这相当于把 reward 从不可解释的 scalar preference 变成一组可条件化 verifier 的软版本；对泛化来说，principle 文本提供了 compositional interface，使模型有可能迁移到未见过但语义相近的原则。

和 prior 的本质区别不在“二值”本身，而在二值判断被 principle 条件化。RLVR 是固定原则 correctness；BT/RLHF 是无原则或隐式原则；RewardAnything/R3/LMUnit 类工作也使用 criteria/rubric，但多依赖人工/合成 rubric 或生成式打分。RLBFF 的新增点是从真实 human-written feedback 中抽取大量 fine-grained principles，并把它们作为训练和推理时都可控的 reward condition。

Method

方法层面真正必要的机制有四个。

第一，principle extraction：把段落式反馈拆成若干可二值回答的评价轴。它解决的是 preference label 目标不清的问题。关键不是抽取多少原则，而是把“评价原因”从反馈中显式暴露出来，使 reward model 不再必须从胜负关系中反推隐式 rubric。

第二，evidence-grounded filtering：要求抽取器给出 feedback span，并用字符串匹配过滤不被原文支持的 principle。它解决的是 LLM 生成原则时的 hallucination。这里的核心变化是把 synthetic rubric 约束到真实反馈证据上；这比纯自生成 criteria 更可信，但仍不是严格的 semantic verification。

第三，consensus filtering：用 embedding 相似度保留跨 annotator 都出现的原则。它解决的是单个 annotator 偏好噪声过大的问题。这个步骤非常关键，因为它从 1.2M raw principles 压到约 33k unique-meaning principles，明显是高精度低召回策略。论文结果很可能高度依赖这个过滤，而不是仅依赖 RLBFF 形式本身。

第四，reward parameterization：Scalar RM 用 log P(Yes) - log P(No) 作为 reward，GenRM 则生成 reasoning 后再判断 Yes/No。这个设计让 reward 既保留 binary verifier 的语义，又有连续置信度，适合 GRPO。机制上，它把二值标签变成可微/可排序的软 verifier score，而不是硬 0/1 reward。

alignment 阶段的一个细节值得注意：policy 生成时不知道 principle，reward model 按样本对应 principle 评价。这意味着训练出的 policy 学到的是训练分布中原则混合后的行为倾向，而不是一个可显式控制的 principle-conditioned policy。可控性主要存在于 RM 推理接口，不直接存在于最终 aligned actor。

Key Insight / Why It Works

最可能的核心贡献是“把偏好监督因子化为 principle-conditioned binary entailment”。这比 BT 有效的原因很直接：BT 在同一 prompt 下比较两个 response，但不同样本的偏好原因可能完全不同，标量 reward 被迫吸收一个高度非平稳的混合目标；RLBFF 把评价轴作为输入，相当于降低 label entropy，让模型在每个训练样本中知道应该看什么。这个信息增益比 loss function 或 GRPO 细节更重要。

第二个有效因素是数据过滤带来的 label precision。论文强调 RLBFF 同时有 precision 和 recall，但实际机制上 precision 的提升很大程度来自 aggressive consensus filtering。保留下来的原则是多 annotator 语义一致的、高置信度评价轴。这会显著减少 reward model 学到奇怪个人偏好或反馈 hallucination 的概率。这里可能是结果增益的重要来源，甚至可能超过 formulation 本身。换句话说，RLBFF 不只是 objective design，也是强数据清洗。

第三个因素是 principle 文本作为自然语言条件提供了 representation alignment。LLM 预训练已经具备理解“clarity / accuracy / relevance / no repetition”等抽象评价词的能力；训练时只是把这些评价词和 Yes/No 判定校准起来。因此它的泛化更像利用 pretrained semantic space 做 conditional classification，而不是从零学习 verifier。这也解释了为什么 1,414 个 unique principles 可以覆盖较宽领域：principle 本身在语义空间中可组合。

Scalar RM 表现强说明很多 reward modeling 场景并不需要长 reasoning；只要评价轴明确，一 token Yes/No logprob 已经足够。GenRM 在 RM-Bench/JudgeBench 上更强，但在 PrincipleBench 上反而弱于 Scalar RM，这个现象很重要：reasoning model 可能过度偏向 correctness/math/code 这类训练中常见的 reasoning objective，对 clarity、repetition、language alignment 等非 correctness 维度未必更好。因此 GenRM 的提升更像 test-time compute + correctness-oriented prior，而不是通用 principle following 能力提升。

alignment 结果的归因不完全清楚。RLBFF-trained Qwen3-32B 超过 BT baseline 很有说服力，但和 o3-mini/R1 的比较混入了成本、benchmark judge、base model、训练数据、reasoning mode 等因素。这里不能简单归因于 RLBFF objective。更保守的判断是：RLBFF 提供了比 BT 更干净的 reward signal，使 GRPO 在开放域数据上更稳定；最终性能的一部分则来自 Qwen3-32B 本身能力、GenRM reasoning、以及 benchmark 对 correctness-heavy outputs 的偏好。

Relation To Prior Work

这篇工作位于 RLHF、RLVR、rubric-based judge、generative verifier 的交叉点。和 RLHF/BT 相比，它不是学习 prompt-conditioned global utility，而是学习 principle-conditioned local satisfaction。这个差异是实质性的，因为它改变了 reward model 的条件变量和可解释接口。

和 RLVR 相比，它继承 binary verifier 的形式，但把 verifier 从固定 correctness 扩展到自然语言原则空间。严格说它不是“verifiable rewards”的同等级替代，因为多数 principle 仍由 LLM 判断，不具备程序验证的可靠性；更准确地说，它是 model-based soft verifier。

和 KTO 类 binary preference 相比，RLBFF 的新增信息是 principle。KTO 的 good/bad label 仍然是混合目标；RLBFF 给 binary label 加上评价原因，因此监督更可解释、条件更清楚。

和 RewardAnything、R3、LMUnit、DeepSeek-GRM、RM-R1 等 rubric/generative RM 接近。看似新颖的“用 criteria 判断 response”并不是全新思想；真正有价值的是：原则从 human-written feedback 中抽取、用 evidence 和 annotator consensus 做高精度过滤、并训练一个低延迟 Scalar RM 支持用户自定义 principle。尤其 Scalar RM 的 principle-conditioned one-token scoring 是实用创新：它把以往通常依赖长 CoT judge 的 rubric following 压缩成低成本 reward 接口。

所以这篇更像是 reward objective/data representation 的工程化范式推进，而不是新算法理论突破。

Dataset / Evaluation

数据覆盖上，HelpSteer3-Feedback 跨 General、STEM、Code、Multilingual，且反馈来自大量 annotator，这对 claim 是有利的。RLBFF 的训练数据不是人工专门标注 principle，而是从已有自然语言反馈转化，因此展示了一个可扩展 pipeline。不过转化过程依赖 DeepSeek V3 和 embedding model，本质上仍是 LLM-assisted relabeling。

评测方面，RM-Bench/JudgeBench 主要验证 correctness-heavy reward quality，能支持“RLBFF 不损害甚至提升传统 RM benchmark”的 claim，但不能充分证明开放域原则可控性。因此作者引入 PrincipleBench 是必要的，因为它专门看 clarity、accuracy、relevance、no repetition、language alignment、essential information、requirement completion 等原则。PrincipleBench 虽小，但方向正确：它测试 reward model 是否真的会按指定 principle 打分，而不是只做总体偏好判断。

不过 evaluation 仍有明显限制。PrincipleBench 来自 HelpSteer3-Preference 未公开标注的 validation subset，和训练数据同源，虽然未用于训练，但分布独立性有限。它更像 in-family generalization，而不是强 OOD principle following。RM-Bench/JudgeBench 与训练原则中的 accuracy/correctness 高度一致，可能偏向 RLBFF 的高频原则。alignment benchmark 也主要是自动 judge，且 Arena Hard v2、WildBench 等对 correctness、format、reasoning verbosity 的偏好会影响结论。

总体上，评测足以说明 RLBFF 是一个有效 reward modeling recipe，但还不足以证明它在真实 deployment 中系统性解决 reward hacking 或真正具备任意 user-specified principle 泛化。

Limitation

第一，principle 的正确性是瓶颈。RLBFF 假设自然语言反馈可以被可靠拆成二值原则，但很多人类偏好本质上是连续、上下文依赖、互相冲突的。论文通过删除 partially fulfilled 来规避灰度，但这也丢掉了重要监督。binary 化提升一致性，同时也降低表达能力。

第二，所谓 verifier-like precision 有夸张成分。这里的 verifier 是 LLM judge，不是程序 verifier；它仍会受模型偏见、语言表述、上下文长度、训练分布影响。RLBFF 减少了 reward hacking 的某些来源，但没有消除 reward hacking，只是把攻击面从 scalar reward 转向 principle wording 和 judge entailment。

第三，scalability 上限取决于高质量反馈和原则覆盖。论文从 1.2M raw principles 过滤到 33k，说明高精度数据非常稀缺。若换到低质量反馈、专业领域、长程任务或多目标 agent 行为，principle extraction 和 consensus filtering 是否仍可用，文中未充分说明。

第四，多原则组合没有真正解决。真实 alignment 往往不是单一 principle，而是多个原则带权冲突：准确 vs 简洁、安全 vs 有用、服从 vs 拒绝。本文主要训练单 principle 判断；最终 policy 通过样本分布隐式学习混合目标。如何显式组合原则、如何处理冲突、如何校准不同原则的 reward scale，仍是空缺。

第五，alignment 增益归因不清。RLBFF training 优于 BT training，但 GenRM、Qwen3-32B、GRPO、数据过滤、reasoning mode、benchmark judge 都可能贡献显著增益。论文没有足够 disentangle：是 principle-conditioned reward 更好，还是更强 RM / 更干净数据 / correctness-heavy benchmark 更匹配。

第六，用户自定义原则的泛化边界未被充分验证。论文声称 inference time 可指定 principle，但实验原则多数来自相近分布。真正困难的是 novel、复合、反常识、领域专用或 adversarial principle，这部分文中未充分说明。

Takeaway

  • 1. 最值得迁移的 insight 是：不要把人类偏好压成一个无解释标量；把“评价原因”作为条件变量显式建模，能显著降低 reward learning 的目标熵。
  • 2. 对开放域 RL，binary verifier 不一定只能来自程序规则；可以把自然语言原则转成 soft verifier。
  • 但这条路的关键是数据 grounding 和高精度过滤，否则只是 synthetic judge noise。
  • 3. Scalar principle-conditioned RM 可能是一个很实用的方向：低延迟、可控、可组合，适合在线 reranking、RL reward、eval-as-a-service。

一句话总结

RLBFF 是把 RLHF 的隐式偏好监督重构为 principle-conditioned soft verifier 的 reward modeling 路线，真正贡献在于显式化评价轴并用高精度反馈抽取数据支撑低成本可控 RM。