Awesome RL with Human Feedback / 2026 / OpenReview

QuRL: Rubrics As Judge For Open-Ended Question Answering

作者：Xiyu Wei, Qingwei Zong, Xiaoguang Li, Eugene J. Yu, Sujian Li · 单位：Key Laboratory of Computational Linguistics, MOE, Peking University, School of Software and Microelectronics, Peking University, School of Computer Science, Peking University, Huawei Technologies Ltd, China · 来源：OpenReview · 发布日期：2026

偏好学习数据筛选人类反馈设计长文本/对话

精读笔记

Problem Setting

这篇论文真正处理的是 open-ended QA 中 reward construction 的问题：在没有 gold answer、没有确定 verifier 的场景下，如何给 RL 提供足够稳定、细粒度、可解释的奖励。难点不是让模型多写一些，也不是让 judge 模型更强，而是开放回答的质量标准本身是 case-dependent 的：不同问题需要不同的事实覆盖、论证重点、例子密度、风格和读者体验。

以前路线卡在两个端点。RLHF reward model 可以从人类偏好中学标量 reward，但标准被压缩进参数，跨域泛化和 reward hacking 都难控；LLM-as-Judge 可以直接评价，但如果只有通用维度，它对开放长答案的区分度很弱，容易奖励长度、套话和表面结构。任务的关键矛盾是：评价必须具体到问题，但大规模训练又不能依赖人工为每个问题写 rubric。QuRL 的问题设定就是在这个矛盾中寻找一个可扩展的中间层。

Motivation

作者的核心动机是把 RLHF 中隐式的 human preference standard 显式化。人在给开放回答打分时，通常不是只判断“好不好”，而是在检查：是否覆盖关键角度，是否有具体例子，是否论证自然，是否具有可读性。这些东西本质上就是 rubric。传统 reward model 相当于把 rubric 压进一个黑盒函数；QuRL 试图把它重新拿出来，作为 reward computation 的显式条件。

关键观察是：互联网已经包含大量人类为类似问题写过的文章、讨论和经验性文本。这些文本不是标准答案，但可以作为评价标准的原材料：一方面提供内容维度，另一方面提供人类写作风格样本。作者不是直接用 web article 当 reference，因为上下文太长、噪声太大、成本不可控；真正缺的是一个从 web text 到 compact rubric 的蒸馏层。

Core Idea

QuRL 的核心思想可以概括为：用检索到的人类写作材料生成逐题 rubric，再用这些 rubric 作为 RLVR-style reward 的 verifier 条件。它不是让模型模仿某个答案，而是让模型优化一组关于“这个问题应该如何被回答”的显式评价规则。这个建模转变很重要：reward 不再是全局偏好函数，而是 question-conditioned、content-grounded、style-aware 的局部评价函数。

它引入的 inductive bias 是“开放回答质量可分解为逐题内容覆盖 + 写作质量维度”。相比普通 LLM-as-Judge，rubric 给 judge 一个外部锚点，减少自由发挥；相比 RLHF reward model，rubric 把评价标准暴露出来，增强可解释性和可调试性；相比直接检索增强生成，它并不把 web text 放进回答过程，而是放进 reward 构造过程，因此更像是在训练阶段复用互联网中的人类评价先验。

Method

方法中真正关键的不是检索、prompt、GRPO 这些模块本身，而是三层信息压缩与校准。

第一层是从 web article 到 meta-description。它解决 raw web text 冗长、噪声大、不能直接作为 judge context 的问题。meta-description 保留与问题相关的观点、例子和写作片段，本质上是在把开放域人类文本变成可供 rubric generation 使用的中间记忆。

第二层是从 meta-description 到 case-wise rubric。这里解决的是通用 checklist 不够具体的问题。rubric 既包含内容覆盖，也包含写作质量，并且每一项都绑定到具体问题。这一步带来的核心变化是：评价标准从“所有问题共享的抽象维度”变成“每个问题自己的可检查标准”。

第三层是 rubric filter。LLM 生成 rubric 本身很不稳定，可能泛化、重复、无区分度。作者通过多次采样 rubric、用多个强模型生成的答案测试评分方差、再合并共识项，试图保留能区分不同回答质量的 rubric。这个过滤步骤很关键，因为没有它，rubric 很容易只是漂亮但无效的评价文本。

最后用 rubric-conditioned judge 产生标量 reward，再接 GRPO。GRPO 只是优化容器；真正的新 reward signal 来自前面的 rubric construction。

Key Insight / Why It Works

最重要的 insight 是：open-ended QA 的 reward bottleneck 不是缺少更复杂的 RL 算法，而是缺少高质量、逐题、可解释的评价条件。QuRL 有效的原因大概率不是 GRPO，而是它显式注入了一个 latent evaluation structure：模型不再只被奖励“整体看起来好”，而是被奖励覆盖某些具体维度、使用具体例子、组织出符合人类写作习惯的论证。

最可能的核心贡献是 web-derived case-wise rubric。它同时做了三件事：补充内容覆盖、约束 judge 评分、提供风格先验。这里的“RLVR extension”说法有一定包装成分，因为 reward 仍由 LLM judge 解释 rubric 后给出，并非数学/代码那种确定 verifier；但相比裸 LLM-as-Judge，它确实把不可验证问题转成了“弱可验证 checklist satisfaction”。这是有实际价值的。

filter 也是实质性辅助。开放式 rubric 如果没有区分度，RL 会优化噪声；用方差过滤至少保证 rubric 能拉开不同模型答案。这不是理论上完备的 discriminator，但工程上对 reward quality 很重要。

需要警惕的是，增益可能很大程度来自 data coverage 和 evaluation alignment。web retrieval 给 rubric 注入了大量与问题相关的内容，rubric 又同时被用于训练和部分评测方式，模型可能学到的是“如何写出符合 rubric/judge 偏好的答案”，而不一定是真正更强的 reasoning 或开放问答能力。所谓探索正确生成路径，更像是在 reward shaping 下强化内容覆盖和写作模式，不应过度解读为复杂推理能力的提升。

Relation To Prior Work

这篇工作最接近三条线：RLHF / reward model、LLM-as-Judge rubric evaluation、以及 recent rubrics-as-rewards / generative reward model。它和传统 RLHF 的本质差异是 reward standard 是否显式：RLHF 学一个隐式标量函数，QuRL 把标准写成逐题 rubric 再交给 judge 执行。它和普通 LLM-as-Judge 的差异是 judge 是否有 case-specific external reference：QuRL 不让 judge 只依赖模型内部常识，而是用 web-derived rubric 限定评价视角。

很多组件并不新：retrieval、LLM-generated rubric、rubric-based scoring、GRPO 都是已有思想重组。实质创新在于把这些组件连接成一个可训练的 reward pipeline，并强调 rubric 不是 evaluation-only artifact，而是 RL reward 的结构化条件。相比一些从 question 直接生成 rubric 的方法，QuRL 额外引入 human-authored web sources，这是真正新增的信息来源；相比复杂 agentic rubric generation，它更轻量、可复现。

技术谱系上，它属于“用显式评价结构替代黑盒 reward model”的路线，也是 RLVR 向非严格可验证任务扩展的一种弱形式。但严格说，它不是 pure verifiable reward，而是 rubric-conditioned LLM reward。

Dataset / Evaluation

QuRL-Train 只有 800 个 question-rubric pairs，QuRL-Test 400 个人工检查样本，覆盖科技、写作、电影、健康、旅行等开放主题。任务覆盖是多领域文本问答/写作，但仍是离线 benchmark，不涉及真实用户交互、动态检索失败、长尾争议问题或安全攻击。

评测使用 HelloBench、LongBench-Write 和 QuRL-Test，基本能验证“rubric-guided training 提升开放长回答的自动评分表现”。消融也支持 web information、rubric 和 filter 都有贡献。人类一致性实验是较有价值的部分，说明 case-wise rubric evaluation 比固定 checklist 更接近人工偏好。

但 evaluation 仍有明显局限。第一，很多评测仍依赖 LLM judge，且 judge 很可能偏好 rubric-style answer，训练目标和评测目标之间存在闭环。第二，QuRL-Test 本身由同一框架构造 rubric，作为评测集时天然有方法友好性。第三，benchmark 与 web retrieval 之间是否存在内容 overlap 文中未充分说明；如果问题来自 Zhihu/Reddit，web 检索可能检到高度相似讨论，隐式 memorization 风险不能排除。第四，提升是否来自 RL 而不是 rejection sampling / SFT 高分样本，证据还不够干净。

Limitation

QuRL 的核心前提是 web 上存在足够高质量且相关的人类文本，并且这些文本能代表合理的人类评价标准。这个前提在常识性、经验性、写作建议类问题上成立概率较高，但在争议议题、专业医学/法律、低资源语言、小众领域上会变弱。web text 里的偏见、错误、SEO 垃圾和立场倾向会被蒸馏进 rubric，进而成为训练信号。

方法没有真正消除 reward hacking，只是把 hacking surface 从 reward model 参数转移到 rubric 和 judge。模型可能学会堆砌 rubric 中显式提到的例子、理论名词和结构，而不是形成更好的问题理解。case study 里 after-train 回答更具体，但也有模板化、百科化和过度扩展的倾向。

scalability 也不是免费的。每个问题都要检索、抽取、生成、多次采样、过滤、再人工验证测试集；训练时还要用 judge 按 rubric 打分。这比纯 RLVR verifier 贵得多。作者称其 scalable，主要是相对人工写 rubric 和训练 reward model scalable，而不是相对规则 verifier scalable。

最大的不确定性是归因。增益可能主要来自：更好的外部数据覆盖、case-wise evaluation bias、judge prompt 更强、训练/评测 rubric 同分布，而不是 RL 算法本身。文中未充分说明如果不用 RL、只用 rubric 生成高分答案做 SFT 或 DPO，会损失多少。因而“RLVR 是最有效策略”的结论还需要更严格拆解。

Takeaway

  • 1. 对开放任务，最有价值的 reward engineering 可能不是训练更大 reward model，而是构造显式、逐样本的评价结构。
  • rubric 是一种很自然的中间表示。
  • 2. Web text 的更好用法未必是直接 RAG 进生成，而是作为 reward / evaluation 的原材料：它提供人类内容覆盖和风格先验，使训练信号更接近真实偏好。
  • 3. Case-wise rubric 将 open-ended QA 从不可验证任务推进到弱可验证任务，但这只是把验证标准外显化，不等于获得确定 verifier。

一句话总结

QuRL 是一类把开放问答的隐式人类偏好转写为 web-grounded case-wise rubrics、再用作弱可验证 RL reward 的方法，真正贡献在于 reward 表示的显式化和逐题化，而不是新的 RL 算法。