Awesome RL with Human Feedback / 2026 / OpenReview

BaseReward: A Strong Baseline for Multimodal Reward Model

作者：YiFan Zhang, Haihua Yang, Huanyu Zhang, Yang Shi, Zezhou Chen, Haochen Tian, Chaoyou Fu, Kai WU, Bo Cui, Xu Wang, Jianfei Pan, Haotian Wang, Zhang Zhang, Liang Wang · 来源：OpenReview · 发布日期：2026

奖励建模偏好学习多模态反馈

精读笔记

Problem Setting

论文标题：BaseReward: A Strong Baseline for Multimodal Reward Model（Awesome RL with Human Feedback / 2026）。

这篇论文实际处理的是 MLLM 对齐流程里的 reward model 选择问题：在 multimodal RLHF 中，什么样的 MRM 才既能在静态偏好 benchmark 上强，又能在真实 RL 训练中作为高吞吐、稳定的 reward signal。它不是在定义新任务，也不是提出新的 preference loss，而是在回答“当前条件下最强、最实用的 MRM baseline 应该怎么搭”。

真正困难点有三个。第一，多模态 reward judgment 不是单纯视觉理解，很多 preference 维度来自语言世界知识、安全规范、数学/代码推理，现有 multimodal preference data 对这些维度覆盖不足。第二，reward model 在 benchmark 上做 pairwise judge 和在 RL loop 中为大量 rollout 打分是两种约束：GRM/critic 可以靠生成解释获得更强表面判断，但成本和不稳定性会在 RL 中放大。第三，不同 benchmark 的能力维度高度异质，VQA/hallucination 更依赖视觉 grounding，safety/math/code 更依赖语言 prior，因此单一建模范式很容易在某些维度显强、在另一些维度显弱。

以前方法卡在范式选择不清：critic-based RM 依赖高质量 critique，人工 critic 难扩展，自动生成 critic 又会成为瓶颈；GRM 借助 MLLM 自身生成能力和 CoT，在 safety/coding 上强，但每次比较都要生成，order/prompt sensitivity 明显；传统 naive RM 快但被认为表达能力和解释性不足。本文的关键矛盾就是：reward model 的“判断能力”与“RL 可用性”之间的 trade-off。作者的选择是牺牲一部分解释性，换取一个经过数据和结构校准的高效判别式 reward model。

Motivation

已有路线不够的核心原因不是模型不强，而是缺少可归因的 recipe。工业系统里有人用 generative reward，有人用 dual reward，有人按 domain 写规则或专门 reward；但这些设计之间缺乏统一比较，无法判断收益来自 architecture、data、backbone、scale 还是 benchmark 偏置。

作者的核心观察是：GRM 在某些维度上的优势并不一定说明生成式 reward modeling 更本质。特别是 safety/coding 这类任务，强 MLLM 在预训练中已经拥有大量语言知识和安全/代码模式，GRM 只是更直接地调用这些内生知识；而 naive RM 的 reward head 若没有相应偏好监督，就无法把 backbone 中的 latent capability 校准成标量偏好。因此差距可能是 supervision gap，而不是 paradigm gap。

这也是为什么作者转向 naive RM：如果能通过更好的数据混合和轻量非线性 head 把 backbone 表征中的偏好信息提取出来，那么 naive RM 会成为更 scalable 的方案。关键缺口是：当前社区知道 GRM 看起来更“聪明”，但不知道在 RLHF 系统里是否值得付出生成成本；也不知道 text-only preference data 对 MRM 到底是噪声、补充，还是必要监督。论文试图补这个缺口。

Core Idea

核心思想可以概括为：不要把 MRM 复杂化为一个 test-time judge，而是把它做成一个足够强的 discriminative scorer，并把主要努力放在 representation calibration 和 data coverage 上。BaseReward 仍然是标准 pairwise preference learning：给定 prompt 和 response，输出标量 reward，用 chosen/rejected margin 优化。它没有改变 reward learning 的数学形式，但改变了多模态 reward 建模的工程重心：从生成解释/比较两个答案，转向高效地对单个候选答案打分。

这个选择理论上/直觉上成立，是因为现代 MLLM backbone 已经在视觉-语言融合空间里编码了大量质量相关特征：是否 hallucinate、是否遵循指令、是否安全、答案是否符合图像、是否有基本推理连贯性。reward head 的任务不是重新推理，而是学习一个 preference direction。两层 SiLU MLP 相比线性头提供了最低限度的非线性边界，使得不同能力维度的 preference signal 能被更好分离；但它仍然足够轻，不会引入复杂的生成路径。

和 prior 的本质区别在于信息流。GRM/critic-RM 把 judgment 显式化为文本推理，再从文本推理中读出偏好；BaseReward 则直接在隐空间中完成偏好投影。前者引入 test-time compute 和可解释性，后者引入低延迟和稳定性。本文的判断是：对 RLHF 来说，后者更重要，尤其当数据覆盖足够时。

Method

1. 选择 Naive-RM 作为主体：它解决的是 RL 阶段 reward 计算不可承受的问题。GRM 对每组候选需要生成判断，R1-Reward 这类 pairwise GRM 在多 rollout 场景下成本近似爆炸；Naive-RM 单次前向即可给每个 response 标量分数，天然适合 GRPO/PPO 中的大批量采样。这不是架构创新，而是对 deployment constraint 的正确建模。

2. Reward head 从线性换成两层 SiLU MLP：它解决的是线性头容量不足的问题。多模态偏好不是单一轴，例如 hallucination、safety、reasoning、style、视觉一致性可能对应不同 latent directions。两层 MLP 提供组合这些方向的能力。更深 head 没有持续收益，说明 bottleneck 不在 head 深度，而在 backbone representation 与监督覆盖。

3. 不使用 zero-coefficient regularization 和 length normalization：它解决的其实是避免错误正则化。pairwise BT loss 只关心 margin，强行把 reward 拉向 0 会压缩可区分度；length normalization 在该数据设定下没有改善，甚至可能破坏真实质量与长度之间的相关性。这里的启示是 RM 的 calibration 不应机械套用 text RM tricks。

4. 数据选择是方法的主干而不是附属：作者筛掉 MMIF、SHP 等弱或负收益数据，保留 multimodal 与 text-only 高质量偏好数据。它解决的是不同能力维度 supervision 不均衡的问题。text-only data 并不是为了让 MRM 成为 text RM，而是补足安全、数学、语言推理等 multimodal benchmark 也会考的能力。

5. Modality specialization：论文明确承认 MLLM-based RM 不是 pure-text RM 的最优解。对纯文本任务，LLM backbone 更强；对多模态任务，Qwen-VL 类 backbone 更强。这带来的核心变化是从“一个 universal RM”转向“按输入类型或任务类型选择/融合 reward model”。

Key Insight / Why It Works

最重要的 insight 是：MRM 的能力上限很大程度上由“backbone latent capability 是否被偏好数据正确激活”决定，而不是由 reward model 是否会生成解释决定。GRM 的优势在安全/代码上明显，但论文给出的解释是可信的：这些维度本来就是 LLM 预训练中的强项，生成式范式更容易调用这些知识；Naive-RM 如果没有对应偏好监督，head 学不到如何把这些知识映射成 reward。加入 text-only preference 后，多模态 safety/math 的提升说明问题主要是 data coverage，而非视觉模块或 judge reasoning。

真正核心贡献是对 MRM recipe 的经验归因：head 需要一点非线性，但不需要复杂；正则化不一定有益，margin resolution 更重要；text-only data 对 MRM 有跨模态迁移，但主要迁移的是语言密集能力；backbone family 比 scale 更关键，Qwen-VL 与 Intern-VL 的差异反映了预训练/对齐分布的模态偏置；ensemble 的收益来自模型/数据互补，而不是复杂 weighting。

我认为这篇论文最实质的部分是“把 naive RM 重新打造成强 baseline 并证明其 RL 可用性”，而不是具体的 BaseReward 架构。2-layer SiLU head 是有效 trick，但不是决定性创新；2.8M preference pairs、Qwen2.5-VL backbone、数据筛选才是主要增益来源。换句话说，BaseReward 更像 data-centric + deployment-aware reward modeling，而不是 model-centric breakthrough。

RL 实验是论文中很重要的证据，因为它指出静态 benchmark 上 LongCoT-GRM 的高分不等价于 RL 中的好 reward。R1-Reward 在 benchmark 上某些维度强，但用于 RL 时需要 pairwise aggregation，计算开销大，且 prompt/order sensitivity 可能造成 reward 噪声；BaseReward 的单点 scoring 更稳定。这说明 reward model 的评价标准应该包括 throughput、variance、reward smoothness 和 policy improvement，而不是只看 preference accuracy。

需要警惕的是，所谓“泛化”很可能部分来自 benchmark 与训练数据构造方式的 overlap。多模态偏好数据、VL reward benchmark、MM-RLHF benchmark 之间可能共享相似模型输出分布、错误类型和标注偏好。论文没有充分排除 implicit memorization 或 benchmark-style fitting。尤其是大规模混合公开数据训练后再在公开 benchmark 上评估，增益来源不可能完全归因到方法。

Relation To Prior Work

这篇属于 reward modeling 中的 discriminative scalar RM 谱系，最接近 IXC-2.5-Reward 这类在 MLLM 上接 reward head 的方法，也与 text-only Skywork/HelpSteer-style RM 的经验路线相近。它和 MM-RLHF/LLaVA-Critic 的区别在于不显式生成 critic；和 R1-Reward/Seed1.5-VL GRM 的区别在于不把 reward decision 作为生成任务。

看似新的地方很多其实是已有思想重组：pairwise BT loss、MLP head、数据混合、ensemble、rule+RM hybrid 都不是新方法。实质新增的信息是多模态 reward modeling 场景下的系统性归因：哪些 text RM tricks 不迁移，哪些 text-only 数据会迁移，哪些 backbone 更适合 MRM，GRM 的优势在哪些维度可能来自预训练知识而非范式本身。

和 GRM 相比，BaseReward 的本质差异不是“更聪明”，而是“更可部署”。GRM 通过 test-time compute 暴露 reasoning trace，并可利用生成模型已有能力；BaseReward 通过 training-time data coverage 把这些能力压缩进一个 scalar scorer。它更像是把 judge 的推理成本前置到训练阶段，而不是在每次 reward 查询时支付。

和 domain-specific reward 或 dual RM 系统相比，BaseReward 走的是一个强 multimodal RM 加上可选 text RM/ensemble 的中间路线。它没有完全解决 universal reward 的问题，反而证明了 modality specialization 仍然必要。这一点与 Mimo-VL 的 dual RM 思路在系统层面一致，只是本文给出了更系统的实验依据。

Dataset / Evaluation

评估覆盖面较广：包括多模态 reward benchmark、text-only reward benchmark，以及一个真实 RL pipeline。多模态 benchmark 覆盖 hallucination、VQA、general preference、reasoning、safety、math/code 等维度；text benchmark 用来测试 MRM 是否牺牲纯文本偏好能力；RL 实验则验证 reward 是否能实际改进 policy。这比只报 reward accuracy 更有说服力。

但 benchmark 是否完全验证 claim，需要谨慎。论文 claim 是提供构建高性能 MRM 的 recipe，静态 benchmark 确实支持“这个 recipe 在当前公开评测上强”。但是否证明 robust general MRM，还不够。原因是训练数据包含大量公开 preference 数据，benchmark 也多由类似模型输出和类似偏好构造产生，存在分布相似导致的高分风险。文中未充分说明训练数据与各 benchmark 的去重、prompt overlap、source overlap 控制。

RL evaluation 是亮点，但规模仍有限：只在 Qwen2.5-VL 3B 上，用 GRPO、一组含 ground truth 的任务源，比较 rule、BaseReward、hybrid、R1-Reward。它证明 BaseReward 作为 reward signal 有实际价值，尤其 hybrid rule+RM 对 objective + subjective 混合任务有效。但这还不能说明在长程交互、开放式 agent、多轮视觉任务、真实用户偏好下同样稳定。

数据 ablation 的信息量很大。最值得注意的是 text-only data 对 multimodal RM 的提升不是均匀的，而是集中在 safety/math 等语言密集维度；hallucination/VQA 仍依赖 multimodal data。这个结果支持一个更细的结论：MRM 的“多模态能力”其实由视觉 grounding 和语言 judgment 两部分组成，数据混合需要按能力维度而不是按模态粗暴配比。

Limitation

第一，核心能力可能主要来自数据覆盖。BaseReward 的主要增益很可能来自 2.8M 偏好对、筛选后的高质量数据、Qwen2.5-VL backbone，以及 benchmark 分布匹配；reward head 和正则化选择是必要优化，但不是根本突破。论文没有把 data scale、data quality、backbone capability 做到完全正交解耦。

第二，泛化 claim 偏强。多模态 reward benchmark 之间存在相似错误类型和模型输出分布，训练集也来自多个公开偏好源。没有严格去重和 out-of-distribution human eval 时，SOTA 结果可能反映 benchmark-specific preference pattern learning，而不一定是开放世界偏好泛化。

第三，Naive-RM 的可解释性缺失不是小问题。论文选择效率优先是合理的，但在 safety-critical deployment 中，无法解释 reward 依据会影响 debug、auditing 和 reward hacking 检测。GRM 的解释虽然可能不可靠，但至少提供可检查的中间产物；BaseReward 完全依赖离线评测和 RL 效果。

第四，outcome-level scalar reward 对过程能力建模不足。对于多步视觉推理、长链数学、工具使用、规划任务，最终回答偏好不能提供细粒度 credit assignment。BaseReward 在这些场景中可能只是学到结果模式或答案风格，而不是过程质量。所谓 reasoning improvement 可能更像 retrieval/recognition of correct answer patterns，而非真正过程评估。

第五，RL 部署中的 reward hacking 没有充分讨论。BaseReward 在离线偏好数据上训练，policy 一旦被它优化，可能产生 distribution shift；特别是模型可能学会迎合 reward head 的长度、格式、安全模板或视觉描述模式。论文虽然讨论 length bias 和 resampling，但对 closed-loop reward exploitation 的分析不够。

第六，scale 上限不清。作者认为 8B 附近性价比高，scale beyond 8B diminishing returns；但这可能受训练数据质量和 benchmark 天花板限制。更强 backbone、更多 hard negative、过程级数据是否会改变 scaling law，文中未充分说明。

Takeaway

  • 1. 对 MRM 来说，强 baseline 不一定来自更复杂的 generative judge；在 RLHF 系统里，低延迟、稳定、可批量打分的 discriminative RM 可能比静态 benchmark 更高的 GRM 更有价值。
  • 2. Text-only preference data 是 MRM 的重要补监督，但它补的是语言密集 judgment，不是视觉 grounding。
  • 未来数据配比应按能力维度设计，而不是简单按 text/multimodal 模态划分。
  • 3. Reward model 的选择应该系统化：多模态 perception/hallucination 用 MLLM-based RM，纯文本偏好用 LLM-based RM，安全/代码等任务可能需要 GRM 或 specialized RM。

一句话总结

BaseReward 是一篇把多模态 reward modeling 拉回 data-centric、deployment-aware 判别式 RM 路线的强 baseline 论文，其真正贡献不是新架构，而是证明经过数据覆盖、轻量 head 校准和系统 ablation 后，Naive-RM 可以成为比生成式 judge 更适合 MLLM-RLHF 的实用 reward 模型。