Awesome RL with Human Feedback / 2024 / CVF

Dense Reward for Free in Reinforcement Learning from Human Feedback

作者：Alex James Chan, Hao Sun, Samuel Holt, Mihaela Van Der Schaar · 单位：Tsinghua University, National University of Singapore, Pengcheng Laboratory, Shenzhen, China · 来源：CVF · 发布日期：2024

奖励建模偏好学习信用分配/密集奖励人类反馈设计

精读笔记

Problem Setting

RLHF-V: Towards Trustworthy MLLMs via Behavior Alignment from Fine-grained Correctional Human Feedback（Awesome RL with Human Feedback / 2024）

这篇论文解决的不是一般意义上的 multimodal alignment，而是 MLLM 在开放式长回答中生成未被图像支持的视觉断言的问题。真正的对象是“回答内部的局部事实声明”，而不是整段回答的总体质量。

关键矛盾在于：用户希望 MLLM 给出信息丰富的详细描述，但详细描述天然会增加视觉断言数量，从而放大 hallucination 风险。简单缩短回答可以降低幻觉，但会牺牲 helpfulness；简单做 instruction tuning 可以提高表达能力，却可能复制训练数据中的图文不匹配；传统 RLHF 给整体偏好，又很难知道哪一句、哪个短语应该被惩罚。

以前方法主要卡在 credit assignment。response-level preference 对 MLLM 长回答过于粗糙：一个回答可能有正确物体、错误位置、合理属性和过度推断混在一起。整体排名标签既有标注歧义，也容易把梯度分配到风格、长度、措辞等 spurious factors 上。论文真正要解决的是：如何把人类偏好从“整段回答好不好”变成“哪个视觉断言越界、应该改成什么”。

Motivation

作者的核心观察是：MLLM 幻觉并不只是缺少负样本，而是缺少可操作的正负边界。传统 instruction tuning 给的是正例文本，但并不告诉模型哪些看似合理的推断不能说；传统 RLHF 给的是整体偏好，但不告诉模型错误发生在哪个局部。

因此已有路线不够的地方不是 reward model 不够大，而是 preference signal 的结构不对。对于长、多事实、多模态回答，整体 ranking 天然混入三类东西：真正的人类偏好、浅层非鲁棒偏差、自然语言表达方差。模型从这种混合差异中学习，很容易把“更长”“更像描述”“更符合常见场景 prior”当成 reward。

这篇论文的动机可以概括为：如果 hallucination 是局部事实断言错误，那么反馈也应该在局部事实断言层面提供；如果希望模型学会边界，不仅要指出错了，还要给出正确替代。这就是 correctional human feedback 的合理性。

Core Idea

核心思想是把偏好学习从 pairwise response ranking 重新组织为 segment-level correction learning。标注者不再被要求判断两个复杂回答谁更好，而是直接修改模型回答中的幻觉片段。这样每个 correction 同时提供了负例 span、正例 span 和上下文保持不变的局部对照。

这个设计引入了一个很强的 inductive bias：模型应该主要在被人类修改的视觉事实片段上更新，而不是在整段回答的风格、长度、语气上更新。它把 preference learning 的信息流从“全局质量差异”压缩到“局部事实边界差异”。这比传统 RLHF 更 scalable 的原因不在算法复杂度，而在标注信号的样本效率：同样一条回答中，真正有用的监督被显式定位，梯度不需要从整段文本中自己发现错误来源。

和 prior 的本质区别是：LLaVA-RLHF 等方法仍把偏好建模为完整 response 的好坏；RLHF-V 则把偏好建模为局部错误断言到局部正确断言的变换。它更接近 edit-based alignment / dense reward，而不是经典 RLHF。

Method

方法层面需要保留的机制很少。

第一，fine-grained correctional feedback。它解决的是标注歧义和 credit assignment。相比让标注者比较 A/B 两个回答，直接修改 hallucinated segment 更明确，也更接近事实校对任务。核心变化是：偏好数据从“谁更好”变成“这里错了，应该这样说”。

第二，Dense Direct Preference Optimization。DDPO 是 DPO 的一个局部加权版本：在计算 response log-prob 时，对 corrected segments 的 token 赋予更高权重。它解决的是 vanilla DPO 仍然把整段回答作为偏好单位的问题。核心变化是：被修正片段获得更强梯度，模型更集中地学习 factual grounding boundary。

第三，控制 vision-language mismatch。作者指出低质量图文数据和不谨慎的 image augmentation 会把 hallucination 注入训练过程，例如 crop 后文本仍描述被裁掉的物体。用高质量 VQA 数据 post-train、去掉随机裁剪等操作，本质是在减少训练信号中的图文不一致。这部分是合理的，但更像训练 recipe / data hygiene，不是论文最核心的机制创新。

Key Insight / Why It Works

这篇论文最重要的 insight 是：dense reward 不一定需要训练 dense reward model，可以通过 correction 数据结构“免费”得到。所谓 Dense Reward for Free 的本质是，人工 edit 本身已经携带了局部 reward attribution：被改掉的 span 是负行为，修正后的 span 是正行为，未改动上下文提供对照。

方法有效的主要原因大概率是 better inductive bias + better data，而不是 RL 算法本身。DDPO 的数学形式并不复杂，甚至可以看作 token/span reweighting 的 DPO。真正有价值的是把标注任务改成 correction，使监督信号剥离了大量语言方差和风格偏差。对于 hallucination 这种局部错误，数据结构比优化器更重要。

最可能的核心贡献是 correctional preference data formulation。DDPO 是必要的配套机制，但增益可能有限；论文 ablation 显示 vanilla DPO 略差，但不是灾难性下降。这暗示主要收益来自细粒度 correction 数据，而不是 DDPO 目标本身。VQAv2 fine-tuning 和 augmentation 修正也有明显影响，因此最终增益归因并不完全干净。

它不是 retrieval，也不是 test-time compute，也没有引入新的视觉 reasoning 机制。它更像是在训练期对模型的视觉语言边界做局部校准。所谓减少 over-generalization，本质上是通过负反馈抑制语言 prior 在常见场景中的过度外推，例如看到 street 就说 person/car。这个解释是可信的。

但也要直接说：这并不证明模型获得了更强视觉理解。它可能只是学会了在容易犯错的分布上更保守、更少编造。对于 benchmark 中常见的 COCO 物体、场景共现和描述风格，这种 correction 很有效；对超出 correction 覆盖的细粒度视觉事实，泛化上限仍不清楚。

Relation To Prior Work

最接近的路线有三类：传统 RLHF / DPO、MLLM hallucination mitigation、以及 edit-based factual correction。

相对传统 RLHF，RLHF-V 的差异不是把 PPO 换成 DPO，而是把 preference granularity 从 response-level 降到 segment-level。传统 RLHF 需要 reward model 从整体偏好中学习局部错误，RLHF-V 直接让人工标注给出局部错误位置和修正目标。

相对 LLaVA-RLHF，它的本质优势是数据形式更适配 hallucination。LLaVA-RLHF 仍依赖整体偏好和事实增强 reward，训练复杂且 credit assignment 稀疏；RLHF-V 用少量 correction 数据就能给出更直接的监督。这里的新信息不是“人类偏好有用”，而是“对 hallucination，correction 比 ranking 更像正确的数据结构”。

相对 LRV、VIGC、Woodpecker 等减少幻觉方法，RLHF-V 不靠缩短回答、不靠后处理、不靠外部 VQA expert 在线修补，而是把行为边界内化到模型参数中。它的实质创新是把 hallucination alignment 表述为局部 preference optimization，而不是生成后校正。

看似新的 DDPO，其实是 DPO + span weighting 的重组；真正新的是 correctional feedback 与 DPO 的结合，以及把 dense credit assignment 问题在数据层面解决。

Dataset / Evaluation

数据规模不大，约 1.4k prompts，但每条包含多个 correction segments，信息密度高。任务覆盖主要围绕 image description 和 open-ended QA，幻觉类型包括 object、position、number、attribute、action 等。它对长回答幻觉的覆盖比 yes/no 式 benchmark 更贴近实际使用，但仍主要在静态图像描述场景内。

评测使用 Object HalBench、MMHal-Bench、MHumanEval、LLaVA Bench、VQAv2 等，基本能支持“长回答中 hallucination 降低且 helpfulness 未明显崩掉”的 claim。尤其 MHumanEval 的人工 segment 标注比纯自动指标更有说服力。

但 evaluation 也有明显 limitation。Object HalBench 强依赖 COCO object labels，主要验证 object hallucination，不足以覆盖复杂关系、细粒度属性、OCR、空间推理和因果推理。MMHal-Bench 的 GPT-4 自动判断作者自己也承认不可靠，因此部分结果依赖人工评估。MHumanEval 样本量较小，且由已有 benchmark 混合构造，是否能代表真实 deployment 场景文中未充分说明。

论文声称优于 GPT-4V 的 over-generalization robustness，这个结论要谨慎。它是在特定 COCO 场景-物体共现分析下成立，不等价于整体 trustworthiness 超过 GPT-4V。

Limitation

第一，方法高度依赖 correction 数据质量。标注者必须能准确识别图像事实并给出正确替代；一旦 correction 本身有错，模型会直接学习错误边界。这比 ranking 更高信息密度，也更高标注责任。

第二，scalability 的瓶颈被转移了。论文说 dense reward for free，但“free”只是在优化层面不需要额外 reward model；从数据生产角度，segment-level correction 并不免费。扩大到复杂领域、多轮交互、视频、专业图像时，人工 correction 成本可能明显上升。

第三，增益来源不完全清楚。最终系统同时包含 correction data、DDPO、VQAv2 post-training、augmentation 修改。虽然有 ablation，但不能完全分离“数据更好”“模型更保守”“训练更干净”三者的贡献。核心能力可能主要来自数据覆盖和训练信号清洗。

第四，它降低 hallucination 不等于提升 reasoning。模型可能只是减少过度展开、避免不确定断言，并未形成更强的视觉证据链或不确定性建模。所谓行为边界更清晰，可能在很大程度上是对常见 hallucination pattern 的局部校准。

第五，真实部署中的 prompt 分布、用户追问、多轮上下文、需要拒答/澄清的情况都没有被充分验证。offline long-form benchmark 只能部分说明模型更少编造，不能证明在高风险应用中可靠。

Takeaway

  • 1. 对 hallucination alignment，数据粒度比 RL 算法更关键。
  • 把偏好从 response-level ranking 改成 span-level correction，是这篇最值得迁移的思想。
  • 2. Dense reward 可以通过标注结构获得，而不一定要显式训练 dense reward model。
  • 对于任何局部错误主导的任务，例如 factuality、toxicity span、代码 bug、数学步骤错误，correctional preference 都可能比整体偏好更高效。

一句话总结

RLHF-V 是一篇把 MLLM 幻觉对齐从稀疏整体偏好推进到局部 correctional preference 的工作，其真正贡献是用数据结构解决 credit assignment，而不是提出一个更强的 RL 算法。