Awesome RL with Human Feedback / 2026 / OpenReview

P$^2$-DPO: Grounding Hallucination in Perceptual Processing via Calibration Direct Preference Optimization

作者：ruipeng zhang, Zhihao Li, Haozhang Yuan, C.L.Philip Chen, Tong Zhang · 单位：Guangdong Provincial Key Laboratory of Computational AI Models and Cognitive Intelligence, School of Computer Science & Engineering, South China University of Technology, Pazhou Lab, Guangzhou, China, Engineering Research Center of the Ministry of Education on Health Intelligent Perception and · 来源：OpenReview · 发布日期：2026

事实性/幻觉偏好学习策略优化策略梯度人类反馈强化学习人类反馈设计

精读笔记

Problem Setting

论文标题：P²-DPO: Grounding Hallucination in Perceptual Processing via Calibration Direct Preference Optimization（Awesome RL with Human Feedback / 2026）。

这篇论文瞄准的是 LVLM hallucination 中一个相对具体的子问题：模型并非完全没有看到视觉证据，而是在已经关注到相关区域后，生成阶段仍没有把视觉证据正确转化为文本判断。作者把这和真正的 Perception failure 区分开：后者是 encoder 能力、预训练知识或分辨率上限导致的“看不见”；前者是“看到了但没处理好”。

这个区分是全文的关键，因为它决定了方法不走更强视觉 encoder 或更高分辨率路线，而是走 preference optimization 的数据构造路线。真正困难点在于，DPO 的优化信号来自 response pair，如果 pair 只是文本层面的 corrected answer vs hallucinated answer，那么梯度很可能主要修改语言先验和答案风格，而不是强化视觉证据到 token generation 的因果路径。换言之，以前方法卡在 preference signal 与 visual failure mode 不对齐。

任务的关键矛盾是：hallucination 的表象是文本错误，但根因常在视觉信息被语言模型压制；而主流偏好数据恰好又是文本中心的。这导致模型可能学会“更像正确答案的文本分布”，但不一定学会“更依赖图像”。

Motivation

作者的核心观察有两个。第一，LVLM 经常在 attention heatmap 上已经落到正确区域，但答案仍错。这说明 hallucination 不总是 localization failure，也不是简单增加视觉输入就能解决。第二，轻微图像退化会导致回答翻转，说明模型对视觉证据的处理链路非常脆弱，语言先验很容易在视觉信号变弱时接管生成。

已有路线的不足主要有三类。结构增强路线提升通用视觉能力，但成本高、迁移性差，而且解决的是 perception upper bound，不一定解决视觉证据如何控制生成。传统 DPO/RLHF-V 路线虽然能减少 hallucination，但 preference pair 多来自人工或 AI 后验修正，偏好差异主要体现在文本上，缺少视觉因果干预。synthetic hallucination injection 也类似，更多是在文本空间构造 negative answer，而不是改变视觉条件来观察模型行为。

因此作者真正想补的是：一种无需人工标注、与当前模型分布贴近、同时能让 preference pair 携带视觉因果差异的数据机制。这个 motivation 是合理的，尤其对 DPO 来说，on-policy 和 support overlap 确实会影响优化效率。

Core Idea

P2-DPO 的核心思想是：不要让外部标注者告诉模型哪个文本更好，而是让模型在不同视觉干预条件下暴露自己的行为差异，并把这种差异转化为偏好对。具体说，增强关键区域时模型更可能生成视觉 grounded 的回答；擦除关键区域或加入噪声时模型更容易暴露 hallucination。把这些回答组织成 winning/losing pair，相当于把 preference 的来源从 semantic correction 改成 visual intervention。

这改变了 DPO 的建模方式。普通 DPO 优化的是“在同一图像条件下更偏好 yw 而不是 yl”；P2-DPO 希望 yw 和 yl 的差别来自视觉证据质量的变化。于是 preference pair 不只是答案好坏的标签，而是包含了一个隐含因果假设：正确答案应当随着关键视觉证据增强而变得更 probable，随着证据被破坏而不应被语言先验凭空维持。

本质区别在于 inductive bias：prior work 多数是 answer-level alignment，P2-DPO 是 evidence-sensitivity alignment。它重新组织了信息流，让视觉输入扰动成为生成偏好的来源，而不是训练后的附加分析。这也是它可能更 scalable 的原因：不依赖人工逐条纠错，而依赖模型自身、attention/crop/noise 这些可自动化操作。不过这个 scalability 的代价是启发式偏好方向不一定总是正确。

Method

方法层面最重要的不是模块数量，而是三类机制如何对应 failure mode。

第一，Focus-and-Enhance preference pair 解决的是“注意到了但没答对”。作者用模型自己的 attention 找关键区域，把原图与 crop 组合成 enhanced input，同时在原图中擦除该区域形成 degraded input。增强输入下生成的回答作为 winning，退化输入下的回答作为 losing。这个机制的必要性在于：它强迫偏好差异围绕同一个视觉区域展开，使 DPO 梯度更可能作用到视觉依赖路径，而不是纯文本风格。

第二，Visual Robustness preference pair 解决的是“轻微退化导致语言先验接管”。clean image 下通过 contrastive amplification 得到更可靠回答，noisy image 下得到脆弱回答，然后训练模型在 noisy context 下偏向 clean-consistent answer。这里的核心变化是把鲁棒性从 evaluation condition 变成 training preference，类似一种 preference-form robustness augmentation。

第三，Calibration Loss 是本文最有辨识度的优化设计。标准 DPO 只比较 yw/yl 的相对概率，不关心为什么 yw 更好。Calibration Loss 比较 winning answer 在增强视觉输入与退化视觉输入下的 log-prob gain，试图让模型的正确生成对关键视觉证据更敏感。这是从“偏好正确文本”转向“校准文本概率对视觉证据的响应”。

DDW 用 CLIPScore crop/original ratio 调整 focus 与 robustness loss 权重。我的判断是它是有用的工程 stabilizer，但不是核心概念贡献；它主要缓解 crop 质量和样本类型差异，而不是定义新学习问题。

Key Insight / Why It Works

这篇最重要的 insight 是：对 LVLM hallucination，preference pair 的视觉依赖结构比 preference label 本身更关键。DPO 的能力不是自动对齐视觉 grounding；如果 pair 的差异主要是文本编辑，那么模型可能通过语言参数吸收监督。P2-DPO 通过改变视觉输入来产生 pair，使 winning/losing response 在视觉信息依赖度上出现差异，从而让梯度更集中到 vision-dominant 或 cross-modal fusion 路径。

真正可能有效的原因有四个。第一是 on-policy。self-generated responses 更接近 reference model support，DPO 的 KL 约束下更容易学习；这可能是相当大的收益来源，不应完全归因于视觉机制。第二是视觉干预带来的 causal contrast。crop/erase/noise 让模型看到同一 prompt 下视觉证据质量变化后的输出差异，比人工改写更能告诉模型“哪里该影响答案”。第三是 curriculum/data augmentation 效应。方法自动生成大量接近模型决策边界的样本，这些样本本身就很适合纠正 last-mile errors。第四是 calibration loss 把概率质量重新绑定到视觉证据上，这比普通 DPO 更直接。

我认为最核心贡献是“vision-intervention-generated on-policy preference data + calibration over perceptual confidence gain”。其中 Focus-and-Enhance pair 和 Calibration Loss 是概念上最实质的部分；Visual Robustness pair 更像把 VCD/contrastive decoding 和 robustness augmentation 纳入 DPO 数据生成；DDW 和 filtering 更偏 engineering。

需要警惕的是，很多增益可能来自更好的数据分布，而不是新的优化理论。文中的 VID/Fisher 分析更像 heuristic justification，不是严格证明。尤其“vision-dominant 参数”划分、“VID 与梯度范数正相关”、“posterior KL 增大导致 Fisher 增大”都依赖较强假设。它们能解释直觉，但不能作为方法必然成立的理论保证。

这不是 retrieval，也不是 test-time compute；更接近 representation alignment + data-centric preference learning + robustness curriculum。所谓 self-correction 也不是模型真正反思，而是通过视觉扰动挖掘 reference model 已经具备但不稳定调用的 latent capability。

Relation To Prior Work

最接近的谱系有三条：一是 RLHF-V / HA-DPO / V-DPO / mDPO 这类 multimodal preference optimization；二是 VCD/contrastive decoding 这类通过 clean vs degraded visual context 抑制 hallucination 的方法；三是 attention-guided cropping / high-resolution detail enhancement 这类利用 salient region 改善细粒度感知的方法。

和传统 DPO-based LVLM alignment 的本质差异在于 preference data 的生成机制。RLHF-V 等方法的强监督来自人类纠错，语义质量高但 off-policy 且视觉归因弱；P2-DPO 的监督质量可能更噪，但它是模型自身分布内、由视觉干预诱导的，因此更贴合 DPO 的优化假设。

和 VCD 的关系也很明显：Visual Robustness pair 中的 contrastive amplification 基本继承了 clean/degraded logits 对比思想。不同的是，VCD 是推理时解码策略，P2-DPO 把这种对比结果蒸馏进训练偏好。这里的新意不是 contrastive decoding 本身，而是把它变成 self-generated preference source。

和 cropping/high-res 方法相比，P2-DPO 不是单纯把 crop 拼进输入提高性能，而是用 crop/erase 构造 preference，训练模型学习对关键区域的依赖关系。这个转化比较实质：视觉增强从 inference trick 变成 alignment signal。

因此，这篇属于 data-centric multimodal DPO 的演化，而不是架构创新。看似新的理论包装较多，但真正新增的信息是：preference pair 应该由视觉因果扰动产生，而非文本后验纠错。

Dataset / Evaluation

评估覆盖了标准 hallucination benchmark、细粒度视觉问答、对象存在判断和图像退化 stress test，基本能支撑“减少 hallucination”和“增强轻度视觉鲁棒性”的主张。尤其 TextVQA 上用 AFR 与 high-focus subset 的 Processing Accuracy 做 targeted validation，是比单纯跑 POPE 更接近论文核心 claim 的证据。

不过 evaluation 仍有明显限制。第一，数据生成使用 RLHF-V 的 prompts/images，虽然不使用人类 preference labels，但 benchmark 与训练 prompt 分布之间是否存在重叠或风格贴近，文中没有充分排除。第二，POPE、AMBER、MMHal、HallusionBench 都是离线静态 benchmark，不能证明真实部署中的开放域鲁棒性。第三，noise/blur stress test 是人为扰动，能说明局部 robustness，但不能代表真实拍摄条件、遮挡、压缩、低光、跨域视觉退化。

更重要的是，benchmark 是否真正验证了 Perceptual Processing failure 仍有限。AFR + P-Acc 是一个较好的 proxy，但 attention 是否等价于模型真的拥有可用证据仍有争议。attention heatmap 高不一定表示内部表示充分，答案错误也可能来自 OCR/recognition failure 而不是 processing failure。

消融支持各组件有效，但没有完全解开归因：on-policy 数据、视觉数据增强、contrastive decoding 生成的更好答案、filtering、calibration loss 各自贡献可能耦合。文中未充分说明这些因素在相同数据量、相同 response quality、相同 perturbation 条件下的独立作用。

Limitation

核心前提之一是 attention map 可靠。若 attention 错、crop 不覆盖关键证据，Focus-and-Enhance pair 会生成错误偏好，DDW 只能部分缓解。尤其在多对象关系、计数、空间推理、长文本 OCR 场景中，单一 salient crop 可能破坏全局上下文，导致方法偏向局部证据而牺牲组合推理。

第二个前提是 reference model 在增强输入下能够生成更正确的答案。P2-DPO 本质是在挖掘模型已有能力，而不是创造新感知能力；如果模型从未学会某类视觉概念，或者视觉 encoder 分辨率不足，self-correction 无法突破上限。这里的上限很明确：它适合 last-mile correction，不适合真正的 perception bottleneck。

第三，偏好方向是启发式的。增强输入生成的回答未必总是正确，退化输入生成的回答也未必一定更差。filtering 用 PPL 和 log-prob margin 只能筛掉明显异常，不能保证语义正确。附录用 Qwen3-Max 与 RLHF-V 人类答案做外部验证有帮助，但这也暴露出隐含 supervision：虽然训练不使用 human labels，数据和验证逻辑仍强依赖已有人工数据分布。

第四，scalability 存在隐性成本。每个样本要多次 forward/generation、attention extraction、crop/erase/noise、contrastive decoding、filtering。和人工标注相比便宜，但不是无成本；扩展到更大模型或视频、多图、多轮对话时成本会明显上升。

第五，泛化 claim 还偏弱。Qwen2.5-VL-3B/7B 上有效说明一定架构迁移，但仍都是相近 LVLM 范式。对闭源强模型、不同视觉 tokenization、不同 attention 行为、agentic multimodal setting 是否成立，文中未充分说明。

最后，增益可能主要来自数据覆盖和 on-policy distribution matching，而不完全来自 calibration。换句话说，这篇把问题从“如何获得高质量人工偏好”转移到“如何构造足够可靠的视觉扰动偏好”。这是有价值的转移，但不是彻底解决 hallucination。

Takeaway

  • 1. 对 multimodal DPO 来说，preference pair 的生成过程必须携带视觉因果结构；只在文本空间做 corrected answer，容易把 hallucination alignment 退化成语言分布校正。
  • 2. LVLM hallucination 应该区分 perception failure 和 perceptual processing failure。
  • 前者需要更强视觉能力，后者可以通过 self-generated contrastive preference 挖掘已有 latent capability。
  • 这一区分对后续方法设计很重要。

一句话总结

P2-DPO 是一篇把 LVLM hallucination alignment 从“文本纠错式偏好优化”推进到“视觉干预式自生成偏好优化”的 data-centric DPO 工作，真正贡献在于让 preference signal 对准 perceptual processing 的视觉因果路径。