精读笔记

Problem Setting

[Qwen-Image-2.0-RL Technical Report]（arXiv preprint / 2026）

这篇论文面对的不是“如何训练一个图像生成模型”，而是更实际的 foundation model post-training 问题：已经有一个强 Qwen-Image-2.0 base，如何通过 RLHF 把它进一步对齐到人类偏好，同时保留 T2I 和 image editing 两类能力。

关键矛盾在于：图像生成的偏好目标高度多维，alignment、aesthetic、portrait fidelity、editing accuracy、face identity preservation 彼此不是同一个 reward landscape。直接把所有 reward 混在一起训练一个 policy，容易出现 seesaw：T2I 变好但 editing 退化，或者身份保持变好但编辑执行不足。以前 diffusion RL 工作多证明“RL 可以优化 reward”，但没有充分解决真实系统里的三个问题：reward 是否可信、全参数 RL 是否稳定、多任务能力如何合并。

Motivation

作者真正的动机是补齐 diffusion/flow model RLHF 从 research demo 到 production-scale post-training 的缺口。已有路线不够主要有三点：第一，通用 reward 或 pairwise preference 不足以覆盖图像任务中细粒度、任务相关的质量维度；第二，Flow-GRPO 类方法在 LoRA 或较窄 setting 下有效，但 full-parameter、多 reward、大规模训练时容易不稳定或 reward hacking；第三，统一模型部署要求单个 model 同时服务生成和编辑，而 task-specialized RL policy 天然会分化。

核心观察是：多任务 reward conflict 不一定要在 RL 阶段硬解。可以先承认不同任务需要不同 teacher，再通过 distillation 做能力合并。也就是说，这篇论文缺的不是一个更复杂的 reward aggregator，而是一个更合理的信息流组织：RL 负责把单任务能力推高，OPD 负责把能力迁移回统一模型。

Core Idea

论文的核心思想是把“多任务 RLHF”拆成两个阶段：任务内强化、任务间蒸馏。T2I policy 在 alignment/aesthetic/portrait reward 下优化，editing policy 在 instruction/identity reward 下优化；二者不在同一个 RL objective 里互相拉扯。最后 student 在自己的生成轨迹上，根据样本任务类型匹配对应 teacher 的 velocity prediction，从而学习多个 teacher 的行为。

这和 prior 的本质区别在于，它不是把 diffusion RL 当成单一 reward maximization 问题，而是把 post-training 看成“偏好专家化 + 行为合并”。OPD 引入的 inductive bias 是：学生应该在自己会访问的状态分布上模仿 teacher，而不是离线拟合 teacher outputs 或在混合 reward 上继续探索。这比 mixed RL 更 scalable，因为新增任务可以原则上增加 teacher/reward，而不是把所有 reward 都塞进一个不稳定的联合 RL objective。

Method

1. 任务化 reward 建模：作者没有依赖一个泛化 reward，而是把 T2I 和 editing 拆成不同评价轴。它解决的是 reward under-specification：单一美学分数无法约束 prompt faithfulness，VLM 语义一致性也不够检测 subtle face identity drift。核心变化是 reward 从“全局偏好标量”变成“带 rubric 的任务条件评价”。

2. Pointwise VLM reward：作者认为绝对打分比 pairwise ranking 更适合高质量模型池，因为高水平样本之间 pairwise preference 信息稀疏且易受排序策略影响。pointwise 的作用是提供校准过的质量尺度，使 reward 不只是“谁更好”，而是“好到什么程度”。这个判断有经验支持，但文中未充分说明标注一致性和 scale calibration 的泛化边界。

3. Hybrid CFG：rollout 时用 CFG，训练 objective 不优化 unconditional branch。它解决的是 diffusion RL 中一个很具体但重要的问题：不用 CFG 会丢失 base model 依赖 CFG 才显现的知识和风格能力；训练时把 CFG 也纳入优化又会导致不稳定和 collapse。核心变化是把“采样分布质量”和“policy gradient 可优化性”解耦。

4. Prompt range filtering：只保留同一 prompt 下 reward 方差/范围足够大的样本。它解决的是 RL signal sparsity：如果 base 对某 prompt 全都好或全都差，group-relative advantage 很弱或噪声大。这个机制本质上是 curriculum/data selection，把 RL compute 集中在 policy 有可改进空间的区域。

5. OPD：student 不是拟合 teacher 的最终图像，而是在 student 自身 trajectory 上拟合 task teacher 的 velocity field。它解决的是 distribution mismatch：如果只在 teacher/offline trajectory 上蒸馏，student 一旦偏离就缺少纠错信号。OPD 的核心变化是把多任务合并从 reward optimization 转为 on-policy behavior matching。

Key Insight / Why It Works

最可能真正有效的部分是 decomposed optimization：先让每个任务在自己的 reward geometry 下充分优化，再蒸馏合并。多 reward RL 的难点通常不是 reward 数量，而是不同 reward 在参数空间中对应的梯度方向不一致。Mix-RL 的劣势说明冲突是真实存在的；OPD 相当于把冲突从 RL 阶段移到 supervised matching 阶段，后者梯度更平滑，也不再需要在线 reward 查询。

第二个关键 insight 是 reward 可学习性比 reward 完备性更重要。Prompt range filtering 和 per-category reward calibration 都是在承认 reward 本身不完美：不是所有 prompt 都适合 RL，不同类别也不应共享同一 reward 权重。这不是理论创新，但对大规模 diffusion RL 很关键，本质上是 data curriculum + reward normalization。

Hybrid CFG 是很强的工程 insight。它指出 base diffusion model 的能力表达和训练目标并不一致：推理时 CFG 是能力释放机制，训练时 CFG 又会引入优化病态。把 CFG 放在 rollout 而非 loss 中，实际上是在用更强的 behavior distribution 产生 reward signal，同时用更干净的 conditional policy 做更新。这部分可能比论文包装出的“scalable RL framework”更实质。

OPD 的理论推导提供的是合理性，不是决定性证明。W2 upper bound 到 velocity MSE 的路径能说明“在学生轨迹上匹配 teacher velocity 会降低分布差异上界”，但实际收益很可能来自更直接的原因：teacher 输出已经编码了 reward 优化后的局部偏好，student 通过 on-policy matching 继承这些偏好并避免 reward hacking。理论不是假的，但不是主要解释力。

需要直接判断的是：很多增益可能主要来自 scaling / data / reward engineering。VLM reward 的训练数据、Qwen VLM judge、内部 prompt pool、远程 reward API、全参数训练规模都可能是主要增益来源。论文把 pipeline 组织得很好，但算法层面单点 novelty 并不尖锐；它的价值更像系统化地证明“production-scale diffusion RLHF 应该按专家化 reward + OPD 合并来做”。

Relation To Prior Work

它最接近三条谱系：Flow-GRPO/DiffusionNFT 这类 diffusion RL，ImageReward/PickScore/HPS/UnifiedReward 这类偏好 reward model，以及 LLM 中 GKD/OPD 式 on-policy distillation。

和 Flow-GRPO 的差异不在于重新定义 diffusion RL，而在于把它扩展到多 reward、full-parameter、带 CFG 的真实训练系统。GRPO-based objective 本身不是新贡献，真正新增的是如何让它在 Qwen-Image-2.0 这种模型上不崩。

和传统 reward model 的差异在于 reward 不再只是单一人类偏好分数，而是任务化、多维、带 CoT/rubric 的 VLM scorer。pointwise token-probability scoring 也不是从零发明，更像 UnifiedReward/RewardDance 思路在 Qwen 系统里的产品化重组。

和 concurrent Flow-OPD/DiffusionOPD 的差异在于多 teacher + 多任务合并，而不是 OPD loss 形式本身。velocity MSE 蒸馏在 diffusion/flow 里已经是自然选择；本文更实质的点是把 OPD 用作解决 T2I/editing reward conflict 的系统接口。

因此，这篇论文属于“RLHF for diffusion foundation models 的系统化 scaling paper”，不是一个单一新算法 paper。它的新信息主要在训练组织和工程约束，而不是数学目标。

Dataset / Evaluation

评估覆盖了 T2I benchmark、human arena 和 editing arena，能支持“post-training 后人类偏好指标上升”这个 claim。Qwen-Image-Bench 的多维 taxonomy 与作者 reward 维度较一致，因此能较好验证 alignment/aesthetic/creative generation 的改进；arena Elo 也提供了比自动指标更接近 deployment feedback 的证据。

但 evaluation 仍有明显 limitation。第一，Q-Judger、reward VLM、Qwen 系列模型之间是否存在体系内偏置，文中未充分说明。若 judge 与 reward 或训练数据共享偏好分布，benchmark 可能高估真实泛化。第二，Mix-RL vs OPD 的对比主要是定性图和总体趋势，缺少足够细的 ablation 来排除额外训练 compute、teacher quality、prompt selection 的影响。第三，editing 的真实世界复杂性远高于 portrait/identity preservation 场景，当前证据更像验证高价值子域，而非完整编辑泛化。

总体看，实验支持 pipeline 有效，但不完全支持“每个机制都是必要贡献”。尤其 reward 数据规模、标注策略、模型规模与训练 compute 的作用没有被清晰剥离。

Limitation

方法成立依赖几个强前提。第一，reward model 必须足够可信且和真实用户偏好一致；否则 RL 和 OPD 只是在固化 reward bias。文中展示 pointwise 优于 pairwise，但没有充分说明 reward 在 out-of-distribution prompt、非主流审美、复杂编辑、多文化偏好上的可靠性。

第二，OPD 假设 task-specialized teachers 是可合并的。如果 teacher 之间存在根本行为冲突，velocity matching 只能做平均或任务条件选择，不能创造新的统一能力。随着任务数增加，teacher selection、GPU offload 和训练成本可能成为上限。

第三，增益归因不清。RL、reward 数据、prompt curation、category weighting、CFG 策略、OPD、额外训练 compute 都同时变化。论文证明了 pipeline 的 end-to-end 效果，但没有证明核心提升来自哪一个最小必要机制。

第四，所谓 CoT reward reasoning 更可能是提高 VLM judge 的 rubric-following，而不是模型具备真正视觉推理。这里的“reasoning”不能和可验证的因果/规划能力混为一谈。

第五，方法把部分困难从生成模型转移到了 reward 系统和数据系统。最终部署模型不依赖 reward API，但训练阶段高度依赖高质量标注、远程 VLM reward、prompt pool 和内部评测闭环。对外部研究者来说，可复现性和可迁移性有限。

Takeaway

• 1. 多任务 diffusion RLHF 不应该过早混合 reward；先训练 task-specialized policy，再用 OPD 合并，可能是更稳的范式。
• 2. 对图像生成来说，reward engineering 不是附属细节，而是核心建模。
• 任务化 rubric、pointwise scale、category weighting、prompt range filtering 共同决定 RL 是否有效。
• 3. CFG 在 post-training 中不是简单的 inference trick，而是训练分布和优化目标之间的接口。

一句话总结

Qwen-Image-2.0-RL 是一篇把 diffusion 图像模型 RLHF 从单任务算法验证推进到多 reward、多任务、可部署 post-training pipeline 的系统论文，真正贡献在于用任务专家化 RL + on-policy distillation 重组了偏好优化的信息流。