精读笔记

Problem Setting

这篇论文真正解决的是复杂多参考图像生成中的 scaling failure：当参考图从少量同质 subject reference 扩展到 subject、style、background、lighting、pose 等混合控制信号时，开源编辑模型不能稳定地选择、绑定和迁移正确的信息。困难点不只是“输入图更多”，而是参考图之间承载的语义层级不同：subject 要保 identity，style 要迁移统计纹理，background 要保布局，lighting 要迁移光照逻辑，pose 要保几何结构。这些信号天然存在冲突，模型如果没有类型解耦和指令绑定机制，就容易把参考内容整体复制、遗漏某类约束，或在多个参考间发生 feature contamination。以前方法卡在两个层面：benchmark 没有充分暴露复杂组合，训练也容易被简单样本主导。任务的关键矛盾是：参考越多，本应提供更多控制信息，但模型的信用分配和优化信号反而越弱。

Motivation

作者的动机不是单纯提出一个新 MRIG 数据集，而是指出现有评测低估了多参考生成的真实难度。少量 reference 或单一 reference type 下的高分并不能说明模型具备复杂 visual constraint composition 能力。作者的核心观察很直接：开源模型在少参考场景中可用，但随着 mixed-type reference 数量增加，CLIP-I 和视觉质量快速下降；这说明性能差距不只是模型容量或美学质量问题，而是复杂样本没有被充分学习。关键缺口在于：现有 SFT/RL 后训练通常把所有样本近似同等对待，而复杂 MRIG 中不同样本的难度差异非常大；同时 CLIP/SigLIP 这类 reward 在高相似区间过于集中，导致 GRPO 组内样本之间 advantage 差异不足。因此作者转向动态 reward optimization，本质上是在补训练信号的分辨率和难度感知能力。

Core Idea

DyRef 的核心思想是把复杂 MRIG 从“模型架构需要更强融合模块”的问题，转成“训练分布与优化目标需要显式偏向复杂组合”的问题。第一阶段用合成多参考数据做 SFT，让模型先见过足够多 reference-type 组合，建立基本的条件对齐能力；第二阶段不再平均优化所有样本，而是根据 group-level reward 动态调节样本贡献，让低表现、通常也是多参考高复杂度的样本获得更大梯度权重。

这带来的 inductive bias 很明确：模型训练时不再被容易样本的高 reward 稳态所吸引，而是持续把容量压向 reference-rich、mixed-type 的长尾区域。DAR 相当于 difficulty-aware curriculum 的反向形式，不是从简单到困难，而是在 RL 阶段主动放大困难组；DRS 则解决 reward 模型数值上“不够尖锐”的问题，使组内 preference learning 有足够梯度。和 prior 的本质区别在于，它没有引入额外 memory/router/agent 模块，而是通过 reward geometry 改变优化轨迹；这使它更容易迁移到不同 base model，但也意味着它的上限仍受 base model 表征和数据覆盖限制。

Method

方法上真正重要的不是训练 recipe，而是三个机制。第一，SFT 解决能力初始化问题：复杂 MRIG 不是靠 RL 从零学出来的，模型必须先通过同源合成数据见过多类型组合，否则 reward optimization 只是在低质量样本上做噪声搜索。第二，DAR 解决难度不均衡问题：按同一 prompt 生成的 group 计算平均 reward，reward 越低 group 权重越大，再归一化到稳定 loss scale；它改变的是样本对策略更新的贡献，而不是生成网络结构。第三，DRS 解决 reward 可分性问题：CLIP/SigLIP 相似度常集中在较窄区间，直接做 advantage 会让好坏样本梯度差很小；DRS 用阈值化/非线性变换放大高低质量样本差异，尤其对参考图数量更多的样本加强区分度。

CSD style reward 是一个更局部的补强：因为 style 是原模型和通用语义 reward 最弱的维度，加入专门 style reward 可以显著提高该维度。但这更像 reward engineering，而不是方法的普适核心。整体看，DyRef 的机制必要性来自复杂 MRIG 的两个训练病灶：样本难度分布不均，以及 reward 分辨率不足。

Key Insight / Why It Works

最有价值的 insight 是：复杂 MRIG 的性能崩塌不一定首先要靠新融合架构解决，至少在强 base model 上，训练目标如何分配注意力可能是更直接的瓶颈。SFT 提供数据覆盖后，模型已经具备一定多参考组合能力；剩下的问题是这些能力在复杂组合上没有被充分强化。DAR 有效的原因在于它把低 reward group 当作训练资源分配信号，使优化过程自动偏向模型当前不会的区域。这本质上是 curriculum / hard-example mining 在 diffusion RL 后训练里的重写，而不是全新的 RL 理论。

DRS 的贡献更偏 optimization engineering，但很关键。视觉 reward 模型常常对生成图给出高且接近的相似度，即使人眼差异很大；如果不拉开奖励，GRPO 的相对优势估计会非常弱。DRS 通过改变 reward geometry 让 policy gradient 更像在优化可区分偏好，而不是在一堆 0.8 到 0.9 的相似度里做微小扰动。

我认为论文中最可能真正贡献性能的是“同源复杂多参考数据覆盖 + SFT”，其次是 CSD 对 style 维度的 targeted reward，再其次才是 DAR/DRS 对 RL 的增益。DAR/DRS 确实解释了为什么复杂样本能进一步提升，但从 ablation 看，SFT 已经完成大部分跃迁，RL 部分更像把 benchmark 上的短板补齐。所谓 generalization 也需要谨慎：它更像 representation alignment + data coverage 的外溢，而不是模型学到了显式的多参考 reasoning。没有证据表明模型形成了稳定的 reference binding 或规划能力；更可能是通过大量合成组合学会了常见 reference pattern 的条件迁移。

Relation To Prior Work

这篇工作最接近三条线：多参考个性化生成、基于 Flow-GRPO 的图像生成 RL、以及 hard-example/focal-style reweighting。相对于 DreamOmni、OmniGen2、BAGEL 这类模型，DyRef 没有声称设计更强的多模态架构，而是把重点放在后训练阶段的样本难度分配；这使它更像一个 post-training recipe，而非 foundation architecture。相对于 UniRef/PSR 等 RL-for-editing 工作，它扩展到了更复杂的 reference-type 组合，并显式处理 reward concentration 和 difficulty imbalance。

看似新的 DAR，本质上是 focal loss / hard sample mining 在 GRPO group objective 上的移植：低 reward group 权重大，高 reward group 权重低。DRS 也是 reward shaping，解决的是 reward model 动态范围问题。这些思想本身不新，实质创新在于把它们放到 complex MRIG 的 failure mode 上，并用 benchmark 证明这个 failure mode 真实存在。OmniRef-Bench 的贡献可能和方法同等重要，因为它重新定义了该方向应该评测的难度：不是两个 subject 是否保真，而是多类型视觉约束是否能同时被抽取、解耦和组合。

Dataset / Evaluation

OmniRef-Bench 的覆盖面比已有 benchmark 更接近真实复杂编辑：五类 reference、最多四类组合、2 到 7 张参考图，并且有合成和真实图。它确实能验证论文最核心的 claim：开源模型在复杂 mixed-reference 场景下会退化，且 DyRef 对这种退化有缓解。细粒度 objective metrics 加 MLLM evaluation 的混合评测是合理的，因为单独 objective metric 容易奖励表面相似，单独 MLLM 又缺乏几何精度。

但评测也有明显限制。训练数据和 benchmark 来自相似构造 pipeline，虽然不是同一数据集，但分布同源，可能放大了方法对该 benchmark 的适配效果。数据构造大量依赖 Seedream、Nano Banana、Qwen-Edit、Gemini 等强模型，benchmark 本身也可能继承这些模型的偏好与视觉风格。MLLM 评测虽然和人类相关性较高，但样本规模有限，且 Gemini 作为 evaluator 可能偏好由类似闭源模型生成的数据风格。单图编辑和其他 MRIG benchmark 的提升说明没有灾难性遗忘，但不足以证明真正的 open-world 多参考泛化。

Limitation

方法成立依赖几个强前提。第一，reward 必须大体可信：DAR 会放大低 reward group，如果低 reward 来自 reward bias、数据噪声或不可满足约束，它会把优化推向错误方向。第二，复杂度被隐式等同于低平均 reward 和更多 reference 数量，但真实困难还包括 reference conflict、局部绑定、多对象遮挡、语义歧义等，DAR 没有直接建模这些因素。第三，DRS 放大奖励差异的同时也放大了 reward model 的偏差，尤其 CLIP/SigLIP/CSD 对语义、风格和内容泄漏的区分并不稳定。

更根本的限制是，DyRef 没有解决 reference disentanglement。论文 failure case 已经说明模型仍会过引用 style image 中的人物，或漏掉 background/pose。这意味着优化让模型更常做对，但没有提供机制保证“哪张图的哪类信息应该被使用”。scalability 上限也不清楚：参考图继续增加、reference type 超出训练类型、或用户指令要求复杂逻辑组合时，靠 group-level reweighting 可能不够。增益来源也不清：核心能力可能主要来自数据覆盖和强闭源教师生成的 targets，DAR/DRS 是有效的后训练修正，但不是能力来源本身。

Takeaway

• 1. 复杂 MRIG 的关键不只是多图输入，而是 reference-type disentanglement 与训练难度分配；只评测简单 subject preservation 会严重高估模型能力。
• 2. 对强生成模型而言，post-training 的样本权重分配和 reward geometry 可能比新增融合模块更高性价比，尤其当基础能力已由 SFT 建立时。
• 3. DAR/DRS 的可迁移 insight 是：在多约束生成任务中，应该让低表现复杂样本显式获得更高优化预算，同时处理 reward 模型动态范围不足的问题。
• 4. 未来真正值得做的是显式的 instruction-reference binding、per-reference routing/disentanglement，以及更独立于合成 pipeline 的真实用户 benchmark；否则 complex MRIG 很容易停留在 data coverage + reward engineering 的阶段。

一句话总结

DyRef 是复杂多参考图像生成方向中一篇以 benchmark 暴露 scaling failure、再用数据覆盖和 difficulty-aware reward optimization 修补开源模型后训练瓶颈的工作，实质贡献更偏 post-training 与评测范式，而不是新的生成架构。