精读笔记

Problem Setting

这篇论文真正处理的是生成模型后训练中的 capability composition：已有若干冻结能力源，例如 T2I、local edit、global edit、realism field、CFG operator，希望得到一个单一 student，在部署时不依赖外部 score composition，也不退化成能力折中。

真正困难点在于这些能力在语义目标上天然冲突。T2I 倾向开放生成和视觉质量，local editing 强调输入保持，global editing 刻意改变风格 / 布局 / 统计属性。若把它们简单放进同一个 batch 或同一个 target，模型面对的不是“更多监督”，而是语义方向互相抵消的 velocity field。

以前方法卡在三个位置：joint training/data mixing 把冲突压进优化器；model merging/adapter composition 假设参数空间可线性组合，但通常只能得到 compromise；inference-time score composition 虽能组合信号，却没有把能力内化进一个 student。DanceOPD 的问题设定更准确地说是：如何在共享 flow state space 中选择 teacher field query，使单模型吸收多个能力而不破坏 anchor capability。

Motivation

作者的核心观察是：对于 flow-matching 模型，一个能力源可以被视为定义在同一生成状态空间上的 velocity field。因此多能力组合不必先讨论参数怎么合并，而应先问：当前样本应该由哪个 field 监督？teacher 应该在什么 state 上被查询？同一个 rollout 上应该取多少个监督点？

这个视角指出了已有路线缺的东西。传统 distillation 往往默认 teacher target 是明确的，multi-task training 默认多个 loss 可以直接合并，OPD 默认 on-policy state 更重要，但没有细分多 teacher 场景下 target construction 的语义问题。DanceOPD 的动机就是补上这一层 query semantics：多能力蒸馏的失败不只是优化不稳定，而是 teacher query 本身可能不合法。

因此论文不是提出一个更复杂的蒸馏目标，而是把“能力组合”重新定义成 field-query design problem。这个转向是有价值的，因为它把一些看似工程性的选择，例如 route、timestep、dense query，提升为影响能力干扰的核心变量。

Core Idea

DanceOPD 的核心思想可以压缩成一句话：不要在单个样本里混合多个能力 field，而是在训练分布上 hard-route 不同样本到不同 frozen field，并且让这些 field 在 student 自己 rollout 到的低噪声 state 上提供局部 velocity 监督。

这改变了建模方式。prior 多数是在参数空间做平均、在 loss 空间做多任务加权，或在推理时做 score 组合；DanceOPD 则把每个能力保持为一个语义完整的 vector field query。能力组合不是通过构造一个“平均 teacher”实现，而是通过 student 在长期训练中学习多个 route-specific local fields 的并集来实现。

它引入的 inductive bias 很明确：单个样本的监督目标必须语义纯净；监督位置必须贴近 student deployment distribution；监督点数量不应让同一 trajectory 的相关梯度支配更新。这个 bias 比单纯 scaling 更具体，也比普通 OPD 更适合多能力 composition。

Method

1. Hard-routed sample-wise field matching：每个样本只查询一个能力 field。它解决的是 target-field ambiguity：如果把 T2I/edit/local/global fields 在同一样本上平均，得到的 velocity 可能数学上可回归，但语义上不对应任何能力。hard routing 的核心变化是让组合发生在样本级统计上，而不是 target 级混合上。

2. On-policy field querying：teacher field 在当前 student rollout 的 stop-gradient state 上查询。它解决的是 state-distribution mismatch：off-policy noised endpoint 或 teacher trajectory 不等于 student 推理时会访问的状态。这里的核心不是反传 through solver，而是用 student-induced state 作为 query distribution。

3. Semantic-side single query：每条 rollout 只取一个偏低噪声、近 clean-image 的 state。它解决的是 trajectory-query correlation：同一 rollout 上多个 state 共享 prompt、seed、路径历史和 student dynamics，dense supervision 并不等价于更多独立样本，反而可能重复放大同一冲突方向。低噪声侧被选中，是因为编辑、风格、属性、realism 等能力信号更集中。

4. Plain velocity MSE：在选定 field、state、timestep 后，直接回归 teacher velocity。KL-MSE 推导主要说明 MSE 是合理局部目标，但实质贡献不在这个 loss；更复杂的 DMD、consistency、feature distillation 在这个设定下反而可能引入不必要的不稳定性。

Key Insight / Why It Works

最关键的 insight 是：多能力蒸馏的核心失败模式不是 teacher 不够强，而是 teacher signal 被错误查询和错误聚合。DanceOPD 有效，主要因为它避免了三类错误监督：语义混合 target、off-policy state、同 rollout 相关梯度堆叠。

我认为真正的核心贡献是 hard routing + on-policy low-noise query 的组合。hard routing 保留 capability identity；on-policy query 保证 teacher 在 student 实际分布附近给局部方向；low-noise query 则相当于一种 capability-focused curriculum，把训练预算集中在语义差异最可见的区域。这更像 better inductive bias + curriculum，而不是单纯 scaling。

single-query 设计也有重要工程含义：它减少 teacher query/backward 成本，同时避免 dense trajectory OPD 的相关性问题。这里“少监督反而更好”不是玄学，而是因为 dense states 不是独立样本；当 capability gradients 冲突时，多点累计只是更稳定地朝错误 compromise 走。

哪些可能只是辅助？KL-MSE equivalence 更像合理性背书，不是决定性创新；CFG absorption 是 field view 的自然外推，概念上漂亮，但本质上是把 affine guidance field 当 teacher 训练进去；realism absorption 的收益可能与 teacher quality 和 reward/eval alignment 强相关。

需要警惕的是，实验增益可能部分来自 initialization 和 data coverage。文中显示 local-edit initialization 对结果影响极大，这说明 early student rollout distribution 决定后续 teacher query 是否有效。换言之，DanceOPD 不是从任意弱 student 中“组合出能力”，而是在相当强且兼容的能力源附近做 field-level consolidation。

Relation To Prior Work

它最接近三条线：flow/diffusion OPD、多 teacher distillation / knowledge amalgamation、多任务 / model merging 的 capability composition。和 DiffusionOPD / Flow-OPD 的区别在于，DanceOPD 不把 OPD 重点放在 dense trajectory supervision 或 PPO-style reward optimization，而是强调多能力 teacher field 如何被查询和路由。

和 joint training / multi-task optimization 的差异是，它不试图通过 loss weighting 或 gradient surgery 解决同一步冲突，而是从源头避免单样本 target 混合，并通过 step-level route alternation 让每次更新保持语义清晰。它不是经典 MoE，因为 deployed student 不是路由多个专家推理，而是一个模型吸收多个 frozen fields。

和 model merging / LoRA composition 的区别是，DanceOPD 不假设参数空间线性，也不依赖 adapter 可加性；它在函数空间 / velocity field 空间做局部对齐。这个点是实质差异。

哪些看似新其实是重组？On-policy supervision 来自 imitation/OPD，velocity MSE 来自 flow matching，CFG field absorption 来自 CFG affine form，hard routing 也可追溯到 multi-task routing。真正新增的信息是把这些放进一个统一的 field-query 框架，并通过 ablation 证明 query choices 本身决定多能力组合质量。

Dataset / Evaluation

评估覆盖面相对完整：T2I+editing、local+global editing、realism absorption、CFG absorption，能测试 anchor preservation 与 target strengthening 是否同时发生。它没有只在单一编辑 benchmark 上证明方法，而是试图覆盖 capability composition 和 functional field absorption 两类场景。

不过 evaluation 仍主要是离线 benchmark 与自动指标。GEditBench/GenEval 能验证部分 claim，但不能完全证明真实部署中的长尾 prompt、多轮编辑、复杂局部约束、用户偏好稳定性。realism reward 还是 proprietary，文中只说用于 evaluation；这会让 realism absorption 的可复现性和 reward alignment 判断打折。

实验最支持的 claim 是“在共享 backbone/latent/scheduler 的兼容能力源之间，hard-routed on-policy field matching 比混训、合并、off-policy、dense OPD 更稳”。它还不能充分支持更强的 claim，例如跨模型族泛化、开放任务边界下自动组合、或无需强初始化的能力迁移。

另外，CFG absorption 的诊断很有价值，因为它指出 absorbed guidance 与 inference CFG 会近似乘法叠加。但这也暴露了评估敏感性：如果 eval convention 没处理好，吸收式方法可能因为 over-guidance 被误判。

Limitation

最大限制是 shared field support。DanceOPD 需要 teacher/student 在同一 flow state space 中给出兼容 velocity：同 latent、同 scheduler、同 parameterization、相近 backbone family。这个前提很强，实际系统里不同模型族、不同 VAE、不同 timestep convention 的能力源并不天然可比。

第二个限制是 routing 假设。论文使用预定义 capability bucket，这在 T2I/local/global/style/CFG 这种边界清楚的实验中成立，但真实 prompt 往往同时要求保持、修改、风格迁移、对象重排。hard routing 在模糊任务上可能失效；如果引入 verifier/reward router，问题会转移到 route policy 的可靠性。

第三，方法高度依赖初始化。结果显示从相关 edit checkpoint 初始化远好于 T2I 或 merged initialization，这说明 on-policy query 是双刃剑：student 早期访问的状态越差，teacher 在这些状态上的 field target 越可能外推不可靠。泛化不是免费来的。

第四，增益归因仍不完全清晰。DanceOPD 同时改变 query distribution、timestep、route schedule、dense query 数量、训练成本结构和初始化；虽然 ablation 做得较多，但不同 setting 的 teacher/data/metric 差异仍可能贡献一部分提升。某些提升可能主要来自数据覆盖和 teacher specialization，而不是 OPD 本身。

第五，它没有解决真正的多能力 simultaneous composition。当前方法是 sample-wise hard routing，长期训练后 student 学到多个能力；但当单个输入需要多个 field 同时满足时，它并没有提供一个原则性的 conflict resolution 机制。

Takeaway

• 1. 多能力生成模型组合更应该先被看作 field-query problem，而不是参数合并或 loss mixing problem；这是一条值得迁移到视频、3D、audio diffusion 的思路。
• 2. 在 flow/diffusion 后训练中，teacher signal 的 state distribution 可能比 loss 形式更重要；on-policy query 的价值在于减少 deployment-state mismatch。
• 3. dense trajectory supervision 不一定更强，尤其在多 teacher / 多 capability 冲突时，同 rollout 相关性会让更多监督变成更强偏置。
• 4. 未来真正值得做的是 learned routing / verifier routing、异构 field alignment，以及能处理单样本多能力约束的非平凡 field composition，而不是继续堆更复杂的蒸馏 loss。

一句话总结

DanceOPD 是把多能力图像生成后训练从参数 / 数据混合推进到 on-policy velocity-field query design 的方法，真正贡献在于用 hard-routed、student-state、低噪声单点监督减少能力冲突，而不是提出一个新的复杂蒸馏损失。