精读笔记

Problem Setting

这篇论文处理的是 visual-condition controllable generation 中最主流的 frozen backbone + trainable side branch 范式，而不是一般意义上的条件扩散建模。真正困难点在于：冻结主网络已经掌握高质量图像先验，但视觉条件控制需要在不破坏该先验的情况下插入空间约束；side branch 要学的是一个细粒度、时变、噪声级相关的 residual control signal。以前 ControlNet/T2I-Adapter 这类方法虽然工程上有效，但训练信号只落在最终 score/noise prediction 上，side branch 的中间表征没有被约束成“应该表示什么”。这导致训练早期尤其低效：主网络能生成像样图像，但 side branch 很久才学会把结构条件正确注入。关键矛盾是 perceptual prior 与 conditional fidelity 的分工没有被显式建模，所有东西都靠端到端 loss 自己发现。

Motivation

作者的核心观察是：双分支结构并不是任意的 feature fusion，而可以被解释为 score decomposition。冻结 main branch 近似给出 unconditional score，条件生成需要的是 conditional score，两者差值根据 Bayes rule 对应 likelihood score，即条件 c 对当前 noisy sample xt 的约束梯度。因此 side branch 不应被理解为一般视觉编码器，而应被理解为 likelihood-score residual provider。已有路线不够的地方在于，它们训练 side branch 时没有告诉它这个角色，只在最终输出上施压；REPA/semantic alignment 虽然提供辅助监督，但监督来自 DINO 等外部语义表征，和 diffusion sampling 所需的 score field 不是同一种对象。LISA 的动机就是补上这个“role-consistent supervision”。

Core Idea

LISA 的真正核心是把可控生成中的 side-branch learning 从普通 representation learning 改写成 residual score learning。作者利用训练样本的 denoising target 作为单样本 conditional-score supervision，再减去冻结主网络在无条件路径下的 score prediction，得到一个近似 likelihood score。然后强迫 side network 某层特征经过轻量 decoder 后对齐这个 likelihood-score target。

这个想法的价值不在 decoder，也不在多一次 forward，而在于引入了一个更贴合模型结构的 inductive bias：side branch 学到的不是任意可融合特征，而是“相对于主生成先验的条件修正方向”。这使得训练信号更局部、更直接，也更可能产生可加的条件 residual。和 prior 的本质区别是，LISA 对齐的是生成动力学中的概率梯度，而不是外部感知空间或语义空间；因此它理论上更 architecture-agnostic，也更容易迁移到 flow matching / DiT / video，只要模型目标仍可解释为 score/velocity field 的条件化修正。

Method

方法机制可以压缩为三步。第一步是构造 target：冻结主网络无条件前向给出 sθ(xt,t)，它承担 unconditional score estimate；训练中的闭式 denoising target 提供单样本的 conditional-score 监督；二者相减得到 likelihood-score pseudo target。它解决的是 side branch 没有显式角色监督的问题。

第二步是 feature-to-score alignment：选取 side network 的某个中间层特征，用小 decoder 投影到 score latent space，与 pseudo likelihood score 做 L2 对齐。decoder 的作用只是坐标变换，让 side feature 可以被约束到与扩散目标同维度的空间；它不是推理时能力来源。

第三步是 joint objective：标准 diffusion loss 继续保证最终 conditional prediction 正确，LISA loss 给 side branch 提供辅助梯度。stop-gradient 很关键，因为 target 应作为 teacher，而不是让冻结主网络或 denoising target 被反向改写。推理时 decoder 丢弃，所以它是一种纯训练期 regularization，而非 test-time compute 方法。

Key Insight / Why It Works

最可能有效的原因是 LISA 把一个高方差、端到端的 credit assignment 问题变成了局部 residual fitting。标准 ControlNet 需要从最终 denoising error 中反推出每层控制特征该怎么改；LISA 直接告诉 side branch：你要提供的是 conditional score 相对于 unconditional score 的差。这会显著加快早期结构控制收敛，尤其在 pose、segmentation、depth 这类低熵空间条件上。

本质上这不是 scaling，也不是 retrieval，也不是 test-time compute；它更接近 role-aware representation alignment / score-space regularization。和 REPA 的区别在于 REPA 借外部视觉 encoder 给 diffusion feature 加语义先验，而 LISA 借模型自身的 score decomposition 给 side branch 加生成动力学先验。这个 prior 更贴近 controllable generation 的采样过程，因此不需要依赖 DINO 等 encoder 的语义覆盖。

最核心贡献是 likelihood-score target 的构造，而不是对齐层选择、decoder 结构或 λ 调参。decoder 只是辅助读出 side feature 是否包含 residual score 信息；若把 decoder 做得更强，甚至可能掩盖 side feature 本身是否真的学到 disentangled control。所谓 compositionality 的提升也可以这样理解：如果每个 side branch 学的是相对于同一个 unconditional prior 的 residual score，那么多个条件 residual 相加比任意 feature fusion 更自然。但这里不能过度解读为因果 disentanglement；论文只证明了在 pose+seg 这种相对兼容条件上的可加性更好。

Relation To Prior Work

LISA 属于 ControlNet/T2I-Adapter/ControlVideo 这条 frozen generative prior + trainable control branch 的技术谱系。它没有改变主架构，也没有提出新的条件注入机制；它改变的是 side branch 的训练目标解释。

和 ControlNet 的本质差异是：ControlNet 只通过最终 denoising loss 让 side branch 自组织出控制特征；LISA 显式规定 side branch 应近似 likelihood-score residual。和 T2I-Adapter 的差异类似，都是从 feature adapter 变成 score-residual regularized adapter。

和 REPA / representation alignment 更接近，但 LISA 的对齐对象不同。REPA 是把生成模型内部特征拉向 pretrained semantic encoder 的表征，属于外部表征蒸馏；LISA 是把 side feature 拉向由 diffusion 训练目标和主模型预测构造出的概率梯度，属于内部 score-space 自监督。看似新颖的部分其实复用了经典 Bayes score decomposition 和 auxiliary loss，但实质创新在于把这个 decomposition 精准落到双分支可控生成的训练瓶颈上。

Dataset / Evaluation

评估覆盖面比较完整：图像条件包括 pose、segmentation、depth、low-resolution；模型包括 SD2.1/SDXL、U-Net、SD3/DiT、flow matching；还扩展到 pose-guided video。这个设计基本支持“不是某个单一架构 trick”的 claim。

更有说服力的是早期训练阶段的对比，因为 LISA 的主要主张是训练效率和收敛加速。最终质量提升存在，但很多场景只是小幅提升；真正强信号是同等或更少迭代下 condition-following metric 明显变好。compositional-condition evaluation 是有价值的补充，因为它直接测试 residual feature 是否更可组合。

明显 limitation 是 evaluation 仍集中在标准视觉条件和离线 benchmark，没有展示真实 deployment 中复杂、噪声、不完整或冲突条件下的行为。多条件组合只做了相对简单的 feature summation；没有系统验证条件间非独立、冲突约束、跨域条件或长视频时序控制。文中未充分说明 target approximation 的误差如何随 timestep、condition type、base model quality 变化。

Limitation

第一，LISA 依赖冻结主网络给出高质量 unconditional score。如果 base model 的 unconditional score 有系统 bias，likelihood target 就会把这个 bias 转移给 side branch；方法没有纠正主模型先验，只是在其上学习 residual。

第二，所谓 likelihood score 是 sample-wise approximation，而不是直接可得的真实 ∇xt log p(c|xt)。denoising target 减主网络 prediction 的差值同时包含 conditional residual、主模型误差、单样本噪声和训练目标参数化误差。增益来源不清：可能来自更正确的 probabilistic target，也可能只是来自一个强 auxiliary denoising residual regularizer。

第三，scalability 上限取决于条件与图像之间是否能被局部 score residual 有效表达。对 pose/depth/seg 这种空间对齐条件很自然；对高层语义、关系约束、规划式条件、长程视频一致性，likelihood residual 未必能被单层 side feature 稳定承载。

第四，compositionality 证据还不够强。pose+seg 的 feature addition 成功不等于多条件控制可线性叠加；当条件冲突、条件相关或条件来自不同 domain 时，residual score 相加可能产生不可控干扰。

第五，论文没有充分拆解额外无条件 forward、辅助 decoder 容量、loss weight、target normalization、timestep weighting 各自的影响。当前结论更像“score-consistent regularization 有效”，但不是完全证明“likelihood score alignment 是唯一关键因素”。

Takeaway

• 1. 对 frozen-prior controllable generation，最重要的问题不是再堆一个 side encoder，而是明确 side branch 相对于 base prior 应该学习什么 residual。
• 2. 把条件控制解释为 likelihood-score correction 是一个可迁移 insight：任何条件化生成系统，只要有无条件 prior 和条件 target，都可以尝试构造 residual-field supervision。
• 3. LISA 提示 future control methods 可能会从 feature injection engineering 转向 score/velocity field decomposition：不同条件分支学习不同的可组合 gradient component。
• 4. 真正值得继续做的是验证 residual score composition 在冲突、多条件、长视频、3D/geometry condition 下是否仍成立，而不是只在标准 pose/seg/depth benchmark 上调更好的 adapter。

一句话总结

LISA 是把 ControlNet 类双分支可控生成从“端到端学习控制特征”推进到“显式学习 likelihood-score residual”的训练期正则化方法，实质贡献是为 side branch 加入与生成动力学一致的角色监督。