精读笔记

Problem Setting

[From Open Loop to Closed Loop: A Test-Time Iterative Optimization Framework for Reference-Consistent Image Generation]（arXiv preprint / 2026）。这篇论文解决的不是“如何做可控生成”这个大问题，而是参考条件已经给定、基础 controllable pipeline 已经存在时，如何在推理阶段减少 output 与 reference 的偏差。真正困难点在于 reference consistency 是生成后的性质，而 open-loop adapter 只在生成前注入条件；中间发生 identity drift、pose shift、depth boundary 错位时，系统没有观测误差并反向修正的机制。关键矛盾是：扩散模型擅长从条件中生成 plausible image，但严格 reference tracking 要求的是误差闭环，而不是一次性条件利用。

Motivation

已有路线通常沿两个方向加码：训练更强 adapter，或在采样过程中加入 guidance / loss。但这些路线要么侵入模型、依赖任务训练，要么把优化绑定在 denoising trajectory 上，仍未形成生成后验证再校正的外部反馈。作者的核心观察是：reference-consistent generation 更像 tracking 而不是 conditional sampling；如果系统能看到自己的输出偏离 reference 的方向，就可以在下一次生成中主动补偿。这里缺的不是新的 encoder，而是一个能把 output error 写回 control input 的推理时反馈回路。

Core Idea

论文真正改变的是建模方式：把 controllable generation 从 open-loop conditional generation 改写成 closed-loop dynamic tracking。生成模型 𝒢 被当作黑盒 plant，reference encoder / perceptual estimator 被当作 sensor，控制输入 u 不再是一次性条件，而是一个会根据输出误差迭代更新的 latent control signal。

这个 inductive bias 很直接：如果 reference consistency 可以在某个状态空间中被可靠测量，那么输出误差本身就是下一轮控制输入的有用方向。相比 prior 的本质区别在于，它不试图把所有对齐能力压进模型参数或一次前向条件里，而是把 test-time compute 组织成反馈校正过程。这使得方法在形式上更 general：只要任务存在可测量的状态空间，并且生成管线对控制输入有足够响应，就可以套同一闭环。

Method

方法层面最关键的是三点。

第一，状态空间必须和任务约束对齐。identity 用 face embedding，pose 用 keypoint / pose map，depth 用 dense depth map。它解决的是“误差在哪里被定义”的问题；没有这个状态空间，闭环只是盲调。

第二，使用 modified PID 而不是标准 PID。标准 PID 在误差趋近零时控制信号会衰减，但生成模型是 memoryless static mapping，不保留上一轮状态；如果控制输入消失，reference 本身也会消失。因此作者把 target state u* 作为 persistent bias，每轮都在 u* 周围做 residual correction。这是方法成立的关键工程修正。

第三，每轮执行完整 generation-and-check。它解决的是 open-loop 不可观测的问题，但代价是线性增加推理成本。这里没有对 diffusion 内部轨迹做细粒度优化，而是把整个 pipeline 当黑盒函数反复调用；优点是 zero-intrusion，缺点是样本效率低。

Key Insight / Why It Works

最核心的有效性来自 representation alignment + test-time compute，而不是 PID 这个名字本身。只要 sensor 的输出空间与 adapter 的输入控制空间近似同构，误差 e = u* - F(I) 就可以被解释为“下一轮应该往哪里推”的残差方向。identity、pose、depth 这些任务恰好满足这个条件：它们都有相对成熟的外部 estimator，也都有现成 adapter 接收相似形式的条件输入。

P 项提供当前误差修正，I 项更像跨轮 bias accumulation，用来弥补稳定残差；D 项主要是收敛速度和抑制振荡的辅助。真正贡献是把 reference state 固定为 baseline，再用反馈误差做 residual compensation；这比裸 PID 更重要。

需要直说：这不是模型学会了更强的 reference understanding，而是把额外推理预算用于 sensor-guided search。它本质上属于 test-time compute / feedback optimization，而不是训练范式突破。增益可能部分来自控制输入空间中局部可线性修正的性质；如果 adapter 对 u 的响应高度非线性、不可逆，或者 sensor metric 与人类感知不一致，闭环会变成 proxy hacking。

这篇最值得迁移的 insight 是：对于可测量约束，不必总是训练一个更强生成器；可以把生成器外包成 plant，把约束满足问题留到 test-time feedback loop。

Relation To Prior Work

最接近的谱系包括 ControlNet / IP-Adapter 类 adapter、FreeDoM / UGD / DAS 类 test-time guidance，以及 diffusion-as-control 的理论解释。它和 adapter work 的差别在于：adapter 负责条件注入，但仍是单次前向；本文增加了输出观测和误差回写。它和 sampling-time guidance 的差别在于：后者通常在 denoising trajectory 内优化能量函数，本文在完整生成结果级别做外部闭环，侵入性更低但效率更差。

看似新的“控制理论”包装，有一部分是已有 iterative refinement / black-box optimization 思想的重组；PID 不是概念上最深的创新。实质创新在于把 reference-consistent generation 明确表述为 tracking，并给出一个足够简单、可插拔、跨 identity / pose / depth 的闭环模板。新增的信息不是一个更强模块，而是一种重新组织推理信息流的方式。

Dataset / Evaluation

实验覆盖 identity-preserving、pose-controlled、depth-controlled 三类任务，并接入多个现有 backbone，这对“wrapper 式泛化”这个 claim 是有支撑的。和 best-of-20 / best-of-15 open-loop 对比也比较关键，因为它说明收益不只是多采样挑最好。

但 evaluation 的边界很明显。首先，任务都属于 sensor 容易定义且 adapter 输入空间明确的场景；这不能证明闭环能处理更抽象的语义一致性、关系约束或多对象组合约束。其次，虽然作者用不同模型做 sensor 和 evaluator 来降低 coupling，但 evaluator 仍是同类感知模型，存在 metric family bias。第三，真实 deployment 中的 latency、failure recovery、用户交互成本没有充分验证。总体上，实验支持“在可测量 reference state 上闭环能提升一致性”，但不支持更宽泛的“通用可控生成解决方案”。

Limitation

方法成立依赖几个强前提：一是 reference constraint 必须能被可靠 sensor 映射到连续状态空间；二是该状态空间必须能作为生成管线的控制输入或至少可转成控制输入；三是生成模型对输入扰动的响应要足够平滑，否则 PID residual 没有稳定意义。

最大上限是 scalability。每次迭代都完整跑 diffusion，20 轮 identity 或 15 轮 spatial control 在交互式应用里很重；这不是小 overhead，而是用数量级更多推理换一致性。文中称 zero-intrusion 是优势，但它也意味着无法利用模型内部梯度或 denoising 中间状态，样本效率天然受限。

另一个限制是误差归因不清。闭环提升可能来自 PID，也可能来自反复调用生成模型后对 control input 做经验扰动；文中未充分说明更简单 controller、random search、coordinate descent、learned residual predictor 是否会接近。PID 的控制稳定性也缺少严格分析，更多是经验调参。

最后，方法可能把问题转移给 sensor。sensor 错、reference estimator 偏、evaluation metric 同源时，闭环会优化错误目标。对 identity 尤其要谨慎：高 face-similarity 不等于人类感知身份完全一致，也可能牺牲其他不可见属性。

Takeaway

• 1. 最值得记住的是 open-loop controllable generation 的根本缺陷：条件注入后没有误差回路，因此严格 reference consistency 很难靠一次前向保证。
• 2. 这篇推动的不是新模型架构，而是 test-time feedback compute 的范式：当约束可测量时，可以把生成器当 plant，把一致性优化放在外部闭环。
• 3. 可迁移 insight 是“sensor-defined state + persistent target bias + residual controller”这一组合，可用于任何有明确 perceptual metric 和可调控制输入的生成任务。
• 4. 未来真正值得做的是提高闭环样本效率：学习 controller、利用 denoising 中间状态、做 adaptive stopping / adaptive gain，而不是简单增加迭代轮数。

一句话总结

这篇论文把参考一致生成从一次性条件注入推进到测试时闭环反馈优化，真正贡献是用 sensor-guided test-time compute 重组可控生成的信息流，而不是提出一个更强的生成模型。