精读笔记
Problem Setting
论文解决的不是一般意义上的可控生成，而是扩散采样中对全局分布属性的精确约束。典型例子是：生成图像既要符合 prompt，又要严格匹配某个颜色直方图，或匹配某个离散 latent token 频率。困难点在于 histogram 是全局统计量，没有空间对应关系；它对每个像素/token 都有影响，但又不告诉模型“哪里应该是什么”。以前方法要么用 prompt / style reference 给弱控制，要么用 ControlNet 给强空间控制，都没有很好覆盖这种“非空间、可验证、全局但精确”的控制信号。关键矛盾是：越精确的约束越容易破坏图像局部一致性，越保真则越难保证统计量精确满足。
Motivation
已有路线缺的是一个中间粒度的控制接口。文本和 LoRA 能表达语义或风格，但无法保证输出分布；dense condition 能保证结构，但要求强先验输入且限制生成自由度。作者的核心观察是：很多用户意图其实可以表示为分布约束，而不是语义标签或空间模板。直方图作为控制变量的吸引力在于它可解释、可组合、可精确验证，并且不绑定具体布局。这个方向的关键缺口是如何把这种全局统计约束插入 diffusion sampling，而不是事后做粗暴后处理。
Core Idea
HIG 的真正核心是把 controllable generation 重新表述为 test-time projection：在扩散采样的若干中间步骤，把模型当前预测的 clean image 投影到满足目标 histogram 的集合上，然后继续 denoise。这个投影由 OT 给出，因为 OT 在离散分布之间提供一个最小代价的 mass reassignment；因此它既能精确匹配目标直方图，又尽量少扰动当前图像。
和 prior 的本质区别在于信息流位置变了。ControlNet / LoRA 是通过改变模型预测的 noise / score 来影响轨迹，控制是隐式的；HIG 是直接修改当前样本本身，控制是显式的。它引入的 inductive bias 是：全局统计约束可以被视为可行域，扩散模型负责生成自然图像 manifold，OT 投影负责把样本拉回统计可行域。这个分工使它 training-free、可组合，并且理论上可迁移到任何能定义 histogram 的空间。
Method
关键机制一：histogram parameterization。它把颜色或 latent token 这种高维对象压成有限维分布，使约束变成可解的 mass matching 问题。它解决的是控制目标不可直接优化的问题，但代价是丢掉空间信息。
关键机制二：OT-based transformation。给定当前 histogram 和目标 histogram，OT 计算最小代价搬运方案，并据此重分配像素或 token。它解决的是“如何精确满足约束且尽量少改图像”的问题。需要注意，最小代价只相对于作者定义的颜色/token距离成立，不等价于感知最优。
关键机制三：in-loop intervention。HIG 不只在最终图像上做 OT，而是在 denoising 中间对预测的 clean sample 做 decode-transform-encode，再继续采样。它的作用是让后续扩散步骤修复硬投影造成的局部不连续，因此比 direct OT 更像“受约束生成”，而不是后处理滤镜。
关键机制四：multi-option binning / latent histogram。multi-option binning 放宽 bin 内具体取值，减少视觉破坏；latent histogram 把同一思想迁移到 tokenizer token distribution。二者都是扩展控制空间的工程化泛化，不是论文最核心的理论贡献。
Key Insight / Why It Works
HIG 有效的主要原因不是 diffusion model 学会了新的控制能力，而是 test-time compute 把一个硬约束反复投影进采样轨迹。扩散模型本身提供自然图像先验，OT 提供精确统计修正；两者交替作用，形成一种近似 projected sampling。这个机制最强的地方在于：约束是外部显式施加的，所以不依赖训练数据中是否见过该控制条件，也不需要模型理解 histogram 的语义。
最核心贡献是把“直方图匹配”从 post-processing 提升为 denoising trajectory intervention。单纯 direct OT 虽然能做到 HistKL 为 0，但容易产生局部 artifact；插入采样过程后，后续 denoising 起到 manifold repair 的作用。这一点是方法成立的关键 insight。
哪些部分可能只是辅助：multi-option binning 主要是降低硬量化和硬重排的 artifact；latent histogram 的表现主要取决于 tokenizer 表征质量，不应过度归因给 HIG；信息嵌入的高容量更多来自 LLM soft prompt 的可优化性和固定维连续向量到 histogram 的映射，HIG 负责的是精确承载这个向量。
这不是 scaling，也不是 retrieval；更准确地说，它是 better inductive bias + test-time projection。它把不可训练的分布约束变成采样时的可行域修正。增益来源相对清楚：颜色控制来自 OT exact matching，视觉质量来自 diffusion prior 的修复能力。但 latent semantic control 的增益来源不清，可能主要来自 tokenizer latent space 已经把语义压进 token frequency，而不是 HIG 自身具备语义推理。
Relation To Prior Work
最接近的谱系是 constrained generation / inverse problem guidance / training-free guidance，而不是传统 style transfer。它和 inverse problem 方法相似：都在采样中把当前估计拉向某个约束集合；不同的是 HIG 的约束不是测量一致性或 differentiable loss，而是离散分布精确匹配。它和 Sliced-Wasserstein / color alignment / OT color transfer 也接近，但本质差别是 HIG 使用完整 histogram 的显式 OT plan，并把它插入扩散采样，而不是训练一个颜色条件模型或只做后处理。
看似新的部分里，OT histogram matching 本身不是新思想，projected sampling 也不是新思想；真正新增的信息是把二者组合到 LDM 的 intermediate clean prediction 上，并证明这种中间投影能在精确统计控制和视觉质量之间取得可用平衡。它属于一种更广义的 test-time controllability 方法：不改模型、不训练 adapter，而是在采样轨迹上插入可解释算子。
Dataset / Evaluation
评估覆盖了三类场景：参考图颜色直方图控制、基于 synthetic histogram 的信息嵌入、以及 latent token histogram 控制。前两者比较能验证核心 claim：HIG 确实能精确控制 histogram，并且 in-loop guidance 比 post-hoc direct OT 更少 artifact。颜色控制 benchmark 使用 prompt/reference image 组合，能说明在一般 T2I 场景下的可用性，但它主要验证低阶视觉统计，不等于验证复杂风格或语义控制。
信息嵌入实验是强证据但也有偏：它把问题设置成只要 histogram 精确即可解码，因此天然有利于 HIG。它证明了精确性，而不是证明生成模型理解了隐藏文本。latent histogram 实验更弱，更多是探索性展示；它说明框架可套到不同 tokenizer，但没有充分证明这种控制在真实任务中稳定可靠。整体 evaluation 支持“distributional control is possible and useful”，但对“general semantic control”的支持有限。
Limitation
最大限制是 histogram 丢弃空间结构。HIG 控制的是频率，不控制位置，因此任何需要 object-level binding、区域约束或几何一致性的任务都不能单靠它解决。颜色直方图匹配可能让整体色彩正确，但无法保证哪个对象是什么颜色。
第二个限制是 OT cost 与人类感知不一致。论文默认 L1/L2 或 token embedding distance 足够表达“最小扰动”，但这只是工程近似。随机选择像素/token 进行 reassignment 会制造局部不连续，post-hoc OT 尤其明显。文中承认这一点，但没有真正解决。
第三个限制是 exactness 的定义很窄。它精确的是量化 bin 后的 histogram，而不是连续分布，也不是压缩、resize、JPEG 后的稳健统计。信息嵌入在 512 tokens 附近已经明显受限，说明容量上限本质上由像素数、binning 粒度和噪声容忍度决定。
第四个限制是 latent histogram 的泛化依赖外部 tokenizer。若 tokenizer token frequency 与语义相关，HIG 看起来能做语义引导；若 latent space 不稳或 decoder 对 token扰动敏感，结果会退化。这里的能力可能主要来自 representation alignment，而不是 HIG 自身。
最后，增益归因在部分对比上仍不完全干净。HIG 在颜色对齐指标上天然占优，因为方法直接优化该统计量；与 style transfer / IP-Adapter 等方法比较时，任务目标并不完全一致。因此这些结果更适合说明 HIG 的控制轴互补，而不是证明它全面优于已有控制方法。
Takeaway
- 第一，distributional control 是一个被低估的控制轴：它不替代 prompt、ControlNet 或 LoRA，但能补上“全局统计精确性”这一层。
- 第二，真正值得迁移的 insight 是 projected denoising：把不可微或离散的外部约束做成显式 transformation，插入中间 clean prediction，让扩散先验负责修复投影 artifact。
- 第三，未来更有价值的方向不是继续堆 histogram 应用，而是设计更好的 perceptual / spatial OT cost，把“最小搬运”从颜色空间推进到结构、patch feature、token distribution 甚至视频时序分布。
- 第四，latent histogram 是潜在方向，但前提是有足够稳健且语义对齐的 tokenizer；否则它只是把控制问题转移给表示学习。
一句话总结
HIG 是一类 training-free、test-time projected diffusion 方法，把全局 histogram 约束用 OT 精确注入采样轨迹，真正贡献在于把分布级控制从后处理统计匹配变成可组合的中间粒度生成控制。