精读笔记

Problem Setting

这篇论文解决的不是传统意义上的 inpainting，而是更一般的“给定部分已生成内容，继续生成其余内容并保持全局一致”的问题。困难点在于已知区域和未知区域并不是简单条件输入/输出关系，而是同一个完整样本的两个相互制约部分：未知区域要尊重已知内容，同时已知内容也会改变未知区域应处的高密度流形。

以前方法主要卡在两个方向。训练式方法能学到任务特定耦合，但每个任务/模态都要数据和训练；training-free 方法能复用强先验，但通常只在已知区域施加 consistency，默认未知区域由 diffusion prior 自己补出来。这个默认在小 mask、局部补全时还可以，但在 outpainting、multi-view texturing、long video 这种大范围缺失时，未知区域会漂移、重复、断裂或生成与上下文语义不兼容的内容。关键矛盾是：既要保留 pretrained generator 的开放生成能力，又要在 inference 时引入足够强的跨区域耦合。

Motivation

作者的出发点很明确：预训练 diffusion/flow 模型已经包含足够强的内容先验，问题不是再训练一个专用模型，而是如何在采样时把这个先验用于 partial observation 条件下的变量优化。已有 synchronization/posterior guidance 路线的缺口在于，它们把已知内容当作约束源，但没有显式把未知区域作为 likelihood maximization 的对象。

核心观察是 SyncSDE 这类方法的 guidance 主要作用于 pre-generated region 的一致性，而不是 missing region 的质量。换句话说，它们解决的是“不要破坏已知区域”，不是“未知区域应该是什么”。ALM 的动机就是补上这一步：让 missing variable 在每个 diffusion timestep 上都朝向同时满足上下文一致性和全局高密度的方向移动。

Core Idea

ALM 的真正核心是把 synchronization 从“轨迹之间的约束传播”改成“未知区域的显式 test-time optimization”。在 timestep t，已有内容 X_t、未知变量 Y_t、以及它们拼成的 E_t 同时被送入同一个预训练 score/noise predictor。更新不是简单 blending，而是比较 Y_t 自身的 score 与 E_t 的 score，从中提取出“未知区域如果单独看合理，但放进上下文后不合理”的差异信号。

这个做法引入了一个非常实用的 inductive bias：生成区域不是只要局部纹理好，而是必须让完整 blended sample 看起来像模型训练分布中的样本。它重新组织了信息流：已知区域不再只是 hard constraint，而通过 E_t 的 score 参与 shaping missing region。相比 prior，这种机制更 generalizable，因为它不依赖某个任务的 architecture 或 loss，只依赖一个能对完整 noisy sample 给 score 的 pretrained generator。

Method

ALM 的关键机制可以压缩成三点。第一，构造 E_t，把 observed X_t 和 current unknown Y_t 拼成一个完整样本假设；这让 pretrained diffusion prior 可以评价跨区域一致性，而不是只评价单独的未知区域。第二，定义 composite likelihood objective：conditional likelihood 负责让 Y_t 与 X_t 对齐，joint log-density 负责让 E_t 位于全局数据流形上；这两个项分别对应局部条件兼容性和整体自然性，缺一项都会退化。第三，用 score substitution 把不可得的 likelihood gradient 变成 εθ(Y_t) 与 εθ(E_t) 的组合，从而无需训练额外模型。

加速策略是工程上很关键但概念上次一级的部分。原始形式是每个 timestep 内对 Y_t 做多次小步优化，代价不可接受；作者用 Lipschitz 和 small-update 假设把 N 次近似为一次放大更新。这个近似的作用是把“可解释但太慢”的 test-time optimization 变成“可用的 sampler modification”。它的贡献更多是让方法实用化，而不是定义新的建模目标。

Key Insight / Why It Works

这篇最有价值的 insight 是：对于 partial generation，未知区域的质量不能指望 unconditional/conditional prior 自动涌现，必须在采样过程中被显式优化。ALM 有效的根本原因不是某个复杂模块，而是它把缺失区域放回到完整样本的 score landscape 里，让 generator 自己告诉你“这个补全放进上下文后是否像真实样本”。这比单纯边界 consistency 强，因为它优化的是全局兼容性，而不是局部接缝。

最可能的核心贡献是 εθ(Y_t)-εθ(E_t) 与 εθ(E_t) 这组 score 组合。前者近似衡量 missing content 在独立先验和上下文先验下的偏差，后者把 blended sample 拉向高密度区域。这个结构本质上是 better inductive bias + test-time compute，而不是 scaling、retrieval 或 hidden training。它利用的是 pretrained model 已有的数据覆盖和 latent score geometry；如果 backbone 没见过相关结构、或者 prompt/geometry 超出数据分布，ALM 不会凭空产生 reasoning。

加速部分更像 engineering，但不是无关紧要的 engineering：没有它，方法运行时间会非常夸张；有它，ALM 才能和普通 sampling baseline 比较。文中对 one-step approximation 的理论支撑偏弱，主要靠 small λ、Lipschitz 假设和经验验证。我的判断是：质量增益主要来自显式 unknown-region score update，速度可用性来自 acceleration；二者都重要，但创新层级不同。

Relation To Prior Work

ALM 最接近 diffusion synchronization、posterior guidance、blended diffusion、reconstruction guidance 这条谱系，而不是传统 task-specific inpainting model。它和 SyncSDE 的差别最关键：SyncSDE 给出了 trajectory coupling 的 posterior 解释，但未知区域没有被显式优化；ALM 则把 missing variable 自身作为优化变量，直接做 score-based likelihood maximization。

看似新的部分中，有些是已有思想重组：用 pretrained score 近似 likelihood gradient、在 reverse diffusion 中插入 guidance、用 blended latent 估计完整样本质量，这些都不是完全陌生。但实质创新在于把这些组合成一个面向 unobserved variable 的统一 objective，并证明它可以跨 inpainting/outpainting/motion/3D/video 使用。它属于 test-time inference optimization 的演化路线：不改模型参数，而是改采样动力学来获得任务适配性。

Dataset / Evaluation

评估覆盖面是论文较强的部分：图像补全、宽图生成、人体运动补全、3D mesh texturing，以及附录中的长视频生成，确实比只做一个 inpainting benchmark 更能证明“sampler-level generality”。尤其是跨 SD、SDXL、FLUX、motion diffusion、ControlNet、LaVie 的实验，说明 ALM 不是绑死在某个 architecture 上。

但 evaluation 对核心 claim 的支撑仍有边界。图像和视频指标大多是分布/感知代理指标，不能完全衡量复杂语义一致性；3D texturing 的 reference 也来自生成模型管线，本身会引入评价偏置；long video 只看切片式 FVD/KVD 和 CLIP similarity，未充分验证长期状态、对象身份和事件连续性。实验说明 ALM 在常见 benchmark 上更稳、更一致，但还不能证明它具备真正强约束下的可靠 deployment 能力。

Limitation

ALM 的核心前提是 pretrained score network 对 blended variable E_t 的 score 是可信的。这个前提在自然图像局部拼接上经常成立，但在强几何不连续、复杂遮挡、多视角拓扑冲突、长时序因果关系中可能明显失效。文中用 mask perturbation 证明 score 对边界小扰动稳定，但这只能说明它不太敏感，不能证明它就是真实 joint score。

scalability 的上限也很明确：ALM 依赖额外 test-time compute，并且每个 timestep 至少要多次调用 backbone；对大视频、大 3D 场景或交互式编辑，成本会继续放大。所谓泛化主要是 sampler 机制跨任务可复用，不等价于模型理解能力增强。核心能力仍来自 backbone 的数据覆盖；如果底层模型没有学到相关外观、运动或几何先验，ALM 只能更好地利用已有先验，不能创造新先验。

增益归因还有不清晰处。不同 backbone、不同任务下 w1/w2 和 schedule 的适配带有经验性；flow matching 版本尤其像手工改写。训练式 baseline 与 training-free baseline 的公平性也不是完全干净，因为 backbone、分辨率、后处理、blending、super-resolution 等因素都会影响结果。文中未充分说明在强用户约束、多轮编辑、极端 mask ratio 下的失败模式。

Takeaway

• 第一，partial generation 的关键不是给 diffusion 加更多条件，而是在 inference 中显式优化 missing variables；这是比 task-specific finetuning 更可迁移的方向。
• 第二，blended sample 的 score 是一个很有价值的接口：它把局部约束转成全局数据流形约束，这个 insight 可以迁移到多视角生成、视频续写、机器人轨迹补全、结构化 latent editing。
• 第三，ALM 说明 test-time compute 仍然是 pretrained generative model 适配复杂任务的重要杠杆；未来更值得做的是把这种 heuristic score ascent 变成更稳定、可诊断、可约束的 posterior optimization。
• 第四，这篇推动的是 sampler-level generalization，而不是模型能力本身的泛化；后续工作应重点研究失败边界、约束可满足性和可控优化，而不是只堆更多 benchmark。

一句话总结

ALM 是一篇把 diffusion synchronization 推向“未知区域显式 test-time likelihood optimization”的工作，真正贡献在于用 pretrained score 对 blended sample 做全局一致性塑形，属于不训练模型、改写采样动力学来扩展生成任务边界的方法演化。