精读笔记
Problem Setting
[论文标题] PhotoQuilt: Training-Free Arbitrary-Resolution Photomosaics via Bootstrapped Tiled Denoising（arXiv preprint / 2026）。这篇论文实际处理的是 photomosaic 的生成式重构问题：输出必须在远距离读成一个目标图，在近距离读成一组独立且有语义的图像。真正困难点是两个尺度的目标互相冲突：全局重构要求 tile 被目标图低频结构强约束，局部可读性又要求 tile 拥有足够自由度生成完整图像。以前方法卡在两端：retrieval 方法有图库覆盖、重复和 tone correction 上限；逐 tile diffusion 生成缺全局协同；高分辨率扩散或 patch fusion 方法为了连续图像而抑制 patch 分歧，但 photomosaic 恰恰需要可控分歧。关键矛盾不是算力不足，而是如何把“共享布局”和“局部自主”分开建模。
Motivation
已有路线不够的原因在于它们默认了错误的目标函数。高分辨率生成方法追求跨 patch 一致性，photomosaic 需要跨 patch 低频一致但高频不一致；传统 mosaic 方法追求局部颜色匹配，缺少内容级生成能力；已有 generative photomosaic 多从 tile 出发再对齐全局，导致慢且协调困难。作者核心观察是：如果先固定一个低分辨率全局 latent，再让每个 tile 从这个 latent 的局部区域独立生成，那么全局结构可以作为 shared initialization 被继承，而不是通过后验损失或后处理强行对齐。关键缺口是一个 training-free 的推理时组织方式：不改模型、不训练 adapter，只重排 diffusion trajectory 中全局与局部信息的注入顺序。
Core Idea
真正核心思想是把 photomosaic 从“拼接多个局部图像”改写成“一个共享低频 latent 的多条局部 denoising 轨迹”。低分辨率生成负责决定全局布局；upsample 后的 latent 把这个布局复制到目标分辨率；partial renoising 把局部细节空间重新打开；tile-wise denoising 则让每个 crop 在自己的条件下完成生成。这样，全局结构不是靠 tile 之间通信得到的，而是通过共同初始状态继承的。
这个 inductive bias 很关键：它假设 photomosaic 的全局可识别性主要由低频/粗结构决定，而 tile 自主性主要由后半段 denoising 的高频语义补全决定。因此它把信息流组织成先 global、后 local；先约束低频、再释放高频。和 prior 的本质区别是，PhotoQuilt 不试图让 tiles 在生成过程中互相对齐，也不在生成后修补拼接误差，而是把对齐问题前置到共享 latent 初始化里。这使它天然 scalable：tile 间不需要全局 attention，复杂度随 tile 数近似线性增长。
Method
方法上只需要保留三个机制。第一，globally-coherent initialization：用文本或参考图得到低分辨率 base latent，它解决的是全局布局从哪里来的问题；没有它，tile 只是在各自条件下独立采样，整体不会形成目标图。第二，latent upsample + single renoising：upsample 只传播结构，不提供新细节；renoising 则恢复生成容量，使 tile 不被低清 latent 完全锁死。这里的 strength 是全局 fidelity 与 tile autonomy 的单一旋钮。第三，independent per-tile denoising：每个 tile 从共享 renoised latent 的对应 crop 出发，在自己的 prompt 或 image condition 下走独立 trajectory；它解决的是 tile 必须成为完整图像的问题，同时用 attention 隔离避免输出退化成一张平滑大图。
这些机制的必要性不是模块堆叠，而是互相补位：bootstrap 提供全局，renoising 提供自由度，tile isolation 提供 mosaic 属性。可选 overlap blending 更像视觉后处理，不是核心贡献。
Key Insight / Why It Works
最重要的 insight 是把 diffusion trajectory 的不同阶段对应到不同尺度的语义：早期/高噪声阶段决定布局和粗结构，后期/低噪声阶段补局部细节。PhotoQuilt 利用这一点，先在低分辨率完成全局布局，再在中等噪声处重新启动局部 denoising。它有效不是因为模型学会了 photomosaic，而是因为预训练扩散模型的 latent dynamics 本来就支持 SDEdit 式“保结构、换细节”。
核心贡献最可能是共享 renoised latent 这个信息组织方式。它比 per-step low-frequency loss 更干净，也比 color transfer 更强，因为它传递的是 spatially-aware latent content，而不只是颜色统计。non-overlap tile denoising 是必要的 inductive bias，但本身并不新；新意在于这里反过来利用 patch divergence，而不是像 MultiDiffusion/DemoFusion 那样消除 divergence。
哪些可能只是辅助：更强 backbone 带来的 tile realism、preference score 提升，很可能主要来自 FLUX scaling / data coverage，而不是 PhotoQuilt 机制本身。所谓 arbitrary resolution 也主要是工程上的 tile-parallel 推理和 VAE block decode，不是模型获得了全局长程建模。evaluation 中 PhotoQuilt-FLUX.1 的强表现与 backbone 能力纠缠明显，增益来源不完全清楚。但 ablation 对 bootstrap 与 renoising strength 的验证比较有说服力，说明核心机制不是纯 scaling。
Relation To Prior Work
最接近的谱系有三条：classical photomosaic retrieval、generative photomosaic、training-free high-resolution diffusion。PhotoQuilt 和 retrieval 的区别是 tile 不是从固定图库硬匹配，而是由 diffusion 根据共享 latent 与条件生成，因此覆盖空间更大；但 gallery conditioning 仍有 retrieval-like 味道，只是从 pasted retrieval 变成 reference-guided synthesis。和 Phomosaic/Diffusion-based mosaics 的差异是，它不从独立 tile 生成再用低频 loss 对齐，而是从一开始就让所有 tile 继承同一个全局 latent。
和 MultiDiffusion、DemoFusion、AccDiffusion 等高分辨率方法相比，PhotoQuilt 的方向几乎相反：那些方法把 patch-wise generation 的不一致视作 artifact，要通过 fusion、residual sharing 或 prompt adaptation 消除；PhotoQuilt 把不一致视作目标，只保留低频共同约束。看似新的部分其实重组了 SDEdit、latent upsampling、tiled denoising；实质创新是把这些已有操作组合成一个适配 photomosaic 的 inductive bias，并明确把 cross-tile decoupling 作为特性而非缺陷。
Dataset / Evaluation
评价覆盖了文本生成 base、真实图像 base、共享 prompt、per-tile prompt、gallery conditioning 等模式，但主定量实验规模偏小：12 个 Aesthetic-4K prompts、15 seeds、6144 分辨率、64 tiles。它能验证方法在典型视觉场景中的 trade-off，但还不足以证明广义 arbitrary-resolution photomosaic 的鲁棒性。自动指标分为 global downsample similarity 和 local tile quality，这和论文 claim 基本对齐；问题是这些指标天然偏向可量化的低频重构与单 tile 美学，未必能捕捉人类对“真正 photomosaic”的双尺度感知。
baseline 选择总体合理，尤其 StreamDiff 作为“全局像但局部不独立”的反例很有用，Phomosaic 作为主要 generative competitor 也合适。但不同 backbone 的比较会混入模型规模、训练数据和 image-to-image 能力差异。PhotoQuilt-SD2.1 对 Phomosaic 的对比更能支持方法本身；PhotoQuilt-FLUX 的提升则可能主要来自 scaling / data。文中未充分说明用户研究或真实部署条件，因此“视觉上更好”的 claim 仍主要依赖自动指标和少量 qualitative。
Limitation
方法成立依赖几个强前提。第一，低频全局结构必须足以指导 tile 生成；如果目标图包含细粒度文字、几何结构、人脸身份或需要中频精确对齐的内容，downsample-based global fidelity 可能掩盖失败。第二，预训练模型必须能在 partial renoising 下既服从初始化又服从 tile condition；这在不同 backbone、不同 condition interface 下未必稳定。第三，tile 自主性来自 attention 隔离，但这也限制了跨 tile 语义关系，方法没有真正建模 tile 间长期依赖或全局语义规划。
scalability 上限主要来自工程而非建模：tile denoising 可并行，但总 compute 仍随 tile 数线性增长；VAE decode 需要 block tiling；multi-GPU 方案依赖一致 timestep shift 等实现细节。arbitrary resolution 不等于任意复杂全局结构都能保持，只是显存/attention 成本可以被局部化。gallery conditioning 的重构质量依赖 backbone，文中也承认 tile 可能偏离参考图；这说明方法把“图库匹配”问题转移成了“image-conditioned diffusion 是否忠实”的问题。增益归因方面，FLUX 结果很可能混入数据覆盖和模型能力，不能完全归功于 bootstrapped tiled denoising。
Takeaway
- 最值得记住的是：photomosaic 这类双尺度任务不需要更强的全局耦合，反而需要可控的耦合切断；共享低频 latent + 独立高频 denoising 是一个很干净的范式。
- 这个 insight 可以迁移到其他需要“整体像 A、局部像 B”的任务，例如多图拼贴、纹理化场景、局部语义可控的大画布生成。
- 未来真正值得做的不是继续堆 backbone，而是学习或自适应选择 renoising strength、tile partition、frequency constraints，让 global-local trade-off 从手调参数变成内容相关策略。
- 另一个方向是从规则网格扩展到语义自适应 tiles，否则它仍主要是规则 photomosaic，而不是一般的多尺度可组合视觉生成。
一句话总结
PhotoQuilt 是一篇把 training-free high-resolution diffusion 的 tiled inference 反向用于 photomosaic 的工作，真正贡献在于用共享 renoised latent 将全局低频结构和局部独立生成解耦，属于推理时 inductive bias 重组而非新模型能力的发明。