精读笔记
Problem Setting
论文标题：Pooling-Based Context Modeling for Convolution-Free Deep Image Prior（arXiv preprint / 2026）。
这篇论文处理的是 single-image DIP denoising 中的结构先验设计问题：在没有外部训练数据的情况下，网络架构本身既是生成器也是正则项。真正困难点在于，恢复自然图像细节和避免拟合噪声使用的是同一套模型容量。卷积 DIP 的空间卷积核给了强局部建模能力，但也给了足够自由度去拟合高频噪声；DeepDecoder/under-parameterized DIP 降低了噪声拟合，但空间交互太弱，恢复细节不足。
因此这里的关键矛盾不是 denoising 本身，而是：如何在 test-time optimization 中保留“局部上下文/边缘结构”的 inductive bias，同时不把可学习空间自由度放大到足以记忆噪声。
Motivation
已有路线的不足很清楚：原始 DIP 靠卷积先验，但 over-parameterization 使 early stopping 几乎成为必要；DeepDecoder 通过减少参数提高鲁棒性，但主要依赖 upsampling，空间上下文建模贫弱；ConvDecoder 把卷积加回来后表达力提升，同时也把噪声拟合风险带回来；NAS/Devil 类方法试图搜索容量平衡点，但成本高且依赖额外模型或启发式。
作者的关键观察是：DIP 不一定必须依赖 learnable convolution 来捕获局部上下文。缺口在于一种“非卷积、低参数、但能产生局部空间交互”的机制。Pooling 正好满足这个条件：它是固定空间聚合，不增加可学习空间核，却能注入邻域统计。论文真正想证明的是，DIP 里卷积的部分价值可以被参数无关的局部统计算子替代。
Core Idea
核心思想是把空间建模从“学习卷积核”改成“固定局部统计 + 可学习通道混合”。具体来说，MS-LCP 用输入特征减去多尺度 average pooling 结果，得到局部 contrast 响应；这相当于显式构造局部高频/边缘敏感通道，然后只用 1×1 convolution 做跨通道组合。空间关系不再由大量可学习 3×3 kernels 表示，而由固定 pooling operator 预先约束。
这个改变引入的 inductive bias 很明确：模型更容易生成符合局部平滑背景 + 稀疏结构边缘的图像，而较难拟合任意空间噪声模式。和 prior 的本质区别在于，它不是在 under-parameterized decoder 上简单加容量，也不是搜索卷积宽深，而是把“上下文建模”拆成参数无关空间算子和低自由度通道 mixing。它牺牲了空间滤波器的可学习性，换来更强的噪声拟合约束。
Method
方法层面只需要抓住几个机制。
第一，MS-LCP 解决的是 DeepDecoder 类架构缺少局部空间交互的问题。Average pooling 提供邻域统计，input minus pooled feature 提供局部 contrast。多尺度版本让这种 contrast 不局限于单一窗口，避免只响应一种边缘/纹理尺度。
第二，1×1 channel mixing 解决的是表达力问题。固定空间算子本身太刚性，需要通道维度上的组合来生成多样结构；但 1×1 不引入空间参数，因此不会回到卷积 DIP 的高空间自由度。
第三，dual-path 保留一条不经过 contrast 的通道混合路径，避免模型只表达高频残差而丢失低频/语义连续性。它更像稳定表达的残差补偿，不是论文的核心创新。
第四，positional encoding 用来补偿 convolution-free 架构对绝对位置与高频细节的不足。它可能加速高频收敛，但也带来额外高频注入风险；论文中 encoder-only 更好这一点说明 PE 需要被早期表示约束，而不是在 decoder 末端直接制造高频。
Key Insight / Why It Works
我认为真正有效的部分是“固定空间 contrast operator + 低自由度 channel mixing”的组合，而不是 hourglass 结构本身。MS-LCP 本质上是把传统图像处理里的 local mean subtraction / unsharp mask / band-pass prior 放进 DIP 生成器内部，让网络天然倾向于恢复边缘和局部结构，同时不给它学习任意空间滤波器的自由度。
这不是 scaling，也不是 retrieval，也不是 data coverage；它更接近 better inductive bias + test-time compute regularization。网络仍然通过单图优化消耗 test-time compute，但 architecture 把可达函数空间压到一个较窄的族里：局部结构可以通过 pooling contrast 被表达，随机噪声则因为缺少可学习空间参数而更难被精确拟合。
最可能的核心贡献是 MS-LCP 在 decoder 中的作用。论文的 ablation 也显示 decoder placement 更关键，这符合直觉：upsampling 阶段最容易产生模糊或错误高频，local contrast 在这里相当于给重建路径加了结构化 sharpening prior。
PE、dual-path、learnable α 更像辅助工程。α 的增益可能有意义，因为它允许图像自适应选择 contrast scale；但这也让归因变得不完全干净。PE 的作用尤其需要谨慎看待：它可能帮助恢复细节，也可能只是让优化更快到达高频解。文中未充分说明 PE 与 noise fitting 之间的边界。
Relation To Prior Work
这篇最接近 DeepDecoder、ConvDecoder 和 DIP architecture search 这条线，而不是 self-supervised zero-shot denoising。它延续的是 under-parameterized DIP 的思路：通过限制参数空间来避免噪声拟合。但它和 DeepDecoder 的本质差异是，DeepDecoder 主要靠 upsampling 产生空间相关性，Pool-DIP 明确加入固定局部统计算子来建模上下文。
和 ConvDecoder 的差异更关键：ConvDecoder 用 learnable 3×3 convolution 恢复空间表达力；Pool-DIP 用 non-learnable pooling contrast 恢复空间交互。两者都承认 DeepDecoder 表达力不足，但前者增加可学习空间容量，后者增加固定空间 bias。
看似新的地方其实有一部分是旧思想重组：local mean subtraction、multi-scale contrast、unsharp/high-pass filtering 都不是新概念。实质创新在于把这些固定图像先验嵌入 DIP generator，并用 under-parameterization 理论和 spectral dynamics 解释它为什么比卷积 DIP 更抗噪。
Dataset / Evaluation
评估覆盖了合成 denoising、Poisson noise、真实 PolyU、super-resolution 和 inpainting，范围比只在 Gaussian denoising 上报数更有说服力。真实 PolyU 的加入支持其对 real-world noise 的一定泛化，但提升幅度很小，不能过度解读为强真实部署能力。
实验最支持的 claim 是：在相近或更低参数/计算下，Pool-DIP 能达到与 DIP/Devil 接近或略好的最佳性能，并且优化动态更稳定。尤其 spectral analysis 比表格数字更重要，因为它直接对应论文的核心论点：抑制后期高频错误增长。
但 evaluation 也有明显 limitation。首先，多数比较仍是 DIP 系列内部比较；与现代 blind/real denoising 或强 zero-shot 方法的关系没有充分展开。其次，best performance during training 仍然依赖 oracle-like clean reference 来选点，这不等价于真实无监督使用。固定迭代比较部分有所缓解，但 stopping criterion 仍是 DIP 类方法的核心痛点。第三，SR/inpainting 结果更像 applicability demo，不能证明该 inductive bias 在复杂 restoration 中系统优越。
Limitation
最大限制是方法强依赖自然图像的局部统计假设：局部平均代表低频结构，input-pooling residual 代表有用边缘/细节。如果噪声本身具有局部相关性、纹理性或周期性，MS-LCP 可能同样增强错误高频。也就是说，它没有从根本上区分“结构高频”和“噪声高频”，只是通过容量约束降低拟合后者的概率。
理论分析是有价值但偏弱的。它在简化单 decoder block、单 LCP、无 BN、单通道假设下证明有限噪声拟合能力；这和完整 Pool-DIP 的 hourglass、多尺度、PE、dual-path 优化行为之间有明显距离。理论更像支持 under-parameterization intuition，而不是严格解释完整方法。
增益归因不完全清晰。MS-LCP、较少参数、较低计算、不同收敛速度、PE、learnable α 同时存在，虽然 ablation 有帮助，但无法完全排除某些收益主要来自工程组合或优化日程。尤其 Pool-DIP 在 1000 iterations 下比较其他方法 3000 iterations 的设置，虽然体现效率，但也可能混入不同 overfitting stage 的影响。
泛化上限也明确：固定 pooling contrast 的表达能力有限，面对非局部自相似、长程结构、语义一致性或复杂退化时，它不可能替代更强的 learned prior。它是一个很好的 single-image architectural prior，不是通用 restoration prior。
Takeaway
- 第一，DIP 的关键不一定是卷积，而是合适的函数空间约束；把空间算子固定、把学习限制在通道 mixing 上，是一个值得迁移的设计模式。
- 第二，local contrast 是比 plain upsampling 更有效的 convolution-free 上下文机制。
- 它提供了边缘恢复所需的局部高频通路，同时避免 learnable spatial kernels 带来的噪声记忆能力。
- 第三，未来更值得做的不是继续堆 DIP 架构，而是系统研究“固定空间算子库 + 低自由度组合”的 restoration prior：例如 pooling、wavelet、Laplacian、guided filtering、non-local statistics 是否能组成可控的 test-time generator。
一句话总结
Pool-DIP 是一篇把 DIP 中可学习卷积上下文建模替换为固定多尺度 pooling contrast 先验的工作，真正贡献在于用低空间自由度的结构算子重新平衡 single-image optimization 的细节恢复与噪声拟合。