精读笔记

Problem Setting

论文实际处理的是 CPFA sensor raw mosaic 的联合恢复：从单张带噪 4×4 CPFA 采样图中恢复完整 12-channel color-polarization data。难点不是单独 denoise 或 demosaic，而是两者在 CPFA 上强耦合：DM 会把单像素噪声扩散到多个颜色/偏振通道，DN 会把偏振边缘、微弱 DoP/AoP 结构和颜色高频一起平滑掉。

以前方法卡在“串联假设”：要么 DM-to-DN，要么 DN-to-DM。前者的问题是 noise propagation，后者的问题是 detail erasure。CPFA 场景下这个矛盾更尖锐，因为高频结构不仅影响视觉质量，还直接影响 Stokes、DoP、AoP 等派生物理量。论文真正要解决的是 DN 与 DM 之间的信息瓶颈，而不是简单提升某个单模块性能。

Motivation

已有路线不够的根本原因是它们把 raw measurement 一次性压缩成中间结果：DM-to-DN 先把噪声插值成结构化伪影，DN-to-DM 先把细节从观测中删掉。对于 CPFA，这种 early commitment 很危险，因为每个像素只观测 12 个通道中的一个，很多后续判断依赖稀疏采样中的局部细节。

作者的核心观察是：DN-to-DM 的方向总体正确，因为先抑噪比先插值噪声更稳；但如果 DM 只看 DN 后结果，就丢掉了 raw 中仍有价值的 measurement evidence。因此关键缺口是：如何在不重新引入大量噪声的前提下，让 DM 阶段仍能访问 raw CPFA 信息。

Core Idea

CPDDNet 的核心不是“把 DN 和 DM 放进一个网络”，而是把 DN-to-DM pipeline 改造成一种双证据流重建：denoised branch 负责提供稳定结构，raw branch 负责补回被 DN 抹掉的高频与边界证据，fusion module 在 DM 阶段进行选择性读取。

这个设计改变了建模方式：传统 sequential pipeline 把 DN 输出当作 DM 的充分统计量；CPDDNet 明确否定这个假设，认为 DN 输出不是充分的，raw observation 仍需要作为 side information 保留到后续插值阶段。其 inductive bias 是 measurement-preserving restoration：低层恢复任务中，不应过早丢弃原始观测，尤其是在采样稀疏且物理量由通道差分/角度关系导出的任务里。

和 prior 的本质区别在于信息流组织，而不是 backbone 强度。它没有提出新的 CPFA forward model，也没有显式建模噪声分布；它做的是在已有 TCPDNet-style two-step demosaicking 上补一个 raw-to-DM 的可学习旁路，使 pipeline 从“单路径串联”变成“DN 结果 + raw 证据的条件插值”。

Method

第一，CPFA-domain DN 解决的是先插值噪声的问题。将 4×4 CPFA mosaic rearrange 成 16-channel tensor 后去噪，本质上是在 sensor sampling domain 内处理噪声，避免 DM 前把噪声扩散到缺失通道。这个步骤提供一个较干净的结构先验，但也制造了潜在 oversmoothing。

第二，Bayer-domain color DM 是论文真正插入新机制的位置。对每个偏振方向构造 Bayer view 后，不只使用 denoised input，也保留 noisy raw input。这样做的必要性在于 color DM 对边缘、纹理和颜色交界高度敏感，而这些信息恰好最容易被 DN 阶段削弱。

第三，GFM 解决的是 raw 信息不能无条件注入的问题。简单 concat 可能重新引入噪声；只用 denoised feature 又会丢细节。Gated fusion 的核心变化是把 raw branch 变成受控 evidence source：局部、多尺度地决定哪些 raw 高频可信，哪些应被 denoised representation 覆盖。

第四，polar DM 延续 TCPDNet 的两步思想，把颜色补全后的结果重排成每个颜色通道的 polarization mosaic，再恢复完整偏振方向。这里更多是继承已有架构，不是主要创新点。

第五，两阶段训练的机制意义是先让 DN 和 DM backbone 学到各自稳定映射，再训练 fusion 来修正 DN→DM 信息瓶颈。它更像 curriculum / optimization stabilization，而非新的联合概率建模。

Key Insight / Why It Works

最重要的 insight 是：在 noisy mosaic inverse problem 中，denoised image 不应被视为后续 reconstruction 的充分输入。尤其 CPFA 同时欠采样颜色和偏振，DN 输出往往会牺牲对 DM 有用的微结构；而 raw 虽 noisy，却仍携带真实边缘、纹理相位和偏振边界线索。CPDDNet 有效的原因大概率是它恢复了这一部分被顺序 pipeline 丢掉的信息。

核心贡献最可能是 GFM 所代表的信息桥，而不是 U-Net、TCPDNet 或两阶段训练。U-Net DN 和 TCPDNet DM 都是成熟组件；真正新增的是在 DM stage 对 raw/denoised features 做多尺度 gating。这个机制属于 better inductive bias + memory reuse：把原始观测作为 memory 保留到后续任务，而不是一次性压缩成 denoised estimate。

不过需要直接说，论文的“joint”程度有限。它不是完全端到端的联合 DN-DM 物理反演，也没有显式学习 noise model、uncertainty 或 polarization consistency constraint。更准确地说，它是 DN-to-DM pipeline 的 feature-level correction。其增益可能部分来自 better architecture / scaling，而非深层理论突破。

两阶段训练可能也贡献了一部分，但文中未充分说明它相对端到端训练的必要性。冻结 backbone 后只训练 GFM，可能避免小数据下过拟合，也可能限制真正联合优化。没有看到足够消融来判断这是 principled curriculum，还是工程上让训练更稳。

评价上没有明显 benchmark leakage 证据，但数据只有 40 scenes，且只在 high noise 条件下训练/测试。对于深度低层视觉模型，这种设置下数据覆盖和场景 overlap 风险不能忽略。所谓泛化目前只是在同一数据源、同一噪声级别、同一 CPFA pattern 下成立。

Relation To Prior Work

它最接近三条路线：CPFA-specific DN，例如 polarized color image denoising；CPFA-specific DM，例如 IGRI、TCPDNet、SwinCPD；以及 DN+DM sequential baseline，例如 PFCD→IGRI 或 U-Net→TCPDNet。CPDDNet 的位置是在第三条路线上做 feature-level jointing。

相对 IGRI/PFCD 等 signal-processing baseline，它的优势主要来自 learned representation 和数据驱动的 fusion，而不是更强的手工物理约束。相对 TCPDNet，它继承 two-step color-then-polar demosaicking，但把输入从 clean/noisy 单一路径扩展为 raw+denoised 双路径。相对 U-Net→TCPDNet，它的实质差异是 DM 不再只依赖 denoiser 输出。

看似新的部分中，U-Net、pointwise/depthwise conv、GELU gate、two-stage training 都是已有 restoration 工程思想的重组。实质创新是把 raw measurement bypass 明确放到 CPFA DN+DM 的任务结构里，并证明在真实 high-noise CPFA 数据上有用。

它属于 low-level vision restoration 中的 hybrid sequential-joint pipeline：不是纯 model-based inverse problem，也不是完全 black-box end-to-end；而是在已有任务分解上用 feature fusion 修复中间表示的信息损失。

Dataset / Evaluation

评估使用 Rahman et al. 的真实 polarization denoising-demosaicking dataset，优点是来自真实 CPFA/偏振成像场景，而不是纯合成 toy benchmark；并且指标覆盖 intensity、Stokes、DoP、AoP，能部分验证视觉质量和偏振参数准确性。

但 benchmark 覆盖范围很窄：40 scenes，30/5/5 split，只使用 high noise condition。它支持“在该真实数据集的 severe noise setting 下优于 sequential baselines”，但还不足以支持“通用 CPFA joint DN+DM framework”的强 claim。尤其未验证跨噪声水平、跨 sensor pattern、跨曝光设置、跨材质/场景分布。

消融只比较了有无 fusion，能说明 fusion 有贡献，但不能充分回答增益来自 gate 设计、raw branch、额外参数、两阶段训练，还是 simply more capacity。与 U-Net→TCPDNet 的差距存在但不算压倒性，因此 claim 应限定为信息桥带来稳定增益，而不是范式级跃迁。

Limitation

方法成立依赖几个前提：第一，DN 后确实存在可恢复的信息损失，而 raw branch 中仍有可用细节；第二，训练噪声分布和测试噪声分布接近；第三，CPFA pattern 固定，网络可以学习与该 pattern 强相关的局部统计。任何一个前提变化都可能削弱 GFM 的选择能力。

scalability 上限也明显。固定噪声级训练是作者自己承认的限制，但更深的问题是没有 noise-level conditioning 或 uncertainty estimation，gate 并不知道某个 raw 高频是信号还是噪声，只能从训练分布中学经验规则。这在 out-of-distribution noise 下可能失效。

泛化目前没有被真正证明。小数据真实 benchmark 上的提升可能 heavily rely on data distribution coverage；如果测试场景、光照、材质偏振特性与训练集接近，模型可能学到的是 dataset-specific reconstruction prior，而不是 sensor-general CPFA physics。

增益归因不清。论文没有充分比较简单 raw-denoised concat、attention fusion、端到端 joint training、不同 DN backbone、不同 DM backbone、噪声条件混训等。因而很难判断 GFM 的具体结构是否必要，还是“保留 raw branch + 增加容量”已经足够。

它还把一部分问题转移给了训练策略：先训 backbone 再冻住训练 GFM，避免了联合优化难题，但也意味着 DN 与 DM 没有真正共同适应。所谓 joint 更像接口增强，而不是完整联合建模。

Takeaway

• 1. 对 CPFA 这类多维 mosaic restoration，DN 输出不是充分统计量；raw measurement 应作为后续重建的可控 memory 保留。
• 2. DN-to-DM 是合理基线，但需要 bypass/feedback/fusion 来修复 denoiser 引入的信息瓶颈；这个 insight 可迁移到 CFA、polarization、event-RGB、multispectral mosaic 等任务。
• 3. 这篇真正推动的是任务分解后的信息流设计，而不是新 backbone。
• 未来更值得做的是 uncertainty-aware fusion、noise-conditioned CPFA reconstruction、跨 sensor/pattern 的统一模型。

一句话总结

CPDDNet 是 CPFA 联合去噪-去马赛克方向中一次务实的 pipeline 演化：它通过在 DN-to-DM 接口保留并门控使用 raw measurement，修复顺序方法的信息损失，但本质上仍是 feature-level jointing 而非完整物理联合反演。