精读笔记

Problem Setting

论文标题：TIDY: Thermal Infrared Image Denoising via Wavelet Domain Entropy and Directional Stripe Index（arXiv preprint / 2026）。这篇论文实际瞄准的是机器人场景中的真实 TIR 去噪，尤其是室内低热对比环境下 uncooled microbolometer 的 severe stochastic noise 与 fixed-pattern noise。真正困难点不在于“图像变干净”，而在于噪声会被后端感知系统解释为稳定结构：VIO 会跟踪 FPN，depth model 会把噪声纹理当作几何线索。以前方法卡在两个方向：合成噪声训练的模型不能覆盖真实传感器噪声；高性能 restoration 模型太慢，轻量模型又不够鲁棒。关键矛盾是在线机器人需要轻量、泛化、保结构，但 TIR 噪声严重且结构化，不能简单靠像素域回归或通用滤波解决。

Motivation

作者的核心观察是：真实 TIR 噪声不是普通 RGB denoising 中的通用 additive corruption，而是带有强传感器统计特征的混合退化。随机噪声更像高频能量扩散，FPN 更像方向一致的行/列统计偏置；这两者在像素域与弱热结构纠缠，但在 wavelet detail subbands 中更容易分离。已有路线缺的是 real clean-noisy supervision 和 thermal-specific noise objective。扩散、NeRF、GAN、prompt restoration 等方法可以做得更强，但它们没有真正改变噪声建模方式，也不满足在线部署。TIDY 的动机不是提出一个更大的 denoiser，而是把任务约束到更符合 TIR 噪声物理形态的表示空间里。

Core Idea

TIDY 的核心思想是：不要在像素域让网络隐式区分结构和噪声，而是先用 DWT 把图像拆成低频结构与方向性高频子带，再在这个域中学习 denoised coefficients。这样做改变了建模对象：网络不再直接恢复完整图像，而是在一个已经部分解耦结构/噪声的空间中做 targeted suppression。其 inductive bias 很明确：随机噪声应提高 wavelet detail entropy，方向性 FPN 应提高水平/垂直子带的行列统计一致性。

和 prior 的本质区别在于，它不是单纯“用 wavelet 加速 CNN”，而是把 wavelet statistics 变成监督信号。WE 和 WDSI 把热红外噪声的两类主要形态显式写进 loss，使优化过程偏向去掉随机性和方向性条纹，而不仅仅追求像素相似。这个设计比纯 data-driven restoration 更可能 zero-shot generalize，因为它压缩了模型要学习的自由度：噪声的形态由先验约束，网络只需学习真实数据中的残差映射。

Method

方法中值得保留的机制很少。第一，DWT encoder/IDWT decoder 解决的是表示错位问题：像素域中低热结构和噪声混在一起，wavelet domain 中噪声更集中在 detail subbands，同时空间分辨率下降带来在线速度。第二，NAFNet-like 轻量 backbone 解决的是容量与实时性的折中：它不试图做复杂生成式恢复，只做 coefficient-level denoising。第三，FiLM conditioning 解决 DWT 下采样可能丢全局上下文和弱小结构的问题，本质是把原始图像的全局统计重新注入 wavelet features，避免把细小热目标当噪声删掉。第四，WE/WDSI 解决的是损失函数的错配：PSNR loss 只奖励像素接近，不知道噪声形态；WE 对随机噪声敏感，WDSI 对 row/column stripe 敏感，二者把 thermal-specific corruption 变成可优化的统计目标。

Key Insight / Why It Works

最可能真正有效的部分是“真实配对数据 + wavelet-domain thermal noise prior”的组合，而不是某个网络模块。SCaN-TIR 提供了真实 clean-noisy supervision，消除了合成噪声路线的主要 domain gap；DWT/WE/WDSI 则让模型不必完全从数据中学会噪声统计。这是 data coverage 与 better inductive bias 的叠加，而不是单纯 architecture innovation。

WE 成立的关键在于 TIR 随机噪声在 detail subbands 中比真实结构更接近扩散式能量分布，因此熵能作为噪声强度 proxy。这个假设在低纹理室内热图像中很强，因为真实高频结构少，噪声占主导；但在热边缘丰富、机械纹理强或场景有大量细线结构时，WE 可能会误把真实细节当随机性。WDSI 更直接：FPN 的方向一致性确实会在水平/垂直 wavelet coefficients 的行列均值中留下统计痕迹，因此它比通用 total variation 或 adversarial loss 更对症。

FiLM 的贡献可能是辅助性的。它缓解了 wavelet 下采样和子带重排导致的上下文损失，但文中证据不足以说明 FiLM 是泛化能力的主要来源。DWT 带来的 GFLOPS 下降也是工程上很重要的，但它本身不是新 insight；真正有迁移价值的是“把传感器噪声的统计结构转化为 representation-level loss”。如果去掉 SCaN-TIR，仅靠这些 loss 训练在合成噪声上，zero-shot 效果明显不足，这说明核心能力很可能主要来自真实数据覆盖与先验共同作用。

Relation To Prior Work

这篇工作处在 model-based transform prior 与 data-driven restoration 的交界。和传统 wavelet denoising 相比，它不手工阈值化子带，而是让轻量网络学习真实噪声到干净系数的映射；和 wavelet CNN 相比，它的新增信息是 WE/WDSI 这类面向 TIR 噪声的统计目标；和 diffusion/NeRF/restoration foundation-style 方法相比，它放弃通用高容量生成恢复，转而用强先验换在线性和泛化。

看似新的部分中，DWT + CNN、FiLM conditioning、PSNR restoration 都是已有思想重组；实质创新在于把随机噪声和 FPN 分别对应到 wavelet entropy 与 directional stripe statistic，并把它们用于训练和评价。SCaN-TIR 也可能比模型本身更重要，因为真实 paired TIR 数据直接补上了这个方向长期缺的监督信号。技术谱系上，它更像“sensor-noise-aware restoration for robotics”，不是通用 image denoising，也不是端到端 thermal perception。

Dataset / Evaluation

SCaN-TIR 是论文 claim 的关键支撑：双 A65 相机、一个 NUC-off 构造 noisy stream、stereo rectification 对齐，提供真实 clean-noisy pair。这个设计比合成噪声 benchmark 更接近真机问题，也允许监督学习真实 FPN 与随机噪声。评估覆盖 synthetic IRE、真实 SCaN-TIR、多个 zero-shot TIR 数据集，以及 TIO/MDE 下游任务，整体上能支持“在线机器人去噪有用”这个主张。

但 evaluation 仍有明显边界。SCaN-TIR 的噪声来自特定硬件和 NUC-off 设置，是否代表不同厂商、不同温漂、不同曝光/tone mapping 条件下的 TIR 噪声，文中未充分说明。zero-shot 主要是视觉结果和有限下游指标，不能完全排除传感器统计相近带来的隐式 overlap。下游 VINS-Mono 改善很有说服力，因为它验证了 FPN 会污染 feature tracking；但 MDE 部分更弱，Depth Anything 在热图上的行为本身不是为 TIR 校准的，增益可能部分来自输入变平滑而非真正几何信息恢复。

Limitation

最大限制是方法依赖噪声可被 wavelet 子带和方向统计捕获。若噪声包含非轴向条纹、局部漂移、temporal non-stationary pattern、NUC 后残余非均匀性，WDSI 的表达能力可能不够。WE 也有误伤真实高频热结构的风险，尤其在工业场景、远距离细目标、边缘密集场景中，降低 entropy 不一定等价于保真去噪。

泛化能力需要谨慎解读。论文展示了 zero-shot，但核心能力可能主要来自 SCaN-TIR 覆盖了足够真实的热噪声统计，而不是模型学到了跨传感器的通用规律。增益归因也不完全清晰：DWT 降算力、真实数据、NAFNet backbone、WE/WDSI、FiLM 都有贡献，但其中哪个在真实部署中不可替代，文中只做了有限 ablation。另一个上限是 per-frame 处理没有 temporal consistency；机器人视频中稳定性可能比单帧 PSNR 更重要，当前方法可能把时间一致性问题留给后端。

Takeaway

• 最值得记住的不是 TIDY 这个具体网络，而是：热红外去噪应显式利用传感器噪声结构，而不是照搬 RGB restoration。
• 把随机噪声和 FPN 分别映射到 wavelet entropy 与 directional coherence，是一个可迁移的设计模式，适用于其他有明确噪声形态的传感器恢复问题。
• 真实 paired 数据在这个方向可能比模型规模更关键；一旦有足够真实噪声覆盖，轻量且有先验的模型可以超过重型通用恢复模型。
• 未来真正值得做的是跨传感器、跨温漂、跨 NUC 策略的数据与时序建模，而不是继续堆更大的单帧 denoiser。

一句话总结

TIDY 是一篇把热红外去噪从通用像素域 restoration 拉回到传感器噪声统计建模的工作，其真正贡献在于真实配对数据与 wavelet-domain 噪声先验的结合，而不是单纯提出一个更强的去噪网络。