精读笔记

Problem Setting

论文解决的是 adverse-weather IVIF/MMIF 中一个比普通融合更棘手的问题：输入模态同时携带互补信息和退化信息，模型必须在同一前向过程中决定哪些区域该恢复、哪些区域该保留、哪些区域该从另一模态补偿。真正困难点是监督目标和任务目标不一致。传统 source-supervision 会鼓励输出同时靠近 VI 和 IR，但在雨雪雾下 VI 中包含大量不应保留的退化；两阶段 restoration+fusion 把问题拆开，却让 restoration artifact 进入 fusion，且两个任务的优化目标并不一致。伪 GT 路线降低了训练难度，但会把某个 clean fusion 方法的偏置固化为目标。这个任务的关键矛盾是：需要借助伪 GT 稳定优化，但不能让模型只学习伪 GT 的静态输出分布。

Motivation

已有路线缺的不是更多 loss 或更复杂 backbone，而是一个能把伪 GT 中“有用的融合分配知识”和“有害的算法偏置”分离开的机制。作者观察到，伪 GT supervision 能让模型更快学到清晰结构，但也会导致模态偏置，例如低估红外热目标；这说明伪 GT 的价值不应体现在像素级复刻，而应体现在它隐含的区域级模态贡献。由此论文转向 mask：如果能从伪 GT 与 clean VI/IR 的关系中反推出各模态贡献，再让网络学习这种 contribution pattern，就可以把伪 GT 从硬目标降级为结构先验。关键缺口是 dynamic modality allocation，而不是 static pseudo-target regression。

Core Idea

核心思想是把融合结果建模为 VI 与 IR 的带权组合，并从伪 GT 中反推出一个 modality-contribution mask。这个 mask 是论文引入的主要 inductive bias：它显式假设融合的关键在于空间位置相关、退化相关、模态相关的分配，而不是全局固定地混合两路特征。这样模型学习的对象从“生成一张像 EMMA 输出的图”变成“在不同区域决定该相信 VI 还是 IR，以及如何在融合空间重组”。

这和 prior 的本质区别在于信息流组织方式变了。传统 restoration+fusion 是先清洗单模态再融合，错误会前向传播；伪 GT 方法是直接蒸馏一个 clean-fusion 输出，容易继承 teacher bias。AMG-Fuse 则把 teacher 输出拆成中间结构监督，用 mask 引导 cross-modal attention，让伪 GT 只提供 early-stage allocation prior，后期仍通过 clean source 的梯度/颜色约束校正。这种方式理论上更 scalable，因为它不是绑定某个伪 GT 外观，而是试图学习可迁移的模态选择规则。

Method

第一，mask construction 解决的是伪 GT 不可直接信任的问题。论文从 Fuse≈M·VI+(1−M)·IR 出发估计 M，并修改分母以避免恶劣天气下亮度偏置和 near-zero denominator 带来的不稳定。这个设计的核心变化是把伪 GT 解耦成模态分配图，而不是直接作为最终监督。

第二，MGLS 解决的是模型可能只拟合伪 GT 像素分布的问题。它用 mask 将 clean VI/IR 分解成伪 GT 对应的 VI/IR contribution maps，再约束网络内部输出的模态特征。这相当于把监督从 output space 移到 latent allocation space，迫使网络学习“哪里用什么模态”。

第三，MCCA 解决的是跨模态交互缺少选择性的问题。mask 加权 query，使 attention 不是平均地交换 VI/IR 信息，而是按区域贡献选择信息源。真正重要的不是 cross-attention 本身，而是 mask 把 attention 的自由度限制在一个更符合 fusion 物理直觉的空间里。

第四，TDAS 解决的是退化感知没有显式训练信号的问题。它把 mask 选出的可见成分送入 restoration model，并要求其与恢复后结果接近；直觉是如果被选中的 VI feature 已经足够 clean，restoration network 不应再显著改变它。这个约束把 restoration prior 接入 fusion，但也把外部 restoration model 的偏置引入训练。

Key Insight / Why It Works

最可能有效的核心不是 HTB，也不是单纯加入 cross-attention，而是“伪 GT → mask → latent modality allocation supervision”这条路径。它把一个有偏 teacher 的输出转化为较低维、更结构化的监督信号，从而降低直接蒸馏带来的 bias。换句话说，论文真正做的是 representation alignment：让网络内部的 VI/IR contribution 与伪 GT 隐含的融合分配对齐，而不是让最终图像与伪 GT 外观对齐。

MGLS 更像 curriculum + latent structure supervision。早期 mask loss 权重大，帮助模型避开 source-supervision 的混乱优化；后期衰减，让 clean-source losses 接管，减少 teacher upper bound。这个解释是合理的，也比“伪 GT 不限制上界”的表述更可信：不是伪 GT 没有上界问题，而是作者通过 decayed latent supervision 降低了上界绑定。

TDAS 的作用可能是辅助性的。它提供 degradation-aware bias，但本质上依赖外部 restoration network 判断什么是 clean。若 restoration model 在某类天气或低照下失败，TDAS 可能会把错误先验注入融合模型。文中未充分说明这一点。HTB 的贡献也可能主要是 engineering/scaling：大模型容量和长程 intensity-based attention 对雨雪雾确实有效，但这不一定是本文概念创新的必要部分。

需要警惕的是增益归因。AMG-Fuse 同时使用伪 GT teacher、clean source supervision、外部 restoration model、较大 backbone、AWMM 训练数据。论文的 ablation 证明每个组件有用，但没有充分拆开“mask 思想本身”与“更多监督/更大模型/更强数据覆盖”的贡献。核心能力可能部分来自 data coverage 和 hidden supervision，而不是纯粹的泛化 fusion principle。

Relation To Prior Work

这篇工作最接近三条路线：复杂场景 IVIF、teacher/pseudo-GT supervision、restoration-guided fusion。和 restoration+fusion pipeline 相比，它的实质差异是把 restoration prior 融入训练约束，而不是作为前处理阶段；这减少了测试时级联错误，但训练上仍依赖 restoration model。和普通 pseudo-GT 蒸馏相比，它的关键新增信息是 mask 化的 modality allocation，不再直接拟合 teacher image。和 task-driven 或 semantic/text-guided fusion 相比，它没有引入高级语义，而是引入了更低层、更局部的融合结构先验。

看似新的部分中，cross-attention、gradient/color loss、pseudo label、restoration auxiliary loss 都不是新概念；真正有价值的是把 pseudo fusion result 反解为 modality contribution mask，并用它约束 latent feature interaction。它属于“从强监督/伪监督中提取结构先验，再用于条件融合”的技术谱系，而不是单纯的 all-weather fusion architecture。

Dataset / Evaluation

评估覆盖合成雪/雨/雾、真实退化图像、clean IVIF 数据集和下游检测，范围比普通 IVIF 论文更完整，也基本支撑了“复杂天气下有效、clean 场景不崩”的 claim。下游检测结果有价值，因为 fusion 指标常常和感知任务不完全一致；AMG-Fuse 在 mAP 上有提升，说明它至少没有只优化低层指标。

但 evaluation 仍有明显限制。第一，主要训练和 adverse-weather 测试都围绕 AWMM-100k，真实跨传感器、跨城市、跨气候泛化没有充分验证。第二，对比中的多数方法使用 AdaIR 作为前置 restoration，这可能不完全公平：两阶段 baseline 的性能强依赖 AdaIR 与 fusion method 的适配，而 AMG-Fuse 是端到端为该设置训练的。第三，指标大多是传统 fusion no-reference/reference-style metrics，未必能准确反映 adverse-weather perception。第四，真实场景实验规模和退化多样性文中未充分说明，不能完全证明 deployment robustness。

Limitation

最大的隐含前提是训练时需要 clean paired source、degraded source、伪 GT，以及可用的 restoration model；这使方法更像 supervised adverse-weather fusion，而不是开放世界鲁棒融合。若没有 clean counterpart 或伪 GT 生成器质量较差，mask supervision 的可靠性会明显下降。

mask 公式本身有较强建模假设：融合图可被 VI/IR 的局部线性组合解释。这个假设对常规 IVIF 近似可用，但对强 tone mapping、非线性增强、过曝、低照、跨模态错位、动态目标并不稳。加入 Fuse 到分母是工程上缓解数值问题，但不等于理论上解决了可辨识性问题；多个不同 mask 都可能解释同一个 fused image。

泛化能力仍未被彻底证明。方法可能学到的是 AWMM 退化合成分布、EMMA teacher 偏置和 restoration model prior 的组合，而不是真正一般化的 all-weather modality allocation。所谓动态交互也可能只是 mask-guided pattern matching，不一定能处理训练外退化。

效率是实际上限。242G FLOPs 对 224×224 输入已经很重，部署到车载、安防、夜视等低延迟场景会困难。若为了实时性去掉 HTB 或缩小模型，mask 机制本身还能保留多少收益，文中未充分说明。

Takeaway

• 第一，伪 GT 在 fusion/restoration 任务中不应只被当作像素目标，更有价值的用法是从中抽取 latent allocation 或 decision structure。
• 第二，复杂场景融合的核心不是“先恢复再融合”，而是学习退化条件下的选择性信息路由：哪些区域信 VI，哪些区域信 IR，哪些区域需要被抑制。
• 第三，mask-guided attention 是一个可迁移 insight：在多模态低层视觉任务中，用 teacher 或物理近似构造的 contribution mask 可以作为比 hard pseudo label 更稳的 supervision。
• 第四，未来真正值得做的是去掉对 clean pairs、外部 restoration model 和特定 pseudo-GT generator 的依赖，转向更弱监督、更可辨识、更轻量的 dynamic modality allocation。

一句话总结

AMG-Fuse 是一篇把恶劣天气 IVIF 从“伪 GT 像素蒸馏”推进到“伪 GT 隐含模态分配结构监督”的工作，真正贡献在于用 mask 化 latent allocation 重组 restoration 与 cross-modal interaction，而非单纯堆叠更强融合模块。