精读笔记
Problem Setting
[ExpoMotion: A Large-Scale Benchmark and A Householder Projection Network for Multi-Exposure Fusion]（arXiv preprint / 2026）
这篇论文真正处理的是动态 MEF 中长期被低估的核心问题：有用信息和伪影来自同一批辅助曝光帧，模型必须在“吸收互补细节”和“拒绝运动不一致”之间做非常细的选择。难点不是把多张 LDR 融成一张图，而是在没有可靠像素级对应、存在饱和/欠曝/遮挡/运动模糊时，判断哪些辅助特征是缺失细节，哪些只是 ghost。
以前方法卡在两个地方。flow/deformable alignment 假设存在可恢复的几何对应，但动态 MEF 的饱和区域和遮挡区域经常没有可验证 correspondence；attention-based fusion 依赖 feature similarity，但 MEF 中最需要的补充信息往往在参考帧中缺失，因此天然不相似。这个任务的关键矛盾是：越依赖辅助帧越容易恢复动态范围，也越容易引入 ghost；越保守拒绝辅助帧越干净，但会失去 MEF 的价值。
Motivation
已有路线不够的根源有两层。第一，benchmark 层面，静态 MEF 数据集主要测 detail restoration 和 perceptual quality，不能真实评估 deghosting；HDR reconstruction 数据集经 tone mapping 后作为 MEF 监督，又会把 tone-mapping 的 halo、contrast bias、审美偏好传给模型。第二，模型层面，很多方法把曝光差异和运动差异一起丢给 alignment/attention 学，导致一个相似性机制同时承担 photometric normalization 与 geometric filtering。
作者的核心观察是：动态 MEF 的 mismatch 至少有两类来源，曝光导致的全局/低频分布偏移，以及运动导致的局部结构冲突。前者应该先被校正，否则后者无法被可靠识别。论文因此缺的不是又一个更大的 fusion backbone，而是一个能把“曝光不一致”和“运动伪影”解耦的 benchmark 与 inductive bias。
Core Idea
论文的核心思想是把动态 MEF 从 correspondence-centric formulation 转成 rejection-centric formulation。传统路线倾向于问“辅助帧哪里能和参考帧对齐并融合”，HOP 问的是“辅助特征中沿哪些冲突方向的分量应该被投影掉”。这在 MEF 场景下更自然，因为有些有价值的细节无法通过参考帧相似性直接召回，但明显的 ghost 可以通过与参考结构的冲突来识别。
Householder projection 的价值不在于严格线性代数意义上的反射，而在于提供了一个结构化的 feature rejection bias：先用全局照明先验把辅助帧拉到参考曝光域，再用参考-辅助差异估计冲突方向，并沿该方向削弱辅助特征。它重新组织了信息流：不是先对齐坐标再融合，而是先对齐光度分布，再在特征空间做 artifact suppression。这比普通 attention 更 scalable 的地方在于，它不强依赖显式位移估计，也不要求参考帧已有待恢复细节的相似表示。
Method
方法可理解为三个必要机制，而不是三个孤立模块。
GPIA 解决的是光度域不一致。它假设 illumination 是较低频的，用全局统计估计辅助帧到参考帧的曝光比例，从而降低后续差分中由曝光造成的伪冲突。没有这一步，difference-aware ghost detection 很容易把真实曝光差异误判为运动伪影。
HOA/HOPU 解决的是动态区域的 feature rejection。它从参考特征与预对齐辅助特征的差异中生成 conflict direction，并对辅助特征执行 relaxed orthogonal filtering。机制上的关键变化是：融合不再只是 similarity-weighted aggregation，而是显式建模“哪些方向的信息不可信”。这使模型可以保留非冲突的互补细节，同时压低与参考结构冲突的成分。
GGFN 解决的是去伪影后的高频损失。Laplacian 分支给 FFN 加了硬编码边缘先验，主要防止模型在 ghost suppression 过程中把纹理一起抹掉。它重要但更像 restoration regularizer；若讨论论文的本质贡献，GPIA + HOPU 的解耦式建模更关键。
Key Insight / Why It Works
这篇最有价值的 insight 是：动态 MEF 的 alignment 失败很大程度上不是几何模型不够强，而是特征比较发生在错误的 photometric space。先做 exposure pre-alignment，相当于把后续 ghost filtering 的输入分布变干净，使 reference-auxiliary difference 更接近 motion/structure conflict，而不是混合了亮度差、噪声和饱和差异的杂质信号。
HOPU 可能有效的真正原因，是它把“差分”从一个隐式 attention cue 变成了显式 rejection direction。这比普通 concat + conv 或 attention 有更强的归纳偏置：差异大的方向不一定全部丢弃，但需要被门控、被投影、被审查。它本质上属于 better inductive bias + representation alignment，而不是推理、规划或 test-time compute。
但需要直接指出：Householder 叙事可能有一定包装成分。公式上的 relaxed projection 与常见的 difference-aware gating / residual suppression 在功能上接近，文中未充分说明正交反射结构相比普通 learnable gate 的不可替代性。真正最稳的贡献可能是数据覆盖 + 解耦建模，而不是 Householder 数学形式本身。
另一个重要判断是，最终性能提升很可能有相当部分来自 ExpoMotion 的规模、动态场景覆盖和 GT 审美质量。HOP 在相同数据下优于 Restormer，说明结构有贡献；但跨数据集泛化的大幅提升更多指向 data coverage。这里不是坏事，反而说明动态 MEF 过去可能被 benchmark bottleneck 限制，而不是单纯被模型瓶颈限制。
Relation To Prior Work
它最接近的技术谱系是 HDR/MEF deghosting 中的 alignment-free transformer、attention-guided fusion、deformable/flow-based alignment 的替代路线。与 flow/deformable 方法相比，它不显式恢复位移，也避免在遮挡和饱和区域强行建立对应；与普通 attention 方法相比，它不把相似性当作唯一融合依据，而引入了基于差异方向的 feature rejection。
看似新的部分中，GPIA 本质上接近 photometric normalization / Retinex-inspired low-frequency illumination alignment；GGFN 的 Laplacian 分支也是经典边缘先验在 restoration FFN 中的重用。真正新增的信息在于：把 MEF deghosting 明确拆成 exposure harmonization 和 ghost projection，并把 difference vector 作为 artifact subspace 的近似。这是已有思想的有效重组，但重组方式贴合 MEF 的矛盾。
Householder transformation 的实质创新程度需要谨慎看。严格说，论文没有证明深度特征中的 ghost 与 clean signal 可被一个局部正交方向良好分离；但作为结构化门控，它比无约束 attention 多了一个明确的拒绝机制。因此它的价值更像“给差分抑制一个几何化 inductive bias”，而不是建立了新的可证明 MEF 理论。
Dataset / Evaluation
ExpoMotion 是这篇论文中可能更长期有价值的部分。它覆盖 controlled motion、real-world motion、实验室场景、极端光照和不同曝光长度，比传统静态 MEF benchmark 更接近真实部署问题。它也承认真实动态场景难以获得完美 GT，因此把有 GT 的 controlled subset 用于 full-reference，把真实动态 subset 用于 no-reference/perceptual evaluation。这种设计比把所有东西硬做成 PSNR benchmark 更诚实。
评测基本支持两类 claim：一是数据集训练能提升跨场景真实动态表现；二是 HOP 在同等协议下有结构收益。尤其 cross-dataset 结果说明 ExpoMotion 不是只提升自家测试集，而是对外部真实场景也有帮助。
但 evaluation 仍有明显 limitation。GT 来自多算法候选、商业软件和专家修图，本质是 perceptual pseudo-ground-truth，不是物理 radiance truth；它适合 MEF，但会带来审美和工具链偏置。no-reference 指标能补充真实场景评测，但这些 IQA metric 是否能准确惩罚 ghost、结构撕裂和局部错配，本身并不完全可靠。文中也没有充分展示按运动幅度、遮挡类型、饱和程度、曝光跨度分层的失败模式，因此核心 claim 仍缺少更细粒度证据。
Limitation
方法成立依赖一个关键前提：曝光差异主要可由低频全局统计校正，而剩余显著差异大多对应 motion artifact。这个前提在许多场景成立，但不是普遍成立。局部光照变化、非朗伯反射、强噪声、传感器饱和、运动模糊和遮挡会让差分方向同时包含真实细节与伪影；此时投影可能把需要恢复的互补细节一起压掉。
scalability 上，三输入框架限制了可变曝光数和 burst-like 真实拍摄设置。更深层的问题是，HOP 的 rejection direction 是局部从特征差异估计出来的，它没有显式长期状态、跨多帧一致性或可解释 occlusion reasoning；如果扩展到更多帧，如何避免多个辅助帧之间冲突累积，文中未充分说明。
泛化是否真实存在也需要谨慎。ExpoMotion 的规模和场景覆盖确实强，但增益可能主要来自 data scaling / data diversity，而非 Householder 投影。benchmark overlap 不一定是字面泄漏，但如果真实场景分布、相机 ISP、修图风格与测试集高度相近，模型可能学习到的是 dataset-specific tone/detail preference。增益来源不清，需要更严格的数据等量、结构等量、风格去偏实验。
此外，所谓“数学上投影出 ghost”更像一个有用的建模假设，而非被验证的物理事实。ghost 是否真的位于某个可由 reference-aux difference 表示的正交扰动子空间，文中没有充分证明。
Takeaway
- 1. 动态 MEF 的下一步不应只堆更强 alignment，而应先处理 photometric space mismatch；曝光预对齐可能是所有后续 deghosting 的前置条件。
- 2. 对于“辅助输入既有信息又有污染”的任务，rejection-centric fusion 比 similarity-centric fusion 更值得关注；这个 insight 可迁移到 burst SR、video restoration、multi-frame denoising、multi-modal fusion。
- 3. ExpoMotion 的价值可能大于 HOP 本身：如果 benchmark 真能覆盖真实 motion + extreme exposure，它会推动该方向从静态 perceptual fusion 转向动态 artifact-aware fusion。
- 4. 未来真正值得做的是把 data contribution 与 architecture contribution 拆开，并把三帧固定输入扩展到可变帧数、显式不确定性建模和按区域可信度决策。
一句话总结
这篇论文在动态 MEF 方向中的位置是：用一个更真实的大规模 benchmark 暴露旧评测的不足，并用“曝光预对齐 + 差分方向拒绝”的 inductive bias 替代纯 alignment/attention，是一次数据驱动与结构化去伪影建模共同推进的演化。