精读笔记

Problem Setting

论文标题：There and Back Again: A Flexible-Frame Transformer for Multi-Exposure Fusion（arXiv preprint / 2026）。

这篇论文真正处理的是 MEF 部署中的“曝光帧数可变”问题，而不是单纯追求一个新的三帧 fusion SOTA。传统 MEF/HDR 网络通常把输入帧数作为结构假设：concat 通道数、pairwise attention 次数、fusion 层维度都隐含固定 bracket。设备一旦从 3 帧切到 2 帧或 5 帧，就要改模型或重训。

更深的困难是：多曝光 fusion 的信息不是同质冗余，而是互补且局部失效的。base frame 中过曝/欠曝区域最需要 reference 补信息，但这些区域在 appearance / feature similarity 上与 reference 的健康区域往往最不相似。因此，直接用 base query 去 cross-attend reference 会把最需要修复的位置判成低相关。这是作者所谓 similarity paradox，也是这篇论文比“可变输入长度”更有技术含量的部分。

以前方法卡在两个地方：一是结构上固定帧数；二是融合时过早把多帧混在一起，运动错位和曝光差异会先污染 feature，后续 attention/FFN 再去清理已经很困难。关键矛盾是：MEF 既需要跨帧引入强补充信息，又不能让错误对齐的 reference 破坏 base 的几何与局部一致性。

Motivation

已有路线不够的根本原因不是 attention 不强，而是信息流组织方式不适合可变曝光序列。Fusion→Self-Attention 会先把多帧压到一个混合 feature，ghosting 很容易在早期形成；Cross-Attention→Fusion 虽然以 base 为锚，但通常是固定数量 reference 的 pairwise 交互，扩展到任意帧数会变成重复操作或结构改造。

作者的核心观察是：reference frames 应该先被组织成一个独立的 global memory，而不是直接与 base feature 绑定；base frame 则应该在 restoration 阶段再选择性读取这个 memory。这样做把“有多少参考帧”从主干修复网络中解耦出来，也把“如何收集参考信息”和“如何修复 base”分成两个问题。

另一个动机是 saturated region 的 query 失效。标准 cross-attention 默认 query 是可靠的，但在 MEF 中 base query 往往恰好在最重要区域最不可靠。缺的不是更大的 attention，而是一个在 base 不可信时能切换到 reference/self query 的检索机制。

Core Idea

FreeMEF 的核心思想可以概括为：先 there，再 back again。先从 base 和任意数量辅助曝光中 recurrently 走一遍，构造一个 frame-count agnostic 的全局状态；再回到 base frame，以 base 为几何和内容锚点，用这个全局状态指导多尺度恢复。它改变的是 MEF 的建模对象：不再把多帧融合视作固定维度的并行输入映射，而是视作可变长度序列到 latent memory，再由 memory 条件化单帧恢复。

这个设计理论上/直觉上有效，因为它引入了两个有用偏置。第一，recurrent memory 天然支持可变长度，参数共享让帧数不进入网络结构；第二，base-anchored restoration 避免 reference 直接主导输出，motion ghosting 被推迟到选择性读取阶段处理，而不是在 early fusion 中不可逆地产生。

和 prior 的本质区别不在于用了 SSM 或 Transformer，而在于 reference 与 base 的角色被解耦：reference 负责提供全局 radiance/context memory，base 负责定义输出几何与局部一致性。这个分工比简单 concat、多帧 self-attention 或多次 pairwise cross-attention 更 scalable，也更适合不同 bracket 策略。

Method

RSSM 解决的是“任意帧数如何进入固定网络”的问题。它用共享 FEM 逐帧提 feature，再通过 alignment + state-space recurrent update 更新 hidden state。关键变化是帧数只影响 recurrence 次数，不影响参数形状。这里的 SSM/ASE 主要提供高效长程空间建模和全局语义检索，但真正必要的是 recurrent memory abstraction；SSM 是一个较强实现，不是唯一实现。

GFGB 解决的是“全局 reference memory 如何安全地修复 base”的问题。它不是直接把 global feature 加到 base，而是在 Transformer block 内作为指导信号介入，让 base feature 在多尺度上选择性读取全局状态。这保留了 base anchoring，降低直接融合导致的 ghosting。

EAHA 是最有针对性的机制：当 base 区域正常时，用 base query 做 cross-attention；当区域极端曝光时，用从 global/reference feature 生成的 query 替代或混合 base query。它本质是在 attention retrieval 中引入一个可靠性门控：query source 由局部曝光可信度决定。

AFFN 处理的是曝光统计而非空间对齐。它从 global history 中估计 affine scale/shift，调制 FFN 中的特征分布。机制上类似条件归一化/FiLM：把多帧 luminance statistics 注入局部恢复网络，用于亮度、对比度和颜色趋势校准。它更像辅助但合理的 exposure-domain adaptation。

Key Insight / Why It Works

最核心的贡献很可能是信息流重排，而不是某个单独模块。把 reference aggregation 放到 restoration 之前，并把 base-feature restoration 放到 global memory 之后，使模型同时获得 variable-frame support 和 ghosting control。这是一个更好的 inductive bias：先构造 latent reference memory，再做 base-conditioned retrieval。

RSSM 的有效性主要来自 memory reuse 和结构上的 length invariance。它不需要为 2/3/5 帧分别学习不同输入层，也不会在初始通道维度中压缩所有曝光信息。对 5 帧尤其有利，因为 fixed-input 方法把更多信息塞进早期 embedding，容易形成信息瓶颈；recurrent update 则把 test-time compute 随帧数增加，用额外计算换更充分的 reference accumulation。

EAHA 是论文中最像“MEF-specific insight”的部分。similarity paradox 的判断是成立的：在过曝/欠曝区域，基于 base query 的相似度检索天然失效。用 reference query 作为 fallback，本质上把 retrieval 从“受损观测找健康参考”改成“健康 memory 内部自检索/自对齐”，再映射回 base。这比单纯加 mask 或 attention 更贴近问题结构。

AFFN 的增益大概率是真实但偏辅助。它解决的是 global tone/contrast calibration，属于条件调制范式在 MEF 中的合理应用。它是否构成核心创新存疑，更像已有 affine modulation / FiLM 思想的任务化重组。

需要谨慎的是，部分收益可能来自 architecture capacity 和训练/数据覆盖，而不完全来自 flexible-frame design。FreeMEF 参数量并不最小，且 cross-dataset 2/5 帧评估中，baseline 的适配方式未必代表最佳可变帧建模。所谓“泛化到任意帧数”目前更准确地说是“结构允许任意帧数，且在 2/3/5 这种常见范围内有效”，不是已经证明无限长度或任意曝光策略的泛化。

Relation To Prior Work

它最接近三条路线的交叉：MEF/HDR 中的 base-reference fusion，视频/多帧恢复中的 recurrent aggregation，以及 Mamba/SSM 式高效长程建模。与 HDR-Transformer、AFUNet、SAFNet 等相比，本质差异不是是否用 attention，而是是否把 reference count 从网络结构中解耦。

与并行 fusion 方法相比，FreeMEF 避免把错位帧在早期混合；与 pairwise cross-attention 方法相比，它不需要为每个 reference 显式建立固定交互路径，而是先形成统一 global state。这个统一 reference memory 是它相对 prior 最实质的新增信息组织方式。

看似新的地方中，SSM、deformable alignment、affine modulation 都不是新概念；它们是已有思想在 MEF flexible-frame 设置下的重组。真正实质创新在两个层面：一是 recurrent reference aggregation 作为 frame-flexible MEF backbone；二是 extremity-aware query switching 对 similarity-based attention 失败模式的任务特化修正。

从技术谱系看，它不是纯 HDR reconstruction，也不是物理 radiance modeling，而是 learned LDR-domain MEF 的架构演化：从 fixed parallel fusion 走向 memory-based conditional restoration。

Dataset / Evaluation

评估覆盖了常规三帧训练/测试、真实 HDR 视频相关数据和跨数据集 SICE 的 2/3/5 帧测试，基本能支撑“比固定三帧模型更适合可变帧数”的方向性 claim。尤其 SICE 多曝光子集能直接检验 frame-count transfer，这是本文实验中最关键的部分。

但 evaluation 仍有明显限制。首先，训练主要来自三帧数据，5 帧训练 baseline 还涉及 exposure simulation，这会引入数据生成偏差。其次，baseline 多数不是原生 flexible-frame architecture，而是改 input embedding 后重训；这能说明 FreeMEF 的部署便利性，但不能完全说明它在最强可变帧建模方案上占优。

真实世界验证仍不充分。Real-HDRV 提供一定现实性，但论文没有充分覆盖真实手机 ISP、不同 CRF、auto-exposure 策略、手持大运动、rolling shutter、burst temporal spacing 等 deployment 变量。所谓 arbitrary input number 也只在 2/3/5 这种小范围曝光 bracket 上验证，离“任意”还有距离。

消融比较有帮助，但归因仍不完全干净。RSSM vs CNN、EAHA vs MDTA、AFFN vs GDFN 不是只替换一个数学机制，也可能改变优化难度、参数利用方式和归纳偏置。因此增益方向可信，精确归因不应过度解读。

Limitation

最大的隐含前提是 exposure sequence 有序且覆盖互补信息。RSSM 是 recurrent 的，顺序会影响 hidden state；论文自己的 fusion order 实验已经说明 bright-to-dark 顺序会掉点并引入噪声。因此它不是 permutation-invariant set fusion，而是 sequence-dependent memory。部署时如果帧顺序、曝光间隔或质量控制不稳定，性能可能明显受影响。

第二，base frame 的锚点假设很强。模型输出围绕 base restoration 展开，如果 base 本身几何模糊、严重欠曝、运动主体缺失或选错 reference exposure，global memory 只能补 radiance/context，不能保证恢复真实结构。所谓 ghost-free 依赖 base anchor 仍相对可靠。

第三，recurrent memory 的 scalability 上限未充分说明。帧数增加会增加 test-time compute，也可能带来状态污染：低质量帧、噪声帧、严重错位帧进入 hidden state 后未必能被完全 gated out。文中未充分说明长序列下的遗忘、饱和、顺序鲁棒性和异常帧鲁棒性。

第四，它仍是 tone-mapped/LDR-domain supervised fusion，不是物理 HDR recovery。颜色偏移问题暴露了这一点：当曝光跨度过大、参考帧饱和或 base 太暗时，网络只能做 learned appearance reconstruction，真实颜色/radiance 没有可靠约束。

第五，泛化可能部分来自数据覆盖和 benchmark 设置，而不完全来自模型“理解”曝光。SICE 的 2/5 帧测试能展示结构迁移，但不能排除 exposure distribution 与训练/模拟策略重合。增益来源不清的部分包括：RSSM 的 SSM 组件本身、参数量、训练 schedule、以及 reference aggregation 结构分别贡献多少。

Takeaway

• 第一，MEF 中最值得迁移的 insight 是：不要过早融合多帧 reference；先构造可变长度 global memory，再让 base 有选择地读取。
• 这对 burst SR、multi-frame denoising、multi-focus fusion 甚至多模态 restoration 都有参考价值。
• 第二，attention 在 restoration 中的失败往往不是 capacity 不够，而是 query 不可信。
• EAHA 提醒我们：当 degraded observation 作为 query 时，检索机制需要感知 degradation severity，并允许 query source 切换到更健康的 memory。

一句话总结

FreeMEF 是把固定帧数 MEF 从“并行多帧融合”推进到“可变长度 reference memory + base-guided retrieval”的一次架构重排，真正贡献在于信息流和注意力检索偏置，而不是单纯的 Transformer/SSM 堆叠。