精读笔记
Problem Setting
[Integrated Forward–Inverse Network for Lensless Image Reconstruction]（arXiv preprint / 2026）
这篇论文解决的不是普通 deblurring，而是 practical lensless reconstruction 中最麻烦的一类情形：PSF footprint 很大、测量高度 multiplexed、forward operator ill-conditioned，而且真实 PSF 往往 spatially varying、calibration 不准。关键矛盾是：物理模型提供 data fidelity，但模型不准；神经网络提供 prior，但容易在反演后丢掉 measurement evidence。
以前方法卡在一个很典型的位置：classical / unrolled 方法依赖准确 forward model，遇到 shift variance 和 calibration mismatch 会放大 artifact；纯 deep model 能拟合 dataset，但物理约束弱，容易 hallucinate；hybrid model 虽然引入 physics，但通常是单次 inversion、单次 consistency 或 one-sided refinement。问题不是“有没有用物理”，而是物理约束没有在整个表征层级里持续存在。
真正困难点在于宽 PSF 下的信息不是局部退化，而是长程混合。一次 deconvolution 得到的 image estimate 已经是某种 regularized projection，很多 residual cue 仍留在 measurement domain；如果后续网络只看这个 estimate，它其实是在用 learned prior 猜被反演压掉的细节。
Motivation
作者的核心动机可以概括为：lensless reconstruction 需要同时保留 measurement-domain evidence 和 image-domain prior，而不是在两者之间做一次性切换。
已有路线缺的是持续的数据一致性通道。先 inverse 再 CNN 的方法会把 ill-conditioned inverse 的选择偏差传给后续网络；encoder 中插入 deconvolution 的方法仍可能在下采样和非可逆 feature transform 中丢掉细节；单纯 measurement consistency 又难以处理深层语义 / texture prior。对于大 footprint PSF，这种信息损失尤其严重，因为每个测量点包含远距离 scene contribution，局部网络很难自己恢复这些跨区域依赖。
因此作者想到的方向不是设计一个更复杂的 restorer，而是让网络在每个尺度都能问两个问题：当前 image feature 投影回 measurement 是否合理？当前 measurement feature 反演回 image 是否提供新的可恢复线索？这个缺口是 architecture-level 的，而不是 loss-level 的。
Core Idea
核心思想是把 forward model 和 inverse model 从“网络外的预处理 / 后处理 / 单步约束”提升为“网络内部反复使用的信息交换算子”。IFIN 维护 measurement stream 和 image stream：image stream 通过 forward system operator 生成 measurement-domain projection，measurement stream 通过 inverse system operator 生成 image-domain estimate；两者在 encoder-decoder 的不同尺度互相注入。
这个建模方式引入的 inductive bias 是：重建过程不应只沿着 measurement→image 单向流动，而应在 feature hierarchy 中反复执行 image↔measurement 的一致性检查。它更像把 learned proximal update、data consistency 和 multi-scale representation alignment 混在一个 feed-forward architecture 里，而不是传统 unrolling 那种显式迭代优化。
和 prior 的本质区别在于信息流。很多 hybrid 方法也有 Wiener、ADMM、forward model 或 learned deconvolution，但它们通常把 physics 当成 initialization、constraint 或一个模块。IFIN 的新增点是让 physics signal 在每个尺度参与 feature evolution，从而减少“反演之后 measurement cue 不可访问”的问题。这也是它可能更 scalable 的地方：只要能定义一对近似 forward/inverse operator，就可以把相同 interleaving principle 迁移到其他 computational imaging 问题。
Method
方法层面只需要记住几个机制。
第一，双流 hierarchy。measurement stream 保留原始观测及其多尺度表示，image stream 维护当前重建表示。它解决的是 representation bottleneck：如果只保留 image estimate，很多由 forward mismatch 暴露的 residual 信息会消失。
第二，FSO/ISO 的反复交叉注入。FSO 用当前 image feature 生成 measurement proxy，给 measurement stream 提供一致性参照；ISO 从 measurement feature 生成 image-domain cue，给 image stream 提供可逆性线索。它解决的是单向 pipeline 的 drift：中间表示不能无限远离物理模型。
第三，learnable PSF field。作者不把 PSF 当作完全固定 calibration，而是允许其在端到端训练中调整，并通过共享给 FSO 和 ISO 来形成双向约束。它解决的是真实系统中的 shift variance 和 calibration mismatch，但也意味着模型性能部分依赖训练数据能否约束住这个 latent system parameter。
第四，region-wise inverse + ROI blending 只是在 shift-variant 场景下的工程化实现。它有用，但不是论文最核心的思想；核心仍然是跨尺度 forward-inverse coupling。
Key Insight / Why It Works
最可能真正有效的部分是 representation alignment，而不是单纯更强网络。宽 PSF inverse problem 的难点在于可观测信息分散在 measurement domain，直接把 measurement 编成 latent 或先做一次 inverse 都会形成瓶颈。IFIN 通过每层 cross-domain projection 让 feature 不断对齐两个空间：measurement space 中的 data consistency 和 image space 中的 natural image prior。这相当于在 feed-forward 网络中注入一种弱迭代求解结构。
FSO 的价值不是精确仿真 sensor，而是提供 residual-like cue：当前 image hypothesis 如果经过 forward model 后无法解释 measurement，那么 measurement stream 有机会修正。ISO 的价值也不是产生最终解，而是不断把 measurement-domain 信息翻译成 image-domain hint。两者配合时，网络不是一次性相信某个 inversion，而是在多尺度中反复比较“可解释观测”和“可形成图像”的部分。
消融里 ISO-only 已经很强，FSO-only 较弱但有补充，双向最好。这说明 inverse cue 是主要收益来源，forward cue 更像稳定 data fidelity 和抑制 drift 的辅助。initial ISO 几乎不影响最终结果，说明它更多是 training stabilizer，而不是核心能力来源。
PSF field 的贡献需要谨慎看。k 增大有收益但饱和，而且参数量和内存快速上升；learned PSF 优于 frozen calibrated PSF，说明端到端 calibration correction 有价值。但这也可能主要是在 supervised dataset 上学习 residual system mismatch，而不一定代表获得了可泛化的物理系统辨识能力。文中未充分说明 learned PSF 在跨设备、跨曝光、跨深度或长期漂移下是否仍稳定。
这篇不是 retrieval，也不是 reasoning；它更接近 better inductive bias + memory reuse + test-time compute。每个 block 重复调用 FSO/ISO，本质上增加了物理算子参与的计算深度。部分增益可能来自更高 latency 和更强 feature reuse，但 identity / 单向消融表明不能简单归因于 scaling。
Relation To Prior Work
它最接近三条线：unrolled optimization / learned proximal reconstruction、physics-informed image restoration、multi-scale deconvolution-in-network。与 Le-ADMM、UPDN、MoDL 等 unrolled/hybrid 方法相比，IFIN 不强调模拟某个优化算法的迭代，而强调在 encoder-decoder 的每个尺度保留双域交互。与 MWNet / MWDNs 这类多 PSF 或 multi-scale deconvolution 方法相比，它不是只把 inverse operator 嵌进 feature hierarchy，而是同时引入 forward projection 来维护 measurement consistency。
看似新的 learnable PSF field 其实和 blind deconvolution、calibration refinement、spatially varying kernel estimation 有明显渊源；实质创新不在“学习 PSF”本身，而在同一个 PSF field 被 forward 和 inverse 两个方向共享使用，从而形成更强的系统约束。
更准确地说，IFIN 属于 physics-guided feed-forward reconstruction 的一次结构性推进：把物理模型从局部模块变成贯穿 hierarchy 的通信协议。这个新增信息不是新的 forward model，也不是新的 restoration backbone，而是 measurement-domain cue 的持续可访问性。
Dataset / Evaluation
评估覆盖较完整：DiffuserCam 代表常用真实 lensless benchmark，WiderCam 引入更大 FoV 和更强 field dependence，MWNet 覆盖 spatially varying PSF 和实验 miniscope 场景；另外 Gaussian deblurring 和 inline holography 用来验证 interleaving principle 是否能迁移到非 lensless 或不同 forward operator。
这些实验基本支持核心 claim：在长程混合、shift variance、模型不准时，持续 forward-inverse coupling 比单次 inversion 或纯 learned restorer 更稳。特别是 WiderCam 外围区域和 MWNet 的表现，比较符合论文的机制叙事。
但 evaluation 仍有明显限制。WiderCam 是作者自建数据集，具体采集分布、配准误差、train/test 场景独立性会影响结论；in-the-wild 部分没有 ground truth，只能作为 qualitative evidence。Gaussian deblurring 上 IFIN 只在更强 blur 下略占优势，说明对普通 restoration 它不是无条件优于强 backbone。Inline holography 结果很亮眼，但使用模拟数据，是否能迁移到真实 coherent imaging 噪声、speckle、phase mismatch，文中未充分说明。
总体上，实验验证了 architecture bias 的有效性，但没有完全证明跨硬件、跨光学状态的 generalization。
Limitation
第一，方法依赖一个“足够接近真实”的 forward/inverse operator。只要物理模型错得太多，或者存在 saturation、nonlinear sensor response、几何形变、深度变化、动态遮挡，FSO/ISO 反复注入的可能就是错误 consistency。论文承认 severe saturation 和 large geometry change 不可恢复，但没有系统展开。
第二，learnable PSF field 把 calibration mismatch 转成训练内可学习参数，这在 paired supervised benchmark 上很有效，但 deployment 中可能不稳定。若系统随温度、装配、距离、光谱或曝光变化而漂移，固定训练后的 PSF field 未必还能解释观测。核心能力可能主要来自数据覆盖，而不是真正 blind recovery。
第三，scalability 有硬上限。k 增大带来参数、显存、latency 快速上涨；IFIN k=1 已经很慢，说明它用 compute 换 consistency。对于 edge lensless camera 这种强调 compact / low-power 的应用，142ms 到 216ms 的单张推理开销不是小问题。
第四，增益归因仍不完全清晰。虽然消融排除了简单双流和单向 operator，但没有充分拆开 operator 次数、FFT padding、参数量、backbone capacity、训练 recipe、PSF learning 与 dataset-specific calibration correction 的贡献。部分提升可能来自更高 test-time compute 和更强 supervised fitting。
第五，所谓 generality 还比较有限。Gaussian deblurring 的结果只是 competitive，inline holography 是模拟；要声称 broad inverse problems template，还需要真实多模态系统、跨设备测试和弱监督 / self-supervised 版本。
Takeaway
- 1. 最值得记住的是：对于强混叠 computational imaging，measurement-domain information 不能只在输入端用一次；它应该作为贯穿网络的状态持续参与重建。
- 2. IFIN 推动的是 architecture-level physics integration，而不是单个反演模块。
- 未来 lensless reconstruction 很可能从“physics initialization + deep refinement”转向“dual-domain recurrent / hierarchical consistency”。
- 3. 可迁移 insight 是 forward/inverse operator pair 可以作为通用通信接口：只要某个 inverse problem 有可微 forward 和近似 inverse，就可以把它们嵌入 feature hierarchy，而不必严格 unroll 某个优化算法。
一句话总结
IFIN 是 lensless reconstruction 中把 physics-guided learning 从“单次物理约束”推进到“跨尺度双域持续一致性建模”的方法，真正贡献在于重组 measurement/image 信息流，而不是提出新的光学模型或单纯扩大网络。