精读笔记

Problem Setting

这篇论文实际瞄准的是单图反射去除中最棘手的不可辨识性：输入图像里 transmission 与 reflection 同时占据相同空间、相似纹理频率和相近语义结构，像素上没有稳定边界告诉模型哪些结构该保留、哪些该移除。以前方法虽然有双分支、残差建模、注意力交互或 diffusion prior，但多数仍在像素空间里解决一个病态分解问题：sRGB 下加性模型不精确，且 T/R 的方向高度重合，导致 reflection branch 很容易退化，所有信息被 transmission branch 吸收。任务的关键矛盾是：像素空间更接近物理加性，但层之间太相干；latent space 层之间更可分，但加性本身更不精确。PRISM 选择牺牲一部分物理精确性，换取表示空间中的低 coherence。

Motivation

作者的出发点不是“再设计一个更强网络”，而是质疑 SIRR 是否应该继续在像素空间做分解。已有路线不够的根本原因在于它们把问题放在一个不利坐标系里：像素空间既要表达低层纹理，又要表达高层语义，还受非线性相机响应污染。PRISM 的核心观察是，FLUX VAE latent 中 transmission 与 reflection 的 cosine similarity 显著低于像素空间，而且这种低相干性并非 T/R 特有，而是自然图像 latent 间的普遍 decorrelation。这个观察给出一个关键缺口：SIRR 缺的可能不是更复杂的 decomposition head，而是一个让线性分离条件数更好的 representation。

Core Idea

论文真正的核心是把 SIRR 从 pixel reconstruction problem 改写成 pretrained latent space 中的 linear separation problem。若 z_I≈z_T+z_R，则从 z_I 到 z_T 的 correction velocity 就近似等于 -z_R；因此预测 transmission 的过程天然给出了 reflection latent。这一点比传统双分支更干净：reflection 不再靠额外 head 学一个容易坍塌的分支，而是作为去反射方向的反向量出现。

这个建模引入的 inductive bias 是“可组合 latent 分解”：一个好的分解不只要重建当前样本的 T，还应当允许 z_T 与其他样本 z_R 重新组合后仍能被拆开。LCC 正是把这个 bias 显式化。和 prior 的本质差异在于，PRISM 不再把生成模型仅作为 natural image prior 或 decoder，而是利用其 latent geometry 作为分离空间；这使方法更 scalable，因为随着 VAE/flow backbone 变强，latent decorrelation 和自然图像 manifold 可能同步改善。

Method

方法可以压缩成三个必要机制。第一，latent flow matching：模型只在 t=0 从 clean mixture latent 出发预测 velocity，目标是 z_T-z_I。这解决的是单步推理与训练分布对齐问题，也避免 diffusion sampling 的额外 test-time compute。第二，LCC：用 first-pass 的 z_T 和 batch 内交换的 z_R 构造 synthetic latent mixture，再要求 second-pass 恢复两者。它解决的是仅有 transmission supervision 时的纠缠解，即模型可能只学到输入到 GT 的映射，而没有学到可复用的层因子。第三，LCS：用 patch-level contrastive loss 让 recovered transmission 更接近 transmission latent、远离 reflection latent。它解决的是 latent additivity 不精确导致 reflection target 不可靠的问题。

这里 pixel loss 的角色比较务实：它不是主要创新，而是锚定可见输出质量并防止 v=0。stop-gradient 也是工程上必要的稳定器，避免 cycle branch 反向拉塌 first-pass decomposition。

Key Insight / Why It Works

最可能真正有效的是 FLUX latent 的低 coherence，而不是 LCC/LCS 本身。补充实验显示 base model 已经很强，LCC/LCS 的增益是小幅稳定提升；而从 SD-2.1 换到 FLUX 带来的性能差距远大于损失设计带来的差距。这说明 PRISM 的主增益更像 representation alignment + scaling，而不是一个全新的优化范式。

不过这个 scaling 不是无意义堆参数。关键在于 FLUX VAE 把自然图像映射到一个方向上近似正交的空间，使“从混合中减去反射方向”变得比像素空间容易。即使 z_I≈z_T+z_R 在数值上并不精确，低 coherence 仍可能让 regression 更稳定：模型不需要在高度重叠的像素方向中区分两层，而是在一个更接近解耦坐标系的 latent manifold 中学习 correction。

LCC 的价值在于把这种低 coherence 从观察变成约束：如果 reflection latent 可以跨图组合，那么模型必须学习一个对组合不敏感的 transmission factor。这类似 self-consistency / equivariance regularization，而不是传统 reconstruction loss。LCS 更像辅助性的 semantic separation regularizer；它可能改善局部纠缠，但不是性能主因。文中未充分说明的是：低 coherence 是否带来真实物理层分离，还是只让网络在强生成先验下产生更 plausible 的 clean image。reflection 需要 affine calibration 才接近 GT，也提示所谓 z_R 更像模型内部 residual coordinate，而非严格物理反射层。

Relation To Prior Work

PRISM 最接近三条路线的交汇：传统 SIRR 的 additive layer decomposition、diffusion/flow restoration 的 generative prior、以及 contrastive restoration 的 feature separation。它和 DAI 等 generative-prior 方法的本质差异在于，DAI 主要把生成模型当作自然图像约束来修复输出，而 PRISM 把生成模型 latent 当作分解坐标系。它和双分支 SIRR 的差异在于，PRISM 不显式设计 T/R interaction module，而是用 velocity 的正负方向绑定两层。

看似新的部分中，flow matching 单步预测、cycle consistency、InfoNCE 本身都不是新思想；真正新增的信息是把它们放到“低 coherence latent layer composition”这个框架下。实质创新在于提出并实验证明：对 SIRR 而言，表示空间的 mutual coherence 可能比像素空间的 additive exactness 更重要。这是一个可迁移的判断，可能比具体 LCC/LCS 公式更有价值。

Dataset / Evaluation

评估覆盖了多个常用 SIRR benchmark 和 OpenRR 1K in-the-wild 设置，基本能说明方法在现有离线基准上有效，尤其是跨传统数据集的 PSNR 和 perceptual metric 都有优势。OpenRR 1K 未 fine-tune 的设置对 generalization claim 有一定支持，但仍不是强 deployment 证据，因为这些 benchmark 的反射类型、采集流程和训练合成策略之间可能存在隐式重叠。

实验最能支持的 claim 是：FLUX latent + 单步 correction 是一个强 SIRR prior。对“真实 reflection disentanglement”的支持较弱，因为 reflection 层没有直接像素监督，未校准 reflection 质量很差，校准后才显示结构相似。消融也显示 LCC/LCS 是 incremental gain，而不是决定性来源。因此 evaluation 支持方法有效，但不能完全证明其物理分解解释成立。

Limitation

最大限制是核心假设没有理论闭环：latent additivity error 很高，但方法仍依赖 z_I≈z_T+z_R 的工作近似；作者用低 coherence 解释可分性，这在经验上合理，但不足以说明何时会失败。dense/saturated reflection 失败正说明当前机制依赖 z_I 仍主要落在 transmission-dominated region，一旦 reflection 能量过强，latent 起点会偏向 reflection subspace，velocity 回归也会失效。

第二个限制是增益归因不清。3.97B FLUX、bf16 单步推理、高保真 VAE、训练数据配比和 latent losses 同时存在，难以判断提升来自新 inductive bias 还是主要来自 backbone scaling / data coverage。SD-2.1 实验反而强化了这个疑问：同样 LCC/LCS 在小 backbone 上只带来有限增益。

第三，方法把一部分问题转移到了预训练 latent 的性质上。若换一个 VAE，没有低 coherence 或重建 fidelity 不够，框架可能迅速退化。reflection 输出的亮度偏置也说明它并没有学到完整物理层，而是学到对 transmission 有用的 latent residual。对于真实部署，3.97B 参数、显存占用、对强反射和玻璃结构硬边的失败，都是实质障碍。

Takeaway

• 第一，SIRR 这类病态分解任务可能更应该比较 representation 的可分性，而不是执着于像素空间物理公式是否更精确；低 coherence latent 是比复杂双分支更强的 inductive bias。
• 第二，生成模型 latent 不只是 restoration prior，也可以作为 decomposition coordinate system，这是本文最值得迁移的 insight。
• 第三，cycle/contrastive 的作用应理解为让 latent factors 可组合、可复用，而不是单纯提高重建质量。
• 第四，未来真正值得做的是建立 latent additivity/coherence 与可分性的理论或诊断工具，并设计更轻量、可控、物理校准更好的 latent decomposition backbone。

一句话总结

PRISM 是一篇把单图反射去除从像素级双分支重建推进到预训练生成 latent 中做低相干线性分离的工作，真正贡献在于 representation-level inductive bias，而非具体损失模块本身。