精读笔记
Problem Setting
论文题目：A Distributionally Robust Framework for Learned Reconstructions in Inverse Problems（arXiv preprint / 2026）。这篇论文不是在提出一个新的 reconstruction architecture，而是在处理 learned inverse operators 的分布鲁棒性建模问题：训练时通常假设固定噪声或固定 forward model，测试时一旦测量分布、噪声族或采集算子发生偏移，重建算子会把小的 measurement shift 放大成大的 reconstruction error。
真正困难点在于 inverse problem 的不确定性不是一个无结构的 joint distribution shift。X 的先验变化、Y|X 的噪声/forward model 变化、X|Y 的后验不确定性，在物理意义和重建后果上完全不同。标准 Wasserstein DRO 把 P(X,Y) 整体扰动，相当于允许 adversary 同时改真值和测量，这在 inverse problem 中往往过强，也不对应真实采集机制。关键矛盾是：需要 robustness，但不能让 adversary 拥有不符合物理的自由度；否则得到的是保守正则，而不是针对测量不确定性的稳定性。
Motivation
已有路线的不足很明确：经典 variational / Bayesian regularization 能稳定单个 inverse problem，但通常不直接学习一个在分布偏移下稳定的 reconstruction operator；learned reconstruction 能拟合数据分布，但对训练噪声模型敏感；Wasserstein DRO 提供 worst-case formulation，却默认 perturb full joint distribution，忽略 inverse problem 的条件生成结构。
作者的核心观察是，数据采集过程天然分解为 μ_X 和 μ_{Y|X}：前者是样本/对象分布，后者是 forward operator 加噪声模型。对于多数 imaging inverse problem，更自然的不确定性是测量机制变了，而不是 ground truth population 任意移动。因此缺的不是另一个网络或损失，而是一个能把 DRO ambiguity set 与物理采集结构对齐的建模层。
Core Idea
论文的核心思想是把 Wasserstein DRO 的 ambiguity set 从“整个 P(X×Y) 的球”改成“与采集过程一致的结构化子集”。最重要的实例是固定 X-marginal，只允许 perturb Y|X，即 adversary 只能沿 measurement direction 移动样本，而不能改变 underlying signal。这个约束把鲁棒性集中在 noise / forward-model uncertainty 上。
这与 prior 的本质区别不是用了 Wasserstein，也不是用了 Sinkhorn，而是改变了 adversary 的 action space。标准 DRO 的 inductive bias 是“对任意 joint shift 稳定”；本文的 inductive bias 是“对物理允许的 conditional shift 稳定”。这个差别直接影响正则形式：joint DRO 惩罚包含 X 和 Y 两个方向的 transport，而 conditional DRO 只惩罚 reconstruction 对 Y 扰动的 Lipschitz 放大。因此它更像是把 classical inverse regularization 的稳定性约束，用 DRO 的 worst-case language 重新推导出来。
Method
方法上最关键的是 K_s-parametrized admissible kernels。它让 adversary 对每个样本 s 选择一个受约束的 perturbation kernel，并通过 transport budget ε 控制整体偏移规模。这一步解决了 ambiguity set 不能表达条件结构的问题，是整篇论文的建模核心。
第二个关键机制是 strong duality。原始 inner maximization 是对无限维概率测度的 supremum，不可直接优化；对偶把它变成 λ 和 pointwise potential 的形式，使 joint、P(Y|X)、P(X) 等 perturbation type 可以比较。这里的理论贡献主要是把 Blanchet/Murthy 风格 Wasserstein DRO duality 推到结构化 K_s 约束下。
第三个关键机制是 explicit risk bound。对平方 loss/cost 和 Lipschitz G，joint DRO 给出 (F + sqrt(ε(1+L_G^2)))^2，而 P(Y|X)-DRO 给出 (F + L_G sqrt(ε))^2。这个差异非常重要：它说明 fixing X-marginal 精确删除了 joint adversary 在真值方向移动带来的额外保守项。在线性情形，这等价于惩罚大 singular value，促使 learned inverse 截断高增益方向。
Key Insight / Why It Works
最有价值的 insight 是：DRO 的效果强烈取决于 adversary 被允许扰动什么，而不是只取决于 Wasserstein radius。对于 inverse problems，错误的 adversary 会产生错误的 regularization。joint DRO 的保守性不是偶然的数值现象，而是来自允许 X-direction transport；conditional DRO 的优势也不是网络技巧，而是 ambiguity geometry 更贴近 measurement physics。
方法真正有效的原因，本质上是 better inductive bias，而不是 scaling、retrieval、test-time compute 或更强 architecture。它把重建算子的稳定性压力集中在 measurement perturbation 上，使 G 不去学习会极度放大噪声的方向。在线性实验中，谱截断是最干净的证据：DRO objective 学到的不是任意 denoising heuristic，而是类似 truncated-SVD 的低秩 inverse，这和 inverse problem 的经典正则机制对齐。
不过，实验中非线性图像任务的增益不能完全归因于理论项。UNet 本身已有强 image prior 和 implicit denoising bias；Sinkhorn DRO 的 stochastic perturbation 也接近一种 structured noise augmentation / robust training。文中没有充分隔离 architecture bias、data coverage、entropy regularization 与 structured ambiguity 的贡献。CT 中稳定性指标甚至显示 MSE 更低 sensitivity，作者解释为过度平滑，这说明单一 stability metric 并不可靠。我的判断是：理论贡献比 empirical claim 更扎实；实验支持方向正确，但不是决定性证明。
Relation To Prior Work
这篇属于 Wasserstein DRO × inverse problem regularization 的交叉谱系，最接近 Blanchet/Murthy 式 OT-DRO duality、Wasserstein DRO induces regularization、conditional Wasserstein distance，以及 learned inverse reconstruction 的稳定性工作。
看似新的部分中，DRO 诱导 Tikhonov/Lipschitz 正则并不是全新思想；用 infinite-cost conditional cost 来固定 X 方向在相关工作中也已有相近形式。真正新增的是把这些东西组织成一个 general structured perturbation framework：用 K_s 直接限制 admissible measures，并系统覆盖 joint、marginal、conditional perturbation，在 inverse problem 的采集因子分解下解释它们。
与 classical regularization 的关系也很清楚：它不是替代 Tikhonov，而是从 worst-case distribution shift 推导出 Tikhonov-like penalty。与 learned regularizer / plug-and-play / diffusion inverse solvers 相比，它不主要增加 expressive prior，而是给 learned operator 加一个物理结构化的 robustness constraint。实质创新在 formulation 和 dual interpretation，不在网络结构。
Dataset / Evaluation
评估覆盖从线性 differentiation、MNIST/CIFAR deblurring 到 2DeteCT CT reconstruction，包含 synthetic 和真实 CT 数据，任务跨度是足够的。尤其 CT 使用真实工业/医学相关采集数据，比只在 toy inverse problem 上验证更有说服力。forward-model misspecification 和 Poisson noise 测试也确实对“measurement-process shift”这个核心 claim 有针对性。
但 evaluation 的限制也明显。主要强对照多为 MSE-UNet、Tikhonov，而不是系统比较 conditional DRO、joint DRO、noise augmentation、adversarial training、spectral norm regularization、Jacobian/Lipschitz penalty 等更接近机制层的 baseline。Appendix 有 joint perturbation 比较，但结论差异很小，不能充分支撑“structured 比 joint 实证上显著更好”。非线性实验的增益可能来自更强鲁棒训练目标和数据扰动覆盖，而非 conditional Wasserstein geometry 本身。整体上，实验能支持“structured DRO 是可行且鲁棒的”，但对“这是最优或显著优于其他鲁棒正则”的支持还不够。
Limitation
最大的隐含前提是 perturbation structure 已知且正确。固定 μ_X、只扰动 Y|X 在很多 imaging acquisition shift 下合理，但如果测试分布也发生 anatomy/object prior shift、scanner population shift 或 pathology distribution shift，这个假设会漏掉重要不确定性。换言之，它不是通用 OOD solution，而是对特定物理 shift 的鲁棒化。
第二个上限是计算近似。理论框架是 structured Wasserstein DRO，实际训练依赖 entropic Sinkhorn 和条件 cost 的近似，且 λ 通过 bisection、gradient 用 stochastic estimator。文中未充分说明这种近似与原始 DRO guarantee 的误差如何影响 learned operator。对于高维 CT，真实 conditional Wasserstein ball 的几何是否被 Sinkhorn surrogate 保留，是开放的。
第三个问题是增益归因不清。非线性任务中 DRO-UNet 的优势可能混合了 Lipschitz regularization、noise augmentation、architecture prior、训练数据规模和 entropy smoothing。所谓 interpretability 主要靠 saliency map，证据较弱；saliency 更像辅助可视化，不能证明模型真正学习了物理结构。最后，ambiguity radius ε 的选择仍是关键超参数，过大导致过平滑，过小接近 ERM；这实际上把 robustness-accuracy tradeoff 转移到了 radius calibration 问题上。
Takeaway
- 最值得记住的第一点：DRO for inverse problems 的核心不是“用 Wasserstein ball”，而是“限制 adversary 的物理自由度”。
- ambiguity set 的结构决定了正则的语义。
- 第二点：P(Y|X)-structured DRO 给出一个很干净的 bridge，把 measurement robustness、Lipschitz penalty 和 truncated-SVD-like regularization 连起来。
- 这是可迁移 insight，可用于任何有明确 conditional generation mechanism 的任务。
一句话总结
这篇论文把 Wasserstein DRO 从无结构 joint robustness 推进到面向 inverse-problem 采集机制的 structured conditional robustness，真正贡献是用物理约束的 ambiguity set 推导出更少保守、可解释的 Lipschitz/Tikhonov 型重建正则。