精读笔记
Problem Setting
论文实际处理的是“高维/无限维参数场 + 少量超参数”的层级 Bayesian inverse problem，其中固定超参数后问题是线性 Gaussian，因此不是 posterior 表达式难，而是超参数边缘化时要反复评估 π(θ|y)。每次评估都隐含 posterior precision 的 log-det ratio 和 posterior mean/MAP 求解；在 PDE 场景下，这些操作的主成本来自 A 与 A♯ 的 PDE solve。
关键困难在于 prior hyperparameter，尤其 Matérn length scale 这类非乘性参数，会改变 prior-preconditioned update 的谱结构。传统 PP low-rank approximation 在每个固定 θ 上是很好的，但一旦 θ 改变，preconditioner 也变了，低秩分解不能直接复用。任务的核心矛盾是：最优的 low-rank basis 是 θ-specific 的，而 hyperparameter marginalization 要求大量 θ evaluations；最优性和可摊销性冲突。
Motivation
已有路线主要有两类：一类是 full/marginal MCMC，能处理层级结构但在 PDE 高维 latent field 下很贵；另一类是 empirical Bayes 或 quadrature over θ，但它们都要求快速评估 hyperparameter marginal。对 PDE inverse problems，fixed-prior low-rank posterior approximation 已经非常成熟，但 prior 结构超参数破坏了离线预计算。
作者看到的缺口很具体：不是缺一个新的 Bayesian estimator，而是缺一个在 nonlinear prior hyperparameters 下仍能 amortize PDE solves 的 determinant/posterior approximation。也就是说，缺的是一种把 expensive likelihood information 与 θ-dependent prior geometry 解耦的线性代数机制。
Core Idea
核心思想是牺牲 fixed-θ 下 prior-preconditioned update 的最优性，换取跨 θ 的可复用低秩表示。PP 使用当前 Qpr(θ) 做 preconditioning，因此 rank 小、近似最优，但每个 θ 都要重新用 A 和 A♯ 做 randomized generalized eigensolve。WP/UP 则先用 θ-independent reference preconditioner 对 A♯PA 做一次离线低秩近似，然后在每个 θ 上只做 prior-side 的 re-orthogonalization 和缩放修正。
本质区别是信息流重组：PP 在每个 θ 下重新发现 likelihood-informed subspace；WP/UP 假设这些 data-informed directions 在一个较弱或未预条件化的几何中已经足够覆盖所有 θ 下的重要方向。这个 inductive bias 很清楚：用一个更大的、θ-agnostic 子空间包住多个 θ-specific optimal subspaces。它可能更 scalable，因为 PDE solve 被摊销；也可能更 generalizable 到多个 prior settings，因为它不绑定某一个 θ 的 prior geometry。
Method
1. Hyperparameter marginal approximation：目标是稳定计算 π(θ|y) 中的 determinant ratio 和 posterior mean。作者把误差拆成 log-det 误差 e1 与 mean/MAP 误差 e2；这让后续低秩截断不只是经验 rank choice，而是能直接对应 marginal density error。
2. PP baseline：对每个 θ 分解 prior-preconditioned update (R♯)^{-1}A♯PAR^{-1}。它解决的是 fixed-θ posterior approximation 的最优性问题；必要性来自 trace-class prior covariance 使 spectrum decay 快、log-det ratio 稳定。但核心缺陷是 R(θ) 变化导致低秩分解无法复用。
3. WP approximation：选择一个 θ-independent 的 weakest/reference prior Qhatpr，使其 precision 被所有目标 prior 支配。它解决的是“如何离线预计算又保留一定 prior preconditioning”的问题。核心变化是用 reference prior 生成覆盖性子空间，再在每个 θ 下 re-orthogonalize；理论上通过 Loewner order 控制截断误差。
4. UP approximation：完全不做 prior preconditioning，直接近似 A♯PA。它解决的是没有自然 weakest prior 时的 fallback。代价是 spectrum decay 更慢、rank 更高；好处是 reference choice 更少假设，工程上更简单。
5. Posterior mean handling：若低秩近似导致 e2 不可忽略，可用近似 posterior precision 作为 CG preconditioner 求精确 mean。这个机制把 determinant approximation 与 mean accuracy 解耦，但也会重新引入每个 θ 的 A/A♯ 应用。
Key Insight / Why It Works
真正有效的原因不是 Bayesian 层级建模本身，而是 memory reuse：PDE forward/adjoint solves 产生的 likelihood-informed subspace 在 θ 变化时并不会完全重排，尤其当 θ 只影响 prior 和 noise scaling、A 固定时。WP 用 weakest prior 做 reference，相当于构造一个较保守的 envelope subspace；它 rank 更大，但包含多个 stronger prior 下的重要方向，因此能 amortize。
最核心贡献是把 prior-preconditioned low-rank approximation 从 θ-specific optimal approximation 转化为 uniform-in-θ approximation，并给出可解释的 error bound。这个 bound 的意义不在于很紧，而在于说明什么时候 rank inflation 是可控的：reference prior 不能太弱，σ 和 δ 不能允许退化到 0，且 preconditioned spectrum 必须足够快衰减。
最可能只是辅助的是 quadrature/empirical-Bayes comparison 和具体 hIPPYlib 实现；这些不是方法本质。实验中的大加速主要来自 scaling / amortization，而不是更好的 posterior approximation。换句话说，增益是把重复 PDE solves 从 online loop 里拿掉，不是发现了更强的统计估计器。
文中 e2 的处理略显乐观。实验中 µpr=0 且 e1 dominates e2，因此可以不用 CG 时速度更好；但这可能是问题结构带来的 favorable case。若非零 prior mean 或 data/prior balance 改变，mean error 可能不再小，CG 会吞掉一部分 amortization gain。这里的增益来源在一般问题上不完全清楚。
Relation To Prior Work
它最接近的是 Bui-Thanh/Ghattas/Stadler 系列和 Spantini/Marzouk 系列的 prior-preconditioned low-rank posterior approximation，以及层级 inverse problem 中利用 marginalization 的 MCMC/empirical Bayes 工作。PP 的数学核心并不新：generalized eigenvalue、posterior precision update、log-det 低秩近似都是已有谱系。
真正新增的信息是：当 prior hyperparameters 非线性改变 preconditioner 时，如何把 fixed-prior low-rank machinery 改造成 amortized hyperparameter marginal evaluator。WP 的 weakest prior 思路是实质创新点，因为它给出了一个介于 PP 和 UP 之间的结构化折中，并用 Loewner order 给出 uniform truncation control。
和 INLA 的关系也很清楚：二者都做 low-dimensional hyperparameter integration + conditional latent Gaussian inference，但 INLA 靠 sparse precision 和 local predictor，PDE inverse problem 的 A♯QεA 通常 dense/nonlocal，不能继承 sparsity。本文属于 PDE inverse problems 里的 low-rank / likelihood-informed subspace 技术谱系，而不是空间统计中的 sparse GMRF/INLA 谱系。
Dataset / Evaluation
实验覆盖 2D 与 3D advection-diffusion initial condition inversion，forward map 线性、A 固定，prior 是 Matérn-type covariance，hyperparameters 同时进入 prior 与 noise。这个设置非常贴合方法假设，因此能有效验证核心 claim：在需要多次 π(θ|y) evaluations 时，WP/UP 可以显著减少重复 PDE solves。
但 evaluation 的外推范围有限。它没有覆盖 A(θ)、nonlinear PDE、非 Gaussian conditional posterior、更高维 hyperparameter、复杂 prior family 或真实观测数据。3D 例子说明 scaling 趋势，但仍是合成问题，且结构非常友好。benchmark 支持“在作者假设内 amortization 有效”，不支持“层级 PDE Bayesian inverse problems 普遍可快速边缘化”。
实验数字不需要过度解读；30–45× 的速度提升主要是因为 PP 每个 θ 重算低秩分解，而 WP/UP 把它离线化。这个结果是合理的，但不是统计性能突破。文中未充分说明不同 prior mean、不同 sensor geometry、不同 noise/prior scale 下 e2 是否仍温和。
Limitation
最大限制是方法把困难从 repeated PDE solves 转移到“是否存在一个不过弱的 θ-independent reference subspace”。若 reference prior 太弱，spectrum decay 会变慢，rank inflation 可能抵消 amortization；若 reference prior 不满足支配关系，则理论误差控制消失。UP 虽然通用，但本质上可能退化到 observation-rank 级别的近似。
第二个限制是 A 必须不随 θ 变化，noise precision 也只能乘性变化。这排除了很多自然层级 inverse problem：PDE coefficient、diffusion/advection 参数、boundary condition、source dynamics 都不能作为本文意义下的 hyperparameter。若 A(θ) 变化，离线 likelihood-informed subspace 可能不再覆盖 online 子空间，当前机制没有解决。
第三，scalability 上限取决于 hyperparameter dimension 和 marginal exploration strategy。论文展示的是低维 θ 的 quadrature/optimization；θ 维度上去后，π(θ|y) evaluation 变快并不自动解决外层探索的 curse of dimensionality。
第四，e2 的一般控制不足。作者可以用 CG 消除 mean error，但这重新引入 online A/A♯ cost；不用 CG 的漂亮速度依赖实验中 e2 小。这个条件是否普遍成立，文中未充分说明。
Takeaway
- 1. 最值得迁移的 insight：在层级 inverse problem 中，不必坚持每个 θ 的最优低秩基；构造一个 uniform envelope subspace 往往比反复求最优子空间更有价值。
- 2. 这篇真正推动的是 PDE Bayesian inverse problems 中的 amortized numerical linear algebra，而不是新的 Bayesian inference paradigm。
- 它把 hyperparameter marginalization 的瓶颈重新表述为“如何跨 θ 复用 likelihood-informed directions”。
- 3. WP 是比 UP 更有启发性的设计：reference prior 不是任意 surrogate，而是通过 weakest-prior ordering 保证覆盖性。
一句话总结
这篇论文把 fixed-prior PDE Bayesian inverse problem 中成熟的 prior-preconditioned low-rank approximation，改造成可跨超参数复用的 amortized precision-update 框架，核心贡献是用较保守的 θ-independent 子空间换取大量 marginal density evaluations 中的 PDE solve 复用。