精读笔记

Problem Setting

论文标题：Wasserstein Contraction of Coordinate Ascent Variational Inference（arXiv preprint / 2026-05-29）。

这篇论文实际处理的是两块 mean-field CAVI 的分布级收敛问题：给定 target π(z,β)，CAVI 交替更新 μ_k=μ⋆[ν_{k-1}] 与 ν_k=ν⋆[μ_k]，作者要证明这些概率测度迭代在 Wasserstein 距离下对某个固定点呈指数收缩。

困难点不在于写出 CAVI 更新，而在于 CAVI 的“迭代变量”是概率测度，且最优响应映射通常不是有限维光滑映射；posterior 还可能多模态、非强 log-concave、包含离散 latent variables。传统坐标下降理论要求强凸性/PL/全局 smoothness，传统 CAVI 理论也常要求 target 或 block conditional 的全局 log-concavity，这些假设在 Gaussian mixture、Polya-Gamma augmentation、局部多模态 posterior 中都过强。

关键矛盾是：实际 CAVI 往往只在某个局部 basin 内收敛到某个 variational fixed point，但理论工具通常要么给全局强条件，要么只给 ELBO 单调性，无法解释“为什么在非全局凸、多固定点、含增强变量的模型里仍然快速收敛”。本文的目标就是把收敛性归因到固定点局部曲率与坐标间 coupling 的相对大小。

Motivation

已有路线的缺口主要有三个。

第一，强 log-concavity / block-smoothness 路线过于全局。它排除了 mixture model 的 label symmetry、多模态 posterior，也很难覆盖 logistic/probit augmentation 中的非强凸结构。很多实际 Bayesian computation 模型恰恰依赖 augmentation 后的条件共轭，而 augmentation 本身可能引入非光滑或离散空间。

第二，KL/entropy contraction 虽然自然，但不总能直接解释参数分布在几何距离上的收敛，尤其在高维 regression 或 Gaussian-like posterior 中，Wasserstein 距离更接近“均值/协方差几何”的实际收敛行为。

第三，CAVI 的收敛并不由目标整体 smoothness 决定，而由两个坐标最优响应之间的相互敏感性决定。作者抓住的是一个非常 coordinate-descent 的结构：如果 z-block 的最优响应对 β-block 扰动不太敏感，β-block 的最优响应对 z-block 扰动也不太敏感，同时各自固定点有足够曲率，那么两步复合就是 contraction。

所以这篇论文缺的不是一个新算法，而是一种更贴近 CAVI 动力学的证明语言：functional smoothness + fixed-point functional inequality。

Core Idea

核心思想可以概括为：不要分析 ELBO 全局形状，而是分析两个最优响应算子的复合映射在固定点附近是否收缩。CAVI 更新可写成 μ_{k+1}=μ⋆[ν⋆[μ_k]] 或 ν_{k+1}=ν⋆[μ⋆[ν_k]]。如果单个最优响应映射把输入分布的 W_p 扰动转成输出分布相对固定点的 Fisher information，且固定点分布满足 transport-information inequality 把 Fisher information 反控 W_p，那么每经过一个 block 就得到一次“Fisher → Wasserstein”的转换，两次串联后得到乘法型收缩率。

这与 prior 的本质区别是：prior 往往从目标函数的全局 convexity/smoothness 出发；本文从最优响应 operator 的 cross-sensitivity 出发。它引入的 inductive bias 是“坐标间耦合小于坐标内曲率”。这比全局 log-concavity 更适合 mean-field VI，因为 mean-field approximation 本身就是在忽略依赖结构；当依赖弱时，不仅 approximation 更准，CAVI 也更快。这也解释了文中强调的 accuracy-convergence duality。

Method

1. 最优响应算子化：把 CAVI 写成 μ⋆[ν](z) ∝ exp(-E_ν f(z,β)) 与 ν⋆[μ](β) ∝ exp(-E_μ f(z,β))。这一步的作用是把算法从“优化 ELBO”重写成“两个概率映射的迭代”，使 contraction proof 可以直接作用在 operator 上。

2. Fisher-smoothness：定义 I(γ⋆[ρ]||γ⋆[ρ′]) ≤ L² W_p²(ρ,ρ′)。它解决的是输入分布变化如何影响输出最优响应的问题。若 f=f_1+f_2+ω，则 smoothness 只依赖 interaction term ω；在 p=1 时可由 cross-gradient Lipschitz 控制，即 ∇_z f 对 β 的 Lipschitz 性、∇_β f 对 z 的 Lipschitz 性。

3. Transport-information inequality：在固定点 μ⋆、ν⋆ 上要求 λ² W_p²(ρ,γ) ≤ I(ρ||γ)。它承担的是局部曲率/误差界角色，比 log-Sobolev 弱，也可由 strong log-concavity 推出，并且 tensorize，适合高维 product-like 情形。

4. 两步收缩证明：Fisher-smoothness 给 I(μ⋆[ν_k]||μ⋆) ≤ L_{1|2}² W²(ν_k,ν⋆)，TI 给 W²(ν_k,ν⋆) ≤ I(ν_k||ν⋆)/λ²，再接另一个 block 的 Fisher-smoothness，最终得到收缩率 L_{1|2}L_{2|1}/(λ_{1|2}λ_{2|1})。证明非常短，说明这个框架抓住了 CAVI 的本质动力学。

5. Data augmentation 版本：只分析 ν⋆[μ⋆[ν]] 这个 composed map，对感兴趣的 β-block 给出收缩，而不要求 z-block 是光滑流形或满足 TI。这不是技术装饰，而是让理论能进入离散 GMM latent allocation 与 Polya-Gamma augmentation 的关键。

Key Insight / Why It Works

最核心贡献是把 CAVI 收敛率归因到“cross-coupling / curvature ratio”。在 Gaussian case 中该比值退化为 correlation matrix 的 spectral norm，且 rate sharp。这一点很有说服力：CAVI 慢的根源不是坐标内条件分布多难，而是两个 block 之间还剩多少相关性需要通过交替更新传递。

这个机制也解释了为什么 mean-field approximation 准时 CAVI 往往快。若 interaction/correlation 小，则 mean-field 假设损失小；同一个 interaction 上界又控制 Fisher-smoothness，因此 contraction rate 小。论文里的 accuracy-convergence duality 不是经验现象，而是由相同结构量控制 approximation error 与 algorithmic rate。

对 data augmentation 的分析也很重要。augmentation 的好坏可以被理解为是否降低 composed map 的 Fisher-smoothness，即是否让 auxiliary variable 与 parameter 的 cross-coupling 变小。这和 Bayesian computation 中 centered/non-centered parameterization、augmentation efficiency 的经验原则一致。这里的理论信息是：好的 augmentation 不只是让 conditional conjugacy 简单，还要让 ν⋆[μ⋆[ν]] 的 spectral/cross-smoothness 常数小。

哪些部分可能只是辅助？高维 probit/logistic 的随机矩阵 scaling 主要是在已有设计矩阵谱结果上做代入，技术上有价值，但核心 insight 仍是 contraction 框架本身。实验图也主要是验证理论趋势，不是发现新现象。

这不是 scaling、retrieval、data coverage 类工作；它的本质是 better geometric inductive bias：用 Wasserstein/Fisher/TI 几何把 CAVI 的 operator contraction 写成一个可验证的 cross-smoothness 条件。真正值得迁移的是这种“最优响应映射 + functional inequality + composed-map contraction”的证明模板。

Relation To Prior Work

最接近的是 Bhattacharya-Pati-Yang 的 symmetrized KL contraction 与 generalized correlation coefficient，以及 Arnese-Lacker、Lavenant-Zanella 等基于 log-concavity / optimal transport 的 CAVI 收敛分析。本文与它们的差异不只是换了距离，而是换了假设中心：从 target global strong log-concavity / block-smoothness 转到 fixed-point TI + operator Fisher-smoothness。

与 classical coordinate descent 的关系也很直接。Appendix A 说明同样的证明可转写为 alternating minimization 中的 cross-smoothness + gradient quadratic growth。也就是说，这篇论文本质上把有限维坐标下降的“cross coupling 小于 curvature”思想提升到 Wasserstein 概率空间。

哪些新意是实质的：第一，直接 Wasserstein contraction 的短证明；第二，只需固定点 functional inequality 而非 π 全局强 log-concavity；第三，data augmentation composed-map 版本绕过非光滑/离散 latent block；第四，在 GMM 中把局部收敛与 posterior phase transition/mode separation 联系起来，在 Jaakkola-Jordan logistic CAVI 中给出首个明确 rate 形式。

哪些是已有思想重组：TI/LSI/Talagrand 层级、Bakry-Émery、Gaussian correlation spectral rate、Bayesian missing information 等都不是新的；本文的新信息在于把它们组织成 CAVI operator contraction 的统一语言。

Dataset / Evaluation

这篇论文不是 benchmark-driven paper。Evaluation 主要由模型级理论应用和少量数值图组成：Gaussian mixture、Bayesian probit regression、Bayesian logistic regression with Polya-Gamma augmentation。覆盖了连续高维参数、离散 latent allocation、经典 data augmentation 三类场景，足以支撑作者关于“框架一般且可验证”的部分 claim。

但实验并没有证明广泛现实部署中的稳健性，也没有展示复杂非共轭模型上的自动验证能力。GMM 与 binary regression 都是理论友好的模型，CAVI 更新闭式、谱结构清楚；因此 evaluation 更像理论案例研究，而不是 empirical superiority 证明。

数值图验证的是收敛曲线与理论 rate 的定性一致性，例如 mode separation 越大 GMM 局部收敛越快，高维 probit/logit 在适当 prior scaling 下 rate 不退化。它们支持机制解释，但不应被解读为算法性能 benchmark。本文没有提出新算法，因此也不存在与 SVI、MCMC、Laplace、EP 等实际 inference pipeline 的系统性能比较。

Limitation

第一，核心条件仍然是小耦合条件 L_{1|2}L_{2|1}<λ_{1|2}λ_{2|1}。这比强 log-concavity 弱，但不是免费午餐；当 posterior block correlation 强、augmentation 强耦合或 fixed point 曲率弱时，理论不给保证。CAVI 可能仍收敛，但本文框架无法解释。

第二，局部理论依赖已知固定点及其邻域。多固定点情形虽然被允许，但 basin of attraction 基本没有被刻画。GMM 中关于 mode separation 的讨论很有启发，但一般模型中“从哪些初始化会进入哪个 basin”仍文中未充分说明。

第三，TI inequality 的可验证性在应用中依赖特殊结构。对 Gaussian/probit/logistic 可操作，是因为 fixed point 分布有强 log-concavity 或 Gaussian 结构；对一般非 log-concave variational factor，TI 常数可能难估，增益来源不清。

第四，data augmentation 版本把问题从 z-block 曲率转移到 composed map smoothness。对于离散 latent block 这是正确转移，但 composed smoothness 在复杂 augmentation 中可能同样难验证。

第五，multi-block CAVI 未覆盖。实际 mean-field VI 经常是多 block 或 structured factorization，二块结果如何扩展可能不是简单相乘；真正 rate 可能由某个 block interaction matrix 的 spectral radius 控制，但文中未解决。

第六，高维 scaling 结论依赖 prior precision 随 p 或 design 缩放。若 prior 过弱，rate 接近 1 是理论预期；因此“高维不退化”不是 CAVI 自然属性，而是特定 scaling 下的谱控制。

Takeaway

• 1. CAVI 收敛最值得看的量不是 ELBO 下降，而是 block optimal-response maps 的 cross-sensitivity；在 Gaussian 情形它就是 correlation spectral norm。
• 2. 固定点上的 functional inequality 足以替代 target 的全局强 log-concavity。
• 这是处理局部多模态与 practical Bayesian augmentation 的关键理论松绑。
• 3. Data augmentation 的设计原则可以被重新表述为：降低 ν⋆[μ⋆[ν]] 的 Fisher-smoothness / spectral coupling，而不仅是追求条件共轭。

一句话总结

这篇论文把两块 CAVI 的收敛从全局凸性问题改写为 Wasserstein 空间中“固定点曲率压过跨坐标耦合”的 operator contraction 问题，是一篇以 functional inequalities 统一解释 CAVI、augmentation 与 correlation-rate 的理论框架型工作。