精读笔记

Problem Setting

这篇论文处理的是 Wasserstein 空间上的非凸测度优化，重点落在 MMD 和 Energy Distance 这类由 interaction energy + potential energy 组成的目标。真正难点不是计算 Wasserstein gradient，而是这些目标沿 Wasserstein geodesic 通常非凸，导致标准 WGD 缺少可用的下降几何和 stationarity 证明；实践中则表现为带宽敏感、粒子漂移、局部停滞。以前路线要么假设 convexity / PL inequality，要么换几何空间或改权重；关键矛盾是：想保持纯 Wasserstein particle transport 的建模方式，但目标本身不服从 Wasserstein convex analysis。

Motivation

作者的动机很清楚：现有 Wasserstein 优化工具对凸目标很成熟，但 MMD / ED 等常用 discrepancy 正好落在非凸区间。对 MMD，噪声注入是 heuristic，Wasserstein-MMD / WFR 路线改变了优化空间和质量权重，Luu et al. 的 Wasserstein proximal gradient 主要覆盖 concave part 是 potential energy 的情况，难以自然覆盖 MMD 的非线性交互项。作者看到的缺口是：需要一种仍在 Wasserstein space 内、仍是粒子 pushforward、但能显式利用目标 DC 结构的算法框架。

Core Idea

论文的核心想法是把 Euclidean CCCP 提升到 Wasserstein space：如果 F=F+−F− 且 F+、F− 都 Wasserstein totally convex，那么每一步用 F− 的一阶 Wasserstein 下界来 upper-bound 原目标，再最小化这个 convex surrogate。这个 surrogate 定义在 transport map T∈L2(μ_k) 上，更新为 μ_{k+1}=T_{k+1}#μ_k。

这改变了 MMD 优化的组织方式：不是把核 MMD 当成一个整体非凸势场去做 WGD，而是先把 kernel 拆成 convex difference，再让不同曲率成分分别进入 implicit convex subproblem 和 linearized term。新的 inductive bias 是“保留一部分核曲率、线性化另一部分核曲率”。这也是它可能比 WGD 稳的根本原因：更新方向不只由当前梯度决定，还由 F+ 的 Bregman geometry / convex surrogate 约束。

Method

1. Wasserstein DC formulation：把目标写成 F+−F−，要求两部分 totally convex；这是为了让 concave part 的线性化确实形成全局上界，而不是局部 heuristic。

2. WCCCP update：在 L2(μ_k) 中最小化 J(T)=F+(T#μ_k)−<∇W F−(μ_k),T−Id>。它解决的是非凸目标缺乏可靠下降步的问题，核心变化是从 explicit gradient step 变成 surrogate minimization。

3. Bregman interpretation：WCCCP 等价于以 F+ 为 potential 的 Wasserstein mirror descent，也等价于以 F− 为 potential 的 Bregman proximal descent。这不是装饰性解释，而是下降恒等式和 stationarity rate 的来源。

4. MMD kernel split：对 translation-invariant / radial kernels，将 k(x,y)=ψ(x−y) 或 q(||x−y||²) 做 DC 分解，从而诱导 MMD 的 DC 分解。这里的关键是把非凸性降维到 kernel profile 的分解问题。

5. Practical solver：子问题一般无闭式解，需要内层 GD / momentum 近似求解。理论主要分析 exact WCCCP；实践增益与内层求解质量强相关，这一点是理论与实验之间的主要缝隙。

Key Insight / Why It Works

最核心的 insight 是：MMD 的优化困难很大程度来自 kernel-induced interaction 的曲率组织方式，而不是 Wasserstein gradient 本身不可用。WGD 把所有曲率都折叠进当前一阶力场，遇到 Gaussian kernel 这类带宽敏感目标时，远离 target 的粒子可能收到弱或错误的局部信号。WCCCP 通过 DC split 把一部分 kernel geometry 变成 surrogate 的凸结构，使更新更像“解一个重新加权的全局交互问题”，而不是沿即时梯度小步移动。

真正贡献在两个层面：抽象层面是把 CCCP 的 majorization-minimization 机制严肃地搬到 Wasserstein map-lifting 框架，并给出 Bregman / mirror descent 解释；应用层面是指出 MMD 的好分解应来自 kernel split，而不是简单加一个 quadratic regularizer。后者可能是实验中最有效的部分。

但要直接判断：性能提升不完全等于算法本身更强。WCCCP 每步要解内层凸问题，本质上引入了更多 test-time compute；不同 DC decomposition 改变了数值尺度和条件数，部分提升可能来自更合适的 preconditioning / smoothing，而不是 CCCP 机制本身。cosh/sinh、Jordan split 的差异也说明：所谓 WCCCP 的成功很大程度取决于分解工程。这里的核心能力不是 scaling 或 data coverage，而是 better inductive bias + implicit solver；但实验中的增益归因仍不够干净。

Relation To Prior Work

它最接近三条路线：Euclidean DC / CCCP，Wasserstein first-order optimization，以及 MMD gradient flow。与 Euclidean CCCP 的差异在于优化变量不是点而是测度，线性化和 Bregman divergence 必须通过 transport-map lifting 才能成立。与 Luu et al. 的 Wasserstein proximal gradient 相比，本质区别是 concave part 不限于 potential energy；这对 MMD 很关键，因为 MMD 的非凸部分包含 interaction energy。与 Gladin / WFR 等方法相比，它不通过换 metric 或改 particle weights 来 convexify MMD，而是在原 Wasserstein pushforward 结构内重排目标。

看似新的部分中，CCCP、Bregman proximal、mirror descent 的联系在 Euclidean 空间已有大量对应；本文的新信息主要是这些等价关系在 Wasserstein map-lifted setting 下如何写，以及 MMD kernel split 如何满足 total convexity / smoothness 条件。实质创新不在“发明 DC”，而在把 DC decomposition 和 Wasserstein MMD 的 kernel geometry 对上。

Dataset / Evaluation

实验覆盖了低维形状、Gaussian / Gaussian mixture、CIFAR10 / MNIST 粒子匹配，以及 ED 和 Gaussian MMD 两类目标。它验证的核心 claim 是：在一些非凸 Wasserstein discrepancy 上，合适 DC 分解下 WCCCP 比 WGD 更稳定、更快。这个证据方向是合理的，尤其 Gaussian-kernel MMD 中粒子不再大规模漂移这一点支持了 surrogate geometry 的作用。

但 evaluation 仍有限。第一，任务都是 distribution matching / particle optimization，不是完整 downstream ML deployment。第二，WCCCP 和 WGD 的每步计算不等价，虽然作者尝试按时间或梯度评估校正，但内层 solver 的影响仍然很大。第三，实验更像证明“某些 hand-crafted decomposition 很有用”，而不是证明 WCCCP 对一般非凸 Wasserstein 目标稳健。第四，缺少系统 ablation 来分离 DC split、inner optimization budget、momentum、step size 和 kernel bandwidth 的贡献。因此 benchmark 支持方法潜力，但不完全支持普适 claim。

Limitation

核心限制是方法把原始非凸优化问题转移成了 DC decomposition 设计问题。理论需要 F+ / F− totally convex、至少一侧强凸、梯度 Lipschitz、bounded below；对 radial kernels 还常需要 compact support 或 iterates 留在 Ω 内。这些条件在真实高维粒子流里并不自动成立。

第二，exact WCCCP 理论和 inexact inner solver 实践存在明显 gap。实际每步只近似解 J(T)，而论文主收敛结论基本建立在 exact minimizer 上；如果 inner problem 解得不够好，下降、stationarity 和局部收敛都可能被破坏。文中未充分说明这一误差如何累计。

第三，分解选择极其敏感。cosh/sinh 可能数值爆炸但轨迹稳定，Jordan split 更平滑但可能陷入局部极小；这说明所谓“DC decomposition”不是形式化技巧，而是决定优化动力学的主要变量。增益来源不清：可能是 better geometry，也可能只是某个 decomposition 产生了更合适的尺度和 implicit regularization。

第四，local convergence 依赖 critical-value gap、local quadratic growth 或唯一 critical point 这类强局部假设；它不能说明从一般初始化全局收敛到 target。对 MMD 这类可能有复杂临界点结构的目标，WCCCP 仍然是更稳的局部方法，不是全局优化解法。

Takeaway

• 1. 对 Wasserstein 非凸目标，最有价值的不是再调 WGD，而是寻找能暴露 convex structure 的函数分解；DC decomposition 可以成为一种几何预条件化工具。
• 2. 对 MMD，kernel split 比在目标外部加 quadratic regularizer 更本质，因为它直接改变 interaction energy 的曲率分配。
• 3. 未来真正值得做的是自动 / adaptive DC decomposition：根据当前粒子分布、kernel bandwidth 和目标几何动态选择 split，而不是手工列几个解析分解。
• 4. 这篇论文推动的是 Wasserstein optimization 从“套用 Euclidean first-order method”走向“利用目标内部结构设计 surrogate geometry”；但它还没有解决一般非凸测度优化的全局问题。

一句话总结

这篇论文把 CCCP/DC programming 以 transport-map 和 Bregman geometry 的形式系统搬到 Wasserstein 空间，并用 kernel-level DC split 解释和改善 MMD/ED 优化，是一篇偏“结构化非凸 Wasserstein 优化”的方法论文，而不是单纯的 MMD 工程加速器。