精读笔记
Problem Setting
这篇论文实际处理的是“经验 OT loss 的一阶信息是否统计一致”这个问题，而不是 OT value 的一致性。目标形如 θ ↦ Tc((fθ)#µ,(gθ)#ν)，训练中替换为经验分布或 sliced empirical approximation，然后用排序、matching 或自动微分得到 subgradient oracle。
困难点在于 OT objective 有两层非光滑：一层来自 optimal plan/matching 的切换，另一层来自模型和 cost 对 θ 的复合。即使 empirical transport value 收敛，subgradient graph 也可能不收敛；更严重的是，经验目标可能出现 population 目标没有的临界点。以前的统计 OT 理论主要关心数值收敛，优化理论又通常把经验 subgradient 当作给定 oracle，两者之间缺少连接。
关键矛盾是：实践中 exact OT/sliced OT 的 tractability 来自排序和离散 matching，但这些机制恰恰会制造不稳定的一阶信息。论文要证明的是，在可微 unit cost 和光滑参数化下，这种不稳定性可以被 optimal-plan stability 控制住；否则就会失败。
Motivation
已有路线不够的地方很明确：value convergence 不能推出 stationary point convergence；entropic OT 的 differentiability 也不能解释 exact sorting-based OT loss；一般 nonsmooth analysis 的 Attouch/graphical convergence 定理又过于黑盒，没有利用 OT plan 的结构。
作者的核心观察是，empirical OT training 的真实对象不是一个平滑统计泛函，而是一个 set-valued first-order oracle。要讨论 subgradient method 是否逼近 population stationarity，必须直接研究 ∂Tn,m ⇒ ∂T 的图收敛，而不是只看 Tn,m → T。
关键缺口是：当 optimal matching 非唯一、样本排序随 θ 改变、且目标只 locally Lipschitz 时，经验 subgradient 的极限对象到底是不是 population Clarke subdifferential。本文给出的答案是：在 θ 方向可微且有统一可积控制时是；在 W1/非光滑模型中一般不是。
Core Idea
核心思想是把“parameterized pushforward OT 的 subgradient”改写成“sample-space optimal plans 上的 cost-gradient average”。通过 lift lemma，Tc((fθ)#µ,(gθ)#ν) 等价于在 Π(µ,ν) 上最小化 ∫C(θ,x,y)dγ，其中 C(θ,x,y)=c(f(θ,x),g(θ,y))。这样 θ 的导数只作用在 C 上，而不是作用在随 θ 变化的测度空间上。
这个重写改变了问题的建模方式：不再追踪 pushforward distribution 的微分结构，而是追踪 optimal coupling set 的稳定性。subgradient set 变成 {∫∇θC dγ : γ optimal}。经验到总体的收敛因此依赖两件事：经验 coupling/optimal plan 的弱极限仍 optimal；∇θC 对这些 plan 的积分连续。这个组织方式比直接处理排序公式更 general，也比依赖 entropic regularization 更贴近 exact OT。
和 prior 的本质区别在于：它不是通过 smoothing 让 OT 可微，而是接受 exact OT 的非光滑性，并证明其 Clarke subdifferential graph 在统计极限下稳定。inductive bias 可以理解为“光滑参数化 + 可积增长”把所有不稳定性限制在 optimal plan set 内，而 optimal plan set 本身具有弱拓扑稳定性。
Method
1）Lift 到原始样本空间：解决 pushforward 分布随 θ 变化导致的微分困难。它把目标变成固定边缘 µ,ν 上的参数化 cost OT，使得 θ-dependence 完全集中在 C(θ,x,y)。核心变化是把 distributional derivative 问题转为 parametric optimization 问题。
2）Optimal plan 的参数稳定性：解决 matching 非唯一和样本分布扰动的问题。作者用 coupling map 连续性、Berge maximum theorem 和 uniform integrability 证明：θk→θ、µn→µ、νm→ν 时，optimal value 收敛，optimal plans 的弱聚点仍是 population optimal。没有这一步，subgradient graph 没有理由闭合。
3）Envelope/Danskin 公式：解决 subgradient 如何计算的问题。在 C 和 ∇θC 满足连续与可积条件时，Clarke subdifferential 等于 optimal plans 上 ∇θC 的积分集合。这个公式是整篇论文的枢纽，因为它把一阶 oracle 的极限归约为 set-valued integral 的极限。
4）Graphical convergence of set-valued integrals：解决 set-valued subgradient 的收敛表述问题。作者不是证明单个 gradient 收敛，而是证明 Graph ∂Tn,m 的 excess distance 收敛到 Graph ∂T。这正好对应 nonsmooth optimization 中临界点稳定性。
5）应用到排序型任务：spectral risk、fairness regularizer、sliced Wasserstein 都被归入同一机制。这里的重点不是新算法，而是说明常见“through sorting differentiation”的 oracle 在光滑设定下确实是可靠的一阶近似。
Key Insight / Why It Works
最核心的 insight 是：经验 OT subgradient 的稳定性并不来自排序公式本身，而来自 optimal plan set 的闭性与 ∇θC 积分的连续性。排序只是 1D 情况下计算 optimal plan 的工程表示；真正的数学对象是 optimal couplings 的 set-valued map。
论文有效的关键前提是 θ 方向光滑。只要 C 可微且 ∇θC 连续、可积，matching 的突变不会导致导数爆炸，因为所有可能的 matching 都被 Clarke convexification 和 optimal-plan integral 集合吸收。换句话说，非唯一最优匹配带来的不确定性被编码进 subdifferential set，而不是被错误地当成单值 gradient。
最可能的核心贡献是 Lemma/Proposition 链条：lift → parametric OT stability → envelope formula → graphical convergence。应用部分更多是展示框架覆盖范围，不是实质创新。unequal sample size 的 1D formula 有实用价值，但属于辅助工具。
这不是 scaling、retrieval、data coverage 或 test-time compute 的论文；它的贡献是 first-order statistical consistency 的结构性刻画。若要类比机器学习中的机制，它更像是 representation alignment：把 empirical oracle 与 population stationarity 放到同一个 set-valued graph 中对齐。
Section 5 的反例非常关键：W1 + ReLU 中经验右导数极限可以落在 population Clarke subdifferential 之外，并导致 spurious local minima。这说明 smoothness assumption 不是证明技术松弛，而是问题本身的边界。对于实践中的 ReLU 网络和 W1 loss，这篇的正向定理不能直接背书；相反，它提示这些场景中的 autodiff gradient 可能没有经典 subdifferential 一致性。
Relation To Prior Work
最接近的路线有三类：统计 OT value convergence、OT differentiability/regularized OT gradient、以及 variational analysis 中的 graphical convergence/subdifferential convergence。
和统计 OT 工作相比，本文把关注点从 Tc(µn,νm)→Tc(µ,ν) 推进到 ∂Tc,n,m ⇒ ∂Tc。这个差异是本质的，因为 stationarity 不由 value convergence 保证。
和 entropic/Sinkhorn differentiability 路线相比，本文不靠 regularization 获得单值光滑 gradient，而是在 exact OT 下保留 nonsmooth set-valued structure。这使结论更贴近排序型 exact 1D OT 和 sliced OT，但也牺牲了对 W1/非光滑模型的覆盖。
和一般 Attouch/Zolezzi/Clarke 型理论相比，本文的新信息在于显式利用 OT plan stability 给出 subgradient graph convergence，而不是把目标函数收敛和正则性假设作为黑盒。严格说，一些最后步骤可能可由一般 semidifferentiability/subdifferential convergence 理论恢复；实质新增是把这些条件翻译成 OT learning 中可检查的 cost/model/moment assumptions。
应用到 spectral risk、fairness 和 sliced Wasserstein 的部分，看似跨多个任务，本质上都是一维排序 OT 或其积分版本的重组。新意不在这些任务本身，而在统一说明 sorting-based empirical gradient oracle 何时有 population-level first-order meaning。
Dataset / Evaluation
这篇论文不是经验 benchmark 驱动，evaluation 主要是理论例子和 toy counterexamples。任务覆盖 spectral risk minimization、fair learning、sliced Wasserstein learning，覆盖面足以说明框架能解释若干常见 OT-based learning losses，但并没有真实世界训练实验或大规模深网验证。
从验证 claim 的角度看，这样的 evaluation 是合理的：论文 claim 是 subgradient graphical convergence，而不是性能提升。真正支持核心 claim 的不是应用例子，而是 Section 5 的失败案例。反例证明如果去掉光滑性，经验一阶 oracle 可能出现稳定偏差和 spurious criticality，这直接验证了定理假设的必要性。
但如果读者关心实践部署，文中没有回答 mini-batch SGD 在非渐近有限样本下的行为，也没有展示真实 ReLU 网络、W1 loss、sliced Wasserstein generator training 中的现象。benchmark 层面对实际训练稳定性的支持有限，增益来源也不是实验可归因的问题。
Limitation
第一，适用范围避开了很多实践中最常见的非光滑组合：W1 cost、absolute-value cost、ReLU/hinge 型模型。论文反例甚至表明这些场景下经典 Clarke subdifferential convergence 可能错误，因此正向结论不能被泛化解读。
第二，结论是 qualitative/asymptotic 的 graphical inclusion，没有 finite-sample rate。对于优化算法而言，只知道 empirical critical set eventually 接近 population critical set，不等于知道在有限样本、有限步数、随机 mini-batch 下会发生什么。
第三，参数集紧性、moment 条件、joint continuity off null sets 都是强假设。它们在数学上自然，但深度学习中的 unbounded parameters、batchnorm/dropout、piecewise-linear networks 很难直接满足。
第四，sliced cost 的处理相对保守。方向采样和数据采样的联合极限没有被完全锐化，定理中的阈值顺序反映出证明技术还没有给出统一、简洁的三重经验过程控制。文中未充分说明这些条件是否可放宽到常见固定 k 或 k 与 n 同阶增长的训练 regime。
第五，方法没有解决 nonsmooth OT 的正确一阶极限对象。论文指出 objective-decoupled gradient models 可能是方向，但没有给出完整理论。换言之，它把 exact smooth-cost OT 的一致性讲清楚了，同时也暴露出 W1/ReLU 场景需要另一套语言。
Takeaway
- 1）OT learning 中真正需要验证的不是 empirical transport value 是否收敛，而是 empirical first-order oracle 是否 graphically converges；否则 subgradient method 的 population stationarity 没有依据。
- 2）光滑 unit cost 与光滑参数化是稳定 empirical subgradient 的核心 inductive bias。
- 它们不是为了方便求导，而是为了让 optimal matching 的不连续性能被 Clarke subdifferential 正确吸收。
- 3）排序公式只是计算手段，不能自动保证梯度一致性。
一句话总结
这篇论文在 OT-based learning 理论中把关注点从 transport value consistency 推进到 exact empirical OT subgradient 的 graphical consistency，并清楚划出了 smooth-cost 情形可成立、W1/非光滑模型情形会失败的边界。