精读笔记

Problem Setting

A Riemannian Approach to Low-Rank Optimal Transport（arXiv preprint / 2026）关注的是低秩 factored coupling 形式下的 OT/GW/FGW 优化，而不是 OT 距离定义本身。问题的关键矛盾是：为了绕开 O(mn) dense coupling，必须把 coupling 限制为 rank-r latent hub 结构；但一旦这么做，优化变量 U,V 同时承载 positivity、outer marginals、latent marginal consistency 和 objective geometry，导致传统欧式或 mirror-descent 更新很难稳定高效。

已有 LOT/LR-GW/UB-LOT 的瓶颈不是表达式写不出来，而是每一步都要通过 Dykstra/Bregman projection 修复约束，而且 step size / entropy / relaxation 参数会同时影响优化路径和目标偏置。balanced 情况下，约束很硬；unbalanced 情况下，外部 marginal 被 KL penalty 放进目标，但 latent consistency 仍需维护。本文实际解决的是：如何把这些约束变成可优化的几何结构，使低秩 OT 不再依赖交替 MD 内循环。

Motivation

已有低秩 OT 方法缺的是合适的优化几何。MD 类方法虽然和 KL/entropy 有天然联系，但它把“正性 + 约束 + 目标下降”混在一个代理子问题里，导致算法表现高度依赖步长、正则强度和投影容差；更重要的是，它只能使用一阶信息，遇到 ill-conditioned 或非凸 GW/FGW landscape 时容易慢或停在差 basin。

作者的核心观察是：rank-r factored coupling 的可行域并不是任意约束集合，而是正正交域中的光滑嵌入子流形。若选 Fisher-Rao metric，positive factors 的自然几何、KL projection、mirror-style exponential step 可以统一起来。这个视角的关键缺口填补在于：把 constraint handling 从工程化 inner loop 提升为几何 primitive，并允许直接调用 Riemannian CG/TR 等成熟优化器。

Core Idea

论文真正的核心是“把低秩 OT 的因子约束流形化”。U,V 不再被看成普通非负矩阵加若干投影约束，而是位于 balanced manifold 或 unbalanced manifold 上的点；优化方向必须在 tangent space 中，更新后通过 Fisher-consistent retraction 回到 manifold。这样，正性由 Fisher-Rao/exponential step 自然保持，marginal/latent consistency 由 projector/retraction 处理。

和 prior 的本质区别是信息流重新组织了：LOT/LR-GW/UB-LOT 每次更新先做 mirror step，再靠 Dykstra/Bregman 修补可行性；本文先定义可行几何，再在该几何上做梯度/Hessian 运算。特别是 unbalanced 情况，由于 outer marginal 不再是 manifold constraint，而只进入 objective 的 Euclidean gradient，几何层只需维护 column-sum matching，因此 projector 和 retraction 变成闭式 scaling。这不是小优化，而是把 UB-LOT 的内循环结构性消掉。

Method

1. Low-rank coupling manifold：balanced manifold 强制 U1=a、V1=b、U^T1=V^T1；unbalanced manifold 只强制 U^T1=V^T1。它解决的是因子化 coupling 的可行域建模问题。核心变化是把“约束集合”变成“优化空间”。

2. Fisher-Rao product metric：内积按 ξη/U、ξη/V 加权，使小质量区域的变化被自然放大，也与 KL/Bregman geometry 对齐。它解决 positivity 和 simplex-like variables 的几何不匹配问题。Euclidean metric 在边界附近的 conditioning 会差，FR metric 更符合 OT 因子变量的尺度。

3. Projector/retraction：Riemannian gradient 必须投到 tangent space，更新后必须回到 manifold。balanced projector 需要解带 gauge redundancy 的 KKT/Schur 系统，retraction 需要 cyclic KL projection；unbalanced projector/retraction 闭式化。这是效率差异的主要来源。

4. Cost-agnostic gradient/HVP：几何算子不依赖 C、GW 或 FGW 的具体形式；换任务只换 Euclidean gradient 和 Hessian-vector product。这个设计让框架从 linear OT 迁移到 GW/FGW，而不是为每个 cost 重写 solver。

5. Rank-sufficiency certificate：对 full coupling 上凸目标，利用 dual slack R 的最小值判断 rank-r critical point 是否已是 full-rank global optimum。它不是优化主力，更像 post-hoc diagnostic 和 rank-growing signal。

Key Insight / Why It Works

最重要的 insight 是：低秩 OT 的难点不是低秩因子本身，而是因子约束与 positivity 的几何耦合。Fisher-Rao metric 正好把 positivity、KL projection、mirror step 串成同一个几何体系，因此很多看似 algorithmic 的步骤可以解释为 manifold projector/retraction。

真正有效的部分大概率是 unbalanced geometry 的解耦：outer marginal 从硬约束移到 objective penalty 后，manifold 只剩 latent consistency，导致投影和回缩均为 O(rN) 闭式 scaling。这解释了为什么 unbalanced 实验优势最大，也解释了为什么 balanced 场景优势没那么绝对——balanced 仍需 Schur solve 和 Bregman projection，问题没有完全消失，只是被更规范地处理。

二阶 HVP 是实质增强，但不是所有实验的主因。TR 在某些非凸 GW/FGW 中更好，说明 curvature 对 basin navigation 有帮助；但很多场景 SD/CG 已足够，TR 甚至更慢。因此“curvature-aware”是潜在优势，不是稳定主因。稳定主因更像 better inductive bias + constraint geometry，而不是单纯二阶优化。

regularization-free 也是重要因素，但需要谨慎归因。论文多次显示 entropic baseline 有 bias，尤其 GW 中正则过大会退化到 marginal-only coupling。因此部分性能增益来自避免 entropy bias，而不必然来自 Riemannian 方法本身更强。换言之，它同时赢在 formulation 和 optimization；两者贡献没有完全 disentangle。

rank certificate 有理论价值，但其实际作用偏诊断。由于因子保持严格正，full LP 的稀疏最优点通常在边界；文中也承认精确 δ_r ≥ 0 在有限 iterate 中罕见。因此它更像 continuous gap bound / column-generation hint，而不是常用的强认证器。

Relation To Prior Work

最接近的是 Scetbon 系列 LOT、LR-GW、UB-LOT，以及更宽泛的 factored OT / FRLC。共同点是都采用 latent hub / nonnegative low-rank coupling，将 Γ 写成 U diag(g)^{-1} V^T。不同点在于 prior 把这个参数化当成 constrained optimization problem，用 alternating mirror descent 和投影子程序求解；本文把同一参数化提升为 Fisher-Rao manifold，在其上直接做 Riemannian optimization。

看似新的部分中，exponential mirror step、KL projection、Bregman scaling 并非全新；它们来自已有 information geometry / Sinkhorn / Bregman projection 传统。实质创新在于把这些操作系统性组织成 projector、retraction、Hessian-vector product，并证明 balanced/unbalanced factored coupling spaces 是光滑嵌入流形。

相对 doubly-stochastic manifold 或 coupling matrix manifold 工作，本文的新信息是低秩 factored coupling 的几何，而不是 full coupling 的几何。相对标准 Riemannian low-rank matrix optimization，本文的难点在非负因子、共享 latent marginal 和 OT marginal constraints；Fisher-Rao metric 是比 Euclidean quotient geometry 更自然的选择。

技术谱系上，它属于“把已有低秩 OT 的 optimization layer 几何化”的工作，而不是新的 OT model。真正新增的是 unbalanced 场景下 inner loop 消失，以及 cost-agnostic Riemannian oracle。

Dataset / Evaluation

评估覆盖面比较宽：balanced linear OT、balanced GW、unbalanced OT outlier robustness、partial transport、unbalanced FGW/UGW、MNIST 小规模匹配，以及 n 到 50k 的大规模测试。它确实验证了框架的 cost-agnostic claim：同一几何层可以切换 linear/GW/FGW objective。

最有说服力的是 unbalanced 评估，因为核心 claim“闭式 projector/retraction 消除 inner loops”直接反映到 runtime 和 tuning robustness 上。UB-LOT 对 γ 敏感，且在 outlier setting 中表现不稳，这支持了作者关于 hyperparameter coupling 的批评。

balanced 评估支持程度较弱但仍有价值。Riemannian 方法迭代数显著少，但 wall-clock 有时不如 LOT，尤其低 rank 或 projection overhead 明显时。论文没有把每次 objective/HVP/projection 的耗时拆开，因此增益来源在 balanced 情况下不完全清楚。

GW/FGW 实验说明二阶/几何方法能处理非凸 cost，但不是压倒性。LR-GW 有时达到更低 cost，只是迭代多；TR 有时更好，有时慢。这里证明的是“可竞争且更快收敛”，不是“全局优化更强”。

真实世界实验偏少，MNIST 规模也小。大多数结论来自合成 Gaussian、outlier、shape-like setting；这对优化论文可以接受，但不能充分证明在真实高维应用 pipeline 中的 deployment advantage。

Limitation

第一，balanced 场景中问题被部分转移到了 Schur projection 和 KL retraction。虽然作者声称 Schur conditioning 实践中好，但这依赖 marginal 和初始化分布；在极端 sparse/peaky marginal、hub mass 接近退化时是否仍稳定，文中未充分说明。

第二，方法仍强依赖 low-rank hub 假设。若真实 coupling 是局部稀疏但全局高 rank，rank-r manifold 会产生结构性 bias。论文讨论 rank-sufficiency，但实际对非凸 GW/FGW 无全局保证，对 convex OT 的 certificate 又受 open positive parametrization 限制。

第三，second-order 的收益归因不干净。TR 在一些非凸任务中明显有用，但在不少实验中 SD/CG 已经足够甚至更快。所谓 curvature-aware 可能是辅助，不是主贡献。真正核心更像 constraint geometry + regularization-free。

第四，baseline 对比中 entropic regularization bias 放大了 Riemannian 方法优势。LOT/LR-GW 的 ε 选择会严重影响 unregularized cost；如果 baseline 使用更强 adaptive tuning 或 alternative unregularized solver，差距可能缩小。

第五，cost-agnostic 不等于 objective evaluation 免费。GW/FGW 的可扩展性仍依赖 squared-Euclidean/factored evaluation 等结构；若 cost 无法 matrix-free 或低秩计算，整体 O(rN) claim 不成立。这个上限在论文中有说明但容易被摘要化 claim 掩盖。

第六，rank-growing 没有闭环算法。negative slack 指出方向，但如何稳定增加 rank、避免重新初始化、保证 practical improvement，还没有完成。

Takeaway

• 1. 低秩 OT 的下一步不只是设计新的 factorization，而是把 factorization 的可行域几何做对；constraint handling 本身可以成为主要性能来源。
• 2. unbalanced OT 中，把 marginal relaxation 放进 objective、把 latent consistency 留给 manifold，是一个可迁移的设计模式：它把复杂投影问题拆成 penalty gradient + 简单几何约束。
• 3. Fisher-Rao metric 在正矩阵/概率因子优化中不是装饰，它直接决定 projector、retraction 和 conditioning；这类信息几何可能比 Euclidean low-rank geometry 更适合 OT-like models。
• 4. 对非凸 OT 变体，二阶信息值得保留为 optional accelerator，但不应被过度宣传为主因；更重要的是构造便宜、正确的 HVP 接口。

一句话总结

这篇论文把低秩 OT 从 mirror-descent-with-projection 路线推进到 Fisher-Rao 流形优化路线，真正贡献是把 factored coupling 的约束几何显式化，尤其在 unbalanced 场景中结构性消除了内循环。