精读笔记

Problem Setting

《Metric-Free Riemannian Optimization》（arXiv preprint / 2026-06-09）实际处理的是 expensive / implicit Riemannian metric 下的一阶流形优化开销问题。传统 RGD/RCG 把 metric 当成可随手调用的 primitive：下降条件、Wolfe 曲率条件、CG 参数、步长策略都写成 metric inner product。但在 Hamiltonian-induced metric、energy-adaptive framework、预条件几何等场景，metric application 本身可能就是昂贵线性算子或近似求解。

真正难点不是“怎么在流形上优化”，而是：如何保留 non-standard metric 带来的好搜索方向，同时不让 metric evaluation 成为 line search 和参数计算的瓶颈。以前方法卡在表达层面：许多算法写法把 first-order directional information 绑定到 metric inner product，导致实现上误以为每次都必须调用 metric。本文要拆开的正是这个绑定。

Motivation

已有 Riemannian optimization 的默认抽象是：metric、gradient、transport、retraction 都是标准 oracle。但在预条件视角下，metric 更像一个改变梯度方向的算子，而不是所有 scalar control quantity 都必须依赖的对象。作者从 Euclidean PCG 切入是合理的：PCG 本质上等价于在 M-inner product 下做 CG，但实际算法并不显式计算 v^T M w，而是用 residual 和 preconditioned residual 的组合得到所需标量。

核心观察是：对于任意 tangent vector v，⟨grad f(x), v⟩_x = Df(x)[v]。这说明很多看似 metric-dependent 的量只是被 metric notation 包装了。已有路线缺的是一套系统的重写原则，以及对哪些 Riemannian building blocks 可以这样做、哪些不能这样做的边界划分。

Core Idea

论文真正的核心思想是把 Riemannian first-order optimization 的信息流从“metric-centric”改成“differential-centric”。metric 仍然定义 gradient，因此算法没有变成 metric-independent；但一旦 gradient / search direction 已经给出，后续所有只需要 ⟨grad f, ·⟩ 的 scalar computation 都改由 Df[·] 完成。换句话说，metric 只负责产生方向，不再负责评估方向上的斜率。

这带来的本质区别是计算结构而不是数学目标的改变。prior 写法通常把 Euclidean 中压缩 inner product 次数的表达式直接搬到 manifold 上，结果引入额外 transport 和 expensive metric call。metric-free 视角反而鼓励把表达式拆回 directional derivative 的局部形式：在 x_k 处评估 Df(x_k)[d_k]，在 trial point 处评估 Df(x_trial)[transported d_k]。这更接近 line-search 本身需要的沿曲线导数，也更 scalable。

Method

1. 将 metric inner product 替换为 differential evaluation。它解决的是 line search、descent check、CG 参数中反复出现的 ⟨grad f, v⟩_x；需要它是因为这些标量在试探步上会频繁计算；核心变化是 trial point 通常不再需要 expensive gradient，只需 Df。

2. 重新选择 Riemannian generalization 的代数形式。它解决的是 naive manifold lift 可能带来不必要 vector transport 和 metric evaluation 的问题；需要它是因为 Euclidean 等价表达式在 manifold 上不再等价；核心变化是优先使用能写成 Df(x)[v] 的局部表达，而不是优先最小化 inner product 数量。

3. 将 RCG 参数和步长策略系统改写。HS、FR、PRP、DY 以及 hybrid 参数都被改写成 differential-based 形式；这不是新 CG family，而是同一类 first-order RCG 在 expensive metric 下的低成本实现。Polyak、BB、Wolfe/bracketing line search 也是同理。

4. 明确边界：second-order quantities 通常不能 metric-free。Riemannian Hessian 涉及 connection / curvature，真实依赖 metric；因此该框架主要属于 first-order line-search / CG 方法，而不是 Newton/trust-region 的通用替代。

Key Insight / Why It Works

最重要的 insight 是：在一阶优化中，metric 的作用可以被分解成两层——一层是把 covector Df 变成 vector grad f 的 Riesz map，另一层是用 inner product 计算各种标量。本文指出第二层多数是冗余的，因为这些标量本来就是 directional derivative。只要 Df oracle 便宜，后者就不需要 metric。

有效性的根源不是更好的 inductive bias，也不是新的 convergence theory，而是 computation graph pruning：删除在 line search 和 CG 参数里反复出现的 expensive metric application / inverse application。它类似 PCG 中 residual 与 preconditioned residual 的分工：M^{-1} 用来改善方向，r^T z 等 cheap scalar 用来控制算法。

最可能的核心贡献是“表达式选择”而非“算法设计”。尤其在非 isometric transport 下，不同 Riemannian lift 不再等价；metric-free 公式并不是简单替换，而是在 manifold 上选择一种更自然、更少 transport 的 formulation。这个点值得迁移：很多几何算法的代价来自把 Euclidean algebraic simplification 机械搬到 manifold，而不是来自几何本身。

哪些可能只是 engineering？实验性能增益主要来自减少 M/M^{-1} matvec 和 trial gradient computation，这是非常明确的 engineering/scaling gain。它很有价值，但不是优化路径质量提升。文中说“数学等价”时应理解为相对于特定 formulation；在 general transport/retraction 下，与常见标准实现未必逐项等价。

Relation To Prior Work

最接近的谱系有三条：第一是 Euclidean preconditioned CG，把改变 inner product 与预条件视为同一件事；第二是 Riemannian CG / line-search framework，尤其 Sato、Ring-Wirth 等关于 transport、Wolfe、sufficient descent 的工作；第三是 energy-adaptive Riemannian optimization，其中 metric application 物理上昂贵。

本文的新意不在于提出新的 CG 参数或新的 line search，而在于把 PCG 中早已存在的“不要显式用预条件 inner product”推广成 Riemannian first-order 算法的系统原则。看似新的 Finsler/Banach 部分更多是 conceptual extension：因为 Df 比 metric 更基本，所以某些 line-search 逻辑可以脱离 Riemannian metric 存在。但这部分目前更像方向提示，不是完整算法理论。

实质创新是：给出一套判断标准——只要 quantity 本质是 Df 对方向的作用，就可 metric-free；只要涉及 norm、angle、Hessian、connection，就需要额外结构或不能直接做。这种边界划分比公式表本身更重要。

Dataset / Evaluation

实验是一个 controlled numerical experiment：sphere 上的 Laplacian smallest eigenvector，配 limited-memory LDLT metric/preconditioner，用 RCG 和 Wolfe line search。这个设置非常适合验证本文 claim，因为 expensive metric 与 cheap Euclidean differential 的分离很清楚，且 M-RCG 与 M-RCG-mf 可保持同样迭代轨迹。

评估确实验证了核心点：metric-free 不改变迭代质量，却显著减少 metric / inverse metric 调用，因此 CPU 和 matvec 下降。它不是 benchmark breadth 的论文，也不需要多任务数据集。但局限也明显：只有一个问题族、一个 manifold、一个非标准 metric、一个主要算法族。它证明了“在典型 expensive metric 场景可大幅降本”，没有证明“多数 Riemannian applications 都会同等受益”。

文中未充分说明在更复杂非凸问题、adaptive metric、高误差近似 solve、不同 retraction/transport 下的稳定性。实验增益来源很清楚：不是更快收敛，而是每步更便宜。

Limitation

核心前提是 Df(x)[v] 比 ⟨grad f(x), v⟩_x 便宜，且 Riemannian gradient 仍可获得。如果 differential 本身也昂贵，或实现中只能通过 expensive metric-gradient 间接得到 Df，那么框架收益会消失。它不是消除 metric dependence，而是避免 metric application 的重复使用。

第二个限制是适用范围主要是一阶方法。Hessian、Newton direction、trust-region model、angle/norm-based globalization 中的很多量真实依赖 metric 或至少需要 norm oracle。文中对 Finsler/Banach 的讨论有启发性，但收敛理论、可计算 Finsler gradient、多值 gradient 的选择策略都未充分展开。

第三，所谓“数学等价”依赖具体表达式和 transport。Euclidean 中等价的代数式在 manifold 上可能不等价；metric-free 版本有时是在选择另一种 Riemannian generalization，而不是对既有实现逐字等价替换。这个差异在实验中不构成问题，但在理论对比中需要更清楚界定。

第四，scalability 上限取决于 expensive metric call 在总成本中的占比。如果主成本是 objective evaluation、projection/retraction、PDE solve 或 gradient solve 本身，则 metric-free 只能节省外围控制逻辑，收益可能有限。

Takeaway

• 1. Riemannian first-order 方法里很多 scalar control quantity 本质是 directional derivative，不应默认通过 metric inner product 计算。
• 2. 好 metric 可以只作为“方向生成器”存在；line search 和 CG 参数可以尽量走 cheap differential 通道。
• 这是把预条件思想从 Euclidean PCG 推广到几何优化实现层面的关键迁移。
• 3. 在 manifold 上选择公式形式比看起来更重要。

一句话总结

这篇论文把 Riemannian first-order optimization 中大量被 metric notation 掩盖的 directional-derivative 计算剥离出来，形成一种类似 PCG 的 metric-as-preconditioner 实现范式，贡献主要是计算结构重写而非新优化动力学。