精读笔记
Problem Setting
《Convergence analysis of the Riemannian proximal gradient method with inexact oracle》（arXiv preprint / 2026-06-25）处理的是 min_{x∈M} F(x)=f(x)+h(x) 这类流形约束下的非光滑复合优化，其中 f 可微或只给定不精确一阶 oracle，h 连续但可能非光滑。真正困难点在于：RPG 的标准分析依赖精确 grad f(x_k) 与 retraction-smooth 上界；一旦梯度本身带误差，下降性会被破坏，而流形上不同 tangent spaces 之间还需要 retraction/vector transport 处理误差传播。以前的 ManPG/RPG 主要解决“流形上的 proximal step 怎么定义和收敛”，IRPG 更偏向“子问题不精确求解”，但这篇关心的是“一阶信息本身不精确”。关键矛盾是：实际算法需要便宜/近似 oracle，而理论收敛又需要足够强的几何下降结构。
Motivation
已有路线不够的地方很明确：欧氏 inexact oracle 已经成熟，但它依赖 x-y 的线性空间结构；流形上没有全局加法，必须用 R_x(η) 和 tangent pullback 来定义模型误差。另一方面，RPG 理论虽然可处理 nonsmooth h，但通常把 grad f 当成准确输入，这与很多实际场景不一致，例如梯度来自内层优化、近邻点评估、数值近似或近似 projection。作者的核心观察是：只要 oracle 能在 retraction 曲线上给出一个带 δ||η||^q 余项的上模型，就可以把误差转化成 Lyapunov 尾项，而不是要求每步严格下降。关键缺口不是算法工程，而是一个可用于 KL 分析的、与黎曼几何兼容的误差模型。
Core Idea
论文的真正核心不是 RPG-IO 这个算法本身，而是把欧氏 q-degree inexact oracle 改写为 retraction-based oracle：f(R_x(η)) ≤ f(x)+<g_{δ,L,q}(x),η>+L/2||η||²+δ||η||^q。这个定义把“近似梯度是否足够好”从点态误差问题转成了“沿 retraction 曲线的模型上界是否成立”。这很关键，因为近端梯度分析真正需要的是 model majorization，而不是梯度误差本身。
有效性的直觉是：δ||η||^q 通过 Young inequality 被拆成 qρ/2||η||² 和 C δ^{2/(2-q)}。前者只是提高了等效 smoothness 常数，后者成为外加误差。如果 δ_k^{2/(2-q)} 可求和，那么虽然 F(x_k) 不单调，F(x_k)+A_k 单调，其中 A_k 是未来误差尾和。这是整篇论文的技术核心：用误差尾补偿非下降性，再把标准 RPG/KL 分析搬过来。和 prior 的本质差异在于，它不是只允许子问题解不准，而是允许一阶模型本身不准。
Method
第一，定义 retraction oracle。它解决的是欧氏 oracle 不能直接用于流形的问题；必要性在于所有一步分析都发生在 T_xM 上，但函数值在 M 上；核心变化是把 inexactness 嵌入 f∘R_x 的上模型。
第二，RPG-IO 仍解 tangent-space proximal 子问题，但把 grad f(x_k) 换成 g_{δ_k,L_k,q}(x_k)。这解决的是 exact gradient 不可得的问题；它没有改变 RPG 的几何结构，因此能复用 stationarity 和 retraction 的分析工具。
第三，引入 Assumption 1，将 oracle 向量和真实 Riemannian subgradient 的距离控制为 O(δ_k^{1/(2-q)})。这是从“模型误差”走向“驻点性”的桥；没有它，只能证明步长趋零，不能稳健推出聚点满足 0∈∂F。
第四，KL 分析使用增强 Lyapunov 量 F(x_k)+A_k，其中 A_k 是 oracle 误差尾和。它解决非单调性；核心变化是把传统 descent sequence 替换成 approximate descent sequence。
第五，strong oracle 加入双边不等式 0≤f(R_x(η))-[f(x)+<g,η>]≤...，用于凸型函数值速率。它本质上恢复了类似欧氏凸优化里的一阶 lower model，从而能证明 min_{k≤n} F(x_k)-F(x*) 的 O(1/k) 型界。
Key Insight / Why It Works
最重要的 insight 是：RPG 收敛并不真正需要每一步 F(x_{k+1})≤F(x_k)，需要的是一个可以抵消未来 oracle error 的下降量。A_k 的引入是核心贡献之一，它把非单调算法重新包装为单调 Lyapunov 系统。这个机制比单纯假设误差足够小更干净，因为它明确给出了误差可求和的指数 δ_k^{2/(2-q)}。
第二个关键点是 q-degree oracle 的作用。q 越接近 2，误差项 δ||η||^q 越像二次项，越容易被吸进曲率；q 较小时，对 δ_k 衰减要求更强。这里的 q 不是装饰性参数，而是控制“误差能否被几何下降吸收”的尺度指数。
第三，KL 部分的真正机制仍是有限长度性：先用 subgradient residual bound 把 dist(0,∂F(x_k)) 控制在前一步位移和 oracle error 上，再用 KL 不等式把函数值差转成位移可求和。这里新增难点来自误差尾 A_k 和 quasi-additivity assumption；但本质仍是 Attouch-Bolte-Svaiter 风格的 KL 轨迹长度证明。
我认为实质创新主要在 oracle 定义、近似下降 Lyapunov、以及把 q-degree error 与 Riemannian KL 速率耦合起来。算法本身不是主要贡献，基本是 RPG 的直接替换梯度版。strong oracle 部分更像对凸型函数值速率的理论补全，实际可用性取决于能否构造满足双边不等式的 oracle；这一点文中未充分说明。
Relation To Prior Work
最接近的是三条线：Devolder/Nesterov 的欧氏 inexact oracle，Nabou et al. 的 q-degree inexact proximal gradient，以及 Huang-Wei 的 RPG/IRPG。本文基本是在这三者之间做几何化拼接：用 RPG 的 retraction proximal step，替换欧氏位移为 tangent vector，用 q-degree oracle 描述一阶误差。
和 ManPG/RPG 的本质差异是：prior 假设一阶信息准确，主要处理流形非线性和 h 的 proximal 结构；本文把误差放在 f 的一阶模型里。和 IRPG 的差异是：IRPG 关注 subproblem 解不精确，而本文关注 oracle 本身不精确。和 Zhou et al. 的 inexact Riemannian gradient methods 相比，本文面向 composite nonsmooth proximal 结构，并给出 q-degree oracle 与 KL 速率。
看似新的 RPG-IO 算法并不新，实质上是 RPG 的 oracle 替换。真正新增信息是：什么样的 oracle 误差在 retraction 几何下仍可维持 RPG/KL 收敛，以及误差衰减率如何进入最终收敛率。
Dataset / Evaluation
这篇没有数据集或实验评估，属于纯理论论文。evaluation 是定理层面的：global convergence、stationarity、KL sequential convergence、explicit rate、strong oracle 下函数值速率。它验证的是“在给定假设下理论机制成立”，不是“实际算法在真实任务上有效”。
因此，论文没有跨场景实验、没有真实世界/真机部署、没有 benchmark 数字，也没有说明在 sparse PCA、Stiefel 优化、blind deconvolution 等应用中 oracle 构造成本如何。对于 claim“为 practical inexact oracle regime 提供理论基础”，理论上成立；但对 practical efficiency 的支持不足。增益来源也不是 empirical scaling，而是理论容忍误差的范围扩大。
Limitation
最大限制是 oracle 条件可能比表面看起来强。Definition 2 需要全 tangent direction 上的 retraction 上模型；Assumption 1 还要求近似 oracle 与真实 subgradient 的距离按 δ_k^{1/(2-q)} 控制。对于一般非凸非光滑 f，这不一定容易验证。
第二，δ_k 必须足够快衰减。KL 全序列收敛还要求 ∑[ϱ'(A_k)]^{-1}<∞；在 Łojasiewicz 形式下，δ_k=(k+2)^{-p} 的 p 下界可能很强。也就是说，理论收敛可能把难度转移到“如何越来越精确地构造 oracle”上。
第三，compactness、KL、local Lipschitz gradient、retraction/vector transport boundedness 等假设是标准但不轻。实际非紧流形或迭代逃逸场景下，结论不能直接用。
第四，strong oracle 需要 retraction-convex 和双边模型，实际适用面可能窄。函数值 O(1/k) 型速率不是非凸一般结论，而是凸型几何条件下的结果。
第五，文中没有数值实验，所以无法判断这种 oracle 模型是否带来实际 wall-clock gain。可能出现的情况是：外层允许 inexact gradient，但为了满足 δ_k 衰减，内层计算成本反而主导总复杂度。
Takeaway
- 1. 最值得迁移的是 Lyapunov 尾项技巧：当误差破坏下降性时，不必强行恢复单调下降，可以把未来误差尾和并入能量函数。
- 2. 对流形优化来说，正确的一阶误差建模应发生在 f∘R_x 的 pullback 上，而不是简单比较不同 tangent spaces 里的梯度向量。
- 3. q-degree oracle 给了一个统一尺度：误差项能否被二次下降吸收，取决于 q 和 δ_k 的耦合，而不是只看 δ_k→0。
- 4. 未来真正值得做的是总复杂度理论和可验证 oracle 构造，尤其是 stochastic / inner-solver / approximate projection 场景；否则这篇主要停留在理论闭环而非算法效率提升。
一句话总结
这篇论文把欧氏 q-degree inexact oracle 系统地几何化到 Riemannian proximal gradient 框架中，核心贡献是用误差尾 Lyapunov 机制恢复非单调 inexact RPG 的 KL 收敛理论，而不是提出一个实质上新的优化算法。