精读笔记

Problem Setting

这篇论文实际解决的是“非光滑非凸投影次梯度法什么时候能收敛到全局解”的局部理论问题，而不是提出一个新的优化器。困难点在于：非凸性会产生伪驻点和鞍点，非光滑性让常规梯度流分析失效，而普通 subgradient method 又缺少 prox / splitting 方法依赖的结构。作者的切入点是：很多目标也许不是欧氏弱凸，但相对于某个 Bregman kernel 的曲率是可控的。关键矛盾是，subgradient 法足够通用但理论弱；相对几何能扩大函数类，但只有在 sharpness 和局部增长条件下才能转化为收敛。

Motivation

已有路线的不足很明确：proximal / primal-dual 方法需要可计算结构，经典 weakly convex subgradient 理论依赖欧氏二次正则，paraconvex 理论覆盖的是特定 Hölder 型非凸性。作者的核心观察是，非凸性的“单位”不必是 ||x−y||²，也可以是 D_h(y,x)。如果 h 能贴合问题几何，那么 f + ρh 的凸性比 f + ρ||x||² 的凸性更自然。真正缺口是：相对几何下是否还能得到弱凸函数的一阶刻画、calculus、无伪驻点区域，以及 subgradient 收敛率。

Core Idea

核心思想是把 weak convexity 从欧氏几何中解耦：不再问 f 加多少二次项会凸，而是问 f 加多少 kernel h 会凸。这样得到的 relative weak convexity 本质上是“用 h 吸收非凸曲率”。当 h 的局部增长与解集距离匹配时，Bregman 误差项在解集附近是高阶小量，而 sharpness 给出一阶恢复力，因此解集附近会出现一个无伪驻点的吸引区域。

和 prior 的本质区别不是算法，而是证明坐标系变了。传统分析在 Euclidean quadratic geometry 下控制非凸误差；这里用 Bregman geometry 重写一阶下界，使负曲率项变成 ρD_h。这个 inductive bias 是几何匹配：如果 h 选得好，原本不弱凸或难分析的目标可以落入可分析类。

Method

方法可以压缩成四个机制。第一，定义 relative weak convexity：f + ρh convex，用于替代凸性并推出 Bregman 型一阶下界。第二，建立 characterizations 和 calculus：说明该类函数在求和、最大、凸扰动、复合 ψ∘F 下可保持，解决理论类是否闭合的问题。第三，证明 tube 内无伪驻点：sharpness 给出 μ dist ≤ f−f*，relative weak convexity 给出 f(x)−f* ≤ ρD_h(x*,x)，local Bregman growth 再把右侧压成 ρG_h dist^{1+ν}，小半径内二者矛盾，从而排除非最优驻点。第四，分析 PSGA：归一化投影次梯度步产生 dist² 递推，不同步长策略只是在同一个递推上做不同 summability / decay 分析。

Key Insight / Why It Works

真正有效的原因是 sharpness 的一阶误差界压过了 relative weak convexity 带来的高阶局部误差。具体地，非凸性通过 ρD_h(x*,x) 进入递推；如果 D_h 在解集附近像 dist^{1+ν}，那么足够近时它比 μdist 小。于是局部景观被“凸化”：非最优驻点无法存在，subgradient 方向平均上朝向解集。

最核心贡献是这个几何误差平衡：μdist vs ρG_h dist^{1+ν}。PSGA 本身是辅助，步长定理是对该递推的展开。常数步长到阈值、ND 得到 best gap、SSN 得到 full distance convergence、GD 得到线性收敛，本质都来自同一个 inequality，而不是算法机制创新。

这不是 scaling、data coverage、retrieval 或 test-time compute 类型贡献；它是 better geometry / better inductive bias。增益来源清楚地在建模层：用 h 表达非凸曲率。但实际增益是否存在取决于能否找到合适 h。文中未充分说明 h 的构造流程，因此“更 general”主要是理论包含关系，而不是工程上自动可用。

Relation To Prior Work

最接近的路线是 Davis et al. 关于 sharp weakly convex functions 的 subgradient 收敛理论、Rahimi et al. 的 paraconvex projected subgradient，以及 Drusvyatskiy-Paquette 的 convex-composite weak convexity。本文把这些路线统一到 Bregman / relative geometry 下：Euclidean weak convexity 是 h=||·||² 的特例，paraconvex 可看成 h=||·||^{1+ν} 类似特例，convex-composite 的 smooth map remainder 被替换为 relative Bregman Jacobian smoothness。

看似新的算法部分基本不是新算法，而是已有 projected normalized subgradient 的 relative-geometry 分析。实质创新在函数类与证明框架：relative weak convexity 的刻画、composition rule、以及 sharpness + Bregman growth 导出的 saddle-free tube。它属于“弱凸优化理论的相对几何化”谱系，而不是一条新的 first-order method 设计路线。

Dataset / Evaluation

没有传统意义上的 dataset / benchmark / 实验评估。论文的 evaluation 是数学定理与 toy examples：用构造例子说明 relative weak convexity 能覆盖带鞍点、非孤立解、分段径向结构等情况；用定理证明不同步长下的局部收敛。它确实支持理论 claim，但不支持“实际大规模应用中更有效”这一类 claim。

验证范围的局限很明显：没有真实机器学习或信号处理实例展示如何选 h、如何估计 μ/ρ/G_h、如何初始化到 tube、如何与 standard subgradient 或 proximal methods 比较。因此 evidence 更像 proof-of-framework，而不是 algorithmic performance evidence。

Limitation

主要限制不是缺少实验，而是成立条件非常强。第一，sharpness error bound 是强几何假设，很多非凸学习问题没有这种线性增长。第二，局部 Bregman growth 要求 h 与解集附近几何对齐；如果 h 选错，tube 半径可能极小甚至不可用。第三，初始化必须已在 saddle-free tube 内，论文把全局寻找 basin 的问题转移给 spectral / coarse method，但没有完整理论闭环。第四，常数 L、μ、ρ、G_h 通常未知，步长上界理论上明确但实践中难用。

此外，relative weak convexity 的覆盖增益有一部分可能只是“允许自由选择 h”带来的表达力，而不是可检验结构。若 h 为了证明而后验构造，理论意义会下降。文中未充分说明哪些重要应用天然满足这些条件，增益来源在应用层仍不清。

Takeaway

• 最值得记住的是三点。
• 第一，弱凸性可以从 Euclidean quadratic geometry 推广到 Bregman geometry，许多 subgradient 分析只需要替换非凸误差度量。
• 第二，sharpness + 高阶局部 Bregman growth 是产生 saddle-free tube 和局部收敛的真正机制。
• 第三，算法不是重点；未来价值在于为具体模型找到自然 kernel h，并证明外层初始化能进入该 tube。

一句话总结

这篇论文把 sharp weakly convex subgradient theory 做成了 Bregman-relative 版本，真正贡献是相对几何下的函数类与局部收敛机制，而不是新的优化算法。