精读笔记
Problem Setting
论文标题：A Nonmonotone Descent Method for Optimization Problems Defined by Upper-C² Functions over Submanifolds（arXiv preprint / 2026）。
这篇论文实际解决的是：在嵌入欧氏空间的光滑子流形 M 上最小化一个非光滑目标 φ，其中 φ 不要求 smooth，也不要求全局 Lipschitz-gradient 型条件，而是满足 upper-C² 等价的局部非光滑 descent lemma。核心问题不是“能不能在流形上做子梯度法”，而是能不能在非光滑 + retraction + 非单调线搜索下仍保留一个足够强的下降机制，最终证明驻点性、整列收敛和 KL 速率。
真正困难有三层：第一，upper-C² 的下降引理本来写在 ambient Euclidean space 中，流形迭代走的是 R_x(ξ)，不是 x+ξ，需要控制 retraction 的一阶误差和二阶残差；第二，非光滑目标没有唯一梯度，线搜索必须对任意可选子梯度都 well-defined，否则算法只是存在性描述；第三，非单调线搜索允许 φ(x_k) 上升，传统单调 Lyapunov 结构丢失，KL 分析需要重新构造可 telescoping 的能量。
以前方法主要卡在两边：smooth manifold optimization 依赖 Riemannian gradient Lipschitz 或 retraction-smoothness；Euclidean upper-C² 非光滑线搜索已有，但没有自然覆盖流形约束，也缺少 mean-rule 下的 KL 收敛率结论。关键矛盾是：作者想保留非光滑 upper-C² 的局部性和弱正则性，同时又想获得接近 smooth nonmonotone line-search 的强收敛理论。
Motivation
已有路线不够的地方很明确：
1. smooth Riemannian line-search 的 Lipschitz-gradient 假设太强，无法覆盖 min of smooth、某些 DC、clustering objective 这类天然非光滑目标。 2. 直接把 Euclidean nonsmooth Armijo 搬到 manifold 上会遇到 subgradient 与 tangent direction 不匹配的问题；ambient subgradient 的线性项不是流形可行方向上的 stationarity measure。 3. max-type nonmonotone rule 虽然实践常用，但理论上 reference value 的结构不够顺滑，KL 整列收敛和速率分析会变复杂。
作者的核心观察是：projectional subdifferential 正好提供了 ambient variational analysis 与 tangent-space stationarity 之间的接口；而 upper-C² 的关键不是 min-of-C² 表示本身，而是“对所有 limiting subgradient 成立的局部二次上界”。一旦这个上界能通过 retraction 转移到流形，就可以复用 line-search 框架。
关键缺口因此是：需要一个非光滑 manifold descent lemma，以及一个能在非单调场景下继续充当 Lyapunov 函数的 reference sequence。论文的 mean-rule 选择，本质上是为 KL 分析服务，而不只是为了更大的步长。
Core Idea
论文真正的核心思想可以概括为：把 upper-C² 的 ambient 局部二次模型转化为 retraction pullback 上的局部二次模型，并用 projectional subgradient 替代 Riemannian gradient。具体地，如果 φ 在 ambient space 中满足 φ(y) ≤ φ(x)+<w,y-x>+κ||y-x||²， 那么对 y=R_x(ξ)，利用 R_x(ξ)=x+ξ+O(||ξ||²)，以及 normal component 与 tangent vector 正交，可以得到 φ(R_x(ξ)) ≤ φ(x)+<w_M,ξ>+κ̃||ξ||²。 这就是整篇论文的技术铰链：非光滑 descent lemma 被搬到了流形 retraction 上。
第二个核心思想是把非单调性从“max over recent values”换成 Zhang-Hager mean-rule。原始 φ(x_k) 可以非单调，但 reference value R_k 单调下降，并且 R_k 与 φ(x_k) 收敛到同一极限。这个 R_k 是隐藏 Lyapunov 函数，负责提供 summability、步长-方向乘积消失，以及 KL 分析中的 finite length。相比 prior，这不是简单换一个 line-search trick，而是把非单调算法重新组织成“原目标非单调、代理能量单调”的结构。
Method
方法中真正必要的机制只有几项。
第一，projectional subdifferential。它解决的是非光滑 stationarity 在嵌入子流形上的定义问题。普通 ambient subgradient 包含 normal component，不能直接衡量可行下降；projectional subdifferential把 ∂(φ+δ_M) 投影/限制到 T_xM，使 0∈∂_Mφ(x) 成为流形上的驻点条件。更重要的是，它有 robustness：x_k→x、φ(x_k)→φ(x)、w_k→w 且 w_k∈∂_Mφ(x_k) 时，w∈∂_Mφ(x)。这是聚点驻点性证明的关键。
第二，upper-C² descent property on manifolds。作者证明 ambient upper-C² 加 retraction 二阶控制推出流形版下降不等式。这个步骤解决 line-search finite termination：只要方向 d 与子梯度 w_M 形成足够下降角度，小步长必然满足 Armijo-type condition。
第三，方向质量假设。要求 <w_M^k,d^k>≤-a||d^k||² 且 ||w_M^k||≤b||d^k||。这不是装饰性假设，而是把“下降量”“步长”“stationarity measure”绑定起来。没有第二个尺度条件，d_k 可能很大或很小，KL 中 dist(0,∂Φ) 与实际步长无法互相控制。
第四，mean-type nonmonotone reference。更新 R_{k+1}=(1-p_{k+1})R_k+p_{k+1}φ(x_{k+1})。它解决非单调目标值无法 telescoping 的问题。R_k 单调下降，φ(x_k) 被 R_k 上界控制且同极限，因此理论上可以把非单调方法转化为单调能量方法。
第五，KL 收敛分析。核心不是重新发明 KL，而是利用 bounded subsequence 上步长有正下界，得到 dist(0,∂Φ(x_k)) ≤ C||x_{k+1}-x_k||，再结合 mean-rule 的 reference descent 建立 finite length。
Key Insight / Why It Works
最重要的 insight 是：upper-C² 的价值不在于它是 min of C²，而在于它给了一个“任意子梯度都有效”的局部上二次模型。这一点非常关键。如果下降不等式只对某个特殊 subgradient 成立，算法每步任意选 w_M 就不 well-defined；而 upper-C² 保证 line-search 不依赖 oracle 选中某个 lucky subgradient。
第二个关键点是 projectional subdifferential 正好把 ambient inequality 中的线性项变成 tangent-space 线性项。retraction 的误差是二阶的，upper-C² 的余项也是二阶的，因此两者可以合并成 κ̃||ξ||²。这是方法成立的根本机制：流形几何只带来二阶扰动，不破坏一阶下降。
第三，mean-rule 的贡献被低估了。这里的非单调性不是为了“经验上更快”而已，而是为了构造一个稳定的分析变量 R_k。max-rule 的 reference value 是 piecewise memory maximum，难以与 KL desingularization 函数形成干净 telescoping；mean-rule 则天然给出 R_k-R_{k+1} 控制 τ_k||d_k||²。这部分是理论贡献的核心之一，尤其是在 Euclidean case 也声称是新的。
哪些部分可能只是辅助？实验中的 LBFGS、BB stepsize、problem-specific clustering direction 都更像 engineering choices。它们显著影响 runtime，但不是论文理论的本质。数值优势很可能主要来自步长初始化和问题特定方向，而不是 projectional subdifferential 框架本身。论文没有充分隔离这些因素。
这不是 scaling、retrieval 或 data coverage 类型的贡献，而是一个 variational-analysis + line-search energy design 的贡献。它引入的 inductive bias 是：把非光滑 manifold objective 当作具有局部上二次模型的对象，而不是一般 locally Lipschitz 函数。这个 bias 使得 Armijo line-search 和 KL theory 能工作，但也限制了适用范围。
Relation To Prior Work
最接近的谱系有三条。
第一条是 upper-C² / nonsmooth Armijo line-search。论文直接继承 Euclidean upper-C² descent lemma 和非光滑子梯度线搜索思想。真正新增的是把它通过 projectional subdifferential 推到 embedded submanifold，并证明 retraction 下仍有局部二次上界。
第二条是 Riemannian nonmonotone line-search，尤其 Zhang-Hager 型 mean-rule。已有工作主要针对 smooth φ，依赖 Lipschitz gradient / retraction smoothness。本文把这条线扩展到 upper-C² nonsmooth 目标，假设更弱但 stationarity 也转为 projectional limiting subdifferential 意义。
第三条是 KL-based convergence for nonmonotone methods。论文基本借鉴 Qian et al. 和 Kanzow-Lehmann proximal-gradient 类分析，但关键调整是：在 manifold setting 中先证明 bounded subsequence 上步长正下界，再建立 dist-to-subdifferential 与 step length 的关系。
看似新的地方包括 manifold clustering 应用、BB 初始步长、LBFGS 方向等，其实多数是已有优化工程组合。实质创新主要有两个：upper-C² descent property 向 submanifold 的转移；mean-rule nonsmooth subgradient method 在 KL 条件下的整列收敛和速率，且作者指出这在 Euclidean case 也可能是新结果。
Dataset / Evaluation
实验覆盖 Euclidean minimum sum-of-squares clustering、MDS，以及球面、Stiefel、Grassmann 上的聚类。这些任务选择是合理的，因为它们自然产生 min-of-smooth 或 DC-like 非光滑结构，也能展示 retraction/projection 的实际可用性。
但 evaluation 的主要作用是展示 applicability，而不是严格验证核心理论优势。理论 claim 是关于 upper-C² + projectional subdifferential + mean-rule 的收敛性；实验更多比较 monotone/nonmonotone、mean/max、subgradient/LBFGS/BB、DCA/BDCA。这里变量很多，增益来源不清。比如 clustering 中性能很大程度受初始化、problem-specific direction、BB stepsize 影响；mean-rule 的独立贡献没有被完全隔离。
真实数据包括 UCI 和文本数据，说明方法不是只在 toy setting 上跑。但 manifold clustering 部分主要是人工 Stiefel/Grassmann 数据和球面文本聚类，离大规模真实 manifold deployment 仍有距离。实验没有系统检验 upper-C² 假设边界、projectional subgradient 近似误差、或不同 retraction 对收敛和 runtime 的影响。
总体判断：实验支持“方法可用且不会明显输给已有简单 baseline”，但不足以支持“mean-rule 在实践上稳定优于 max-rule/monotone”这样的强结论。
Limitation
第一，理论依赖 embedded submanifold。projectional subdifferential 的优势正是可从 ambient space 转移性质，但这也意味着框架不直接覆盖一般抽象 Riemannian manifold，除非重新建立相应 subdifferential calculus。
第二，upper-C² 是强结构假设。虽然包含很多 min-of-smooth 和部分 DC 函数，但并不覆盖一般 locally Lipschitz nonsmooth objective。方法的核心能力来自局部上二次模型；没有这个模型，line-search finite termination 和下降估计都可能失效。
第三，projectional limiting subgradient 的可计算性是实际瓶颈。文中在应用中使用可计算的 Clarke-type 或由 sum-rule 得到的候选子梯度，并承认 projectional subdifferential 元素难算。这意味着理论 oracle 与实际实现之间有 gap。若实际 w_k 不是真正的 ∂_Mφ 元素，严格收敛结论未必适用。
第四，方向假设较强。Assumption 3.1 对 d_k 与 w_k 的角度和尺度绑定是证明的核心，但 quasi-Newton / LBFGS 在流形和非光滑情形下是否稳定满足这些条件，需要额外机制保证。论文更多是说明“若满足则可用”，不是完整解决方向构造问题。
第五，KL 收敛需要存在聚点并在聚点满足 KL。对 semi-algebraic/definable 问题这通常可接受，但论文并未系统讨论实验目标是否都满足对应 KL 条件，也没有处理无界迭代情形。
第六，数值增益归因不清。非单调 mean-rule、BB 初始步长、LBFGS、problem-specific direction、初始化策略混在一起；性能改善可能主要来自 engineering，而不是理论框架。文中未充分说明每个机制的独立贡献。
Takeaway
- 1. 最值得迁移的 insight 是：如果一个非光滑目标有“任意子梯度有效”的局部上二次模型，那么它可以像 smooth Lipschitz-gradient 目标一样支持 Armijo line-search；关键是把几何误差压到二阶。
- 2. projectional subdifferential 是 embedded manifold 上连接 ambient nonsmooth analysis 与 Riemannian optimization 的有效接口。
- 它的价值不在定义优雅，而在能把 ambient descent property 传给 tangent-space stationarity。
- 3. mean-type nonmonotonicity比 max-type 更适合 KL 分析，因为它天然产生单调 reference energy。
一句话总结
这篇论文把 upper-C² 非光滑下降引理通过 projectional subdifferential 搬到嵌入子流形，并用 Zhang-Hager mean-rule 构造可做 KL 分析的非单调子梯度法，是一篇偏理论统一而非实验驱动的 manifold nonsmooth line-search 工作。