精读笔记

Problem Setting

《Specular gradient methods for nonsmooth convex optimization in Euclidean spaces: a subgradient selection strategy》（arXiv preprint / 2026）关注的是欧氏空间中的无约束非光滑凸优化，但真正问题不是“如何做凸优化”，而是“在 subdifferential 是集合的地方，如何系统地选一个可计算、可证明合法、数值上不太坏的 subgradient”。

经典 subgradient method 的理论很宽松：只要每步取 s_k ∈ ∂f(x_k)，基本收敛论证就成立。但这也正是实践困难：理论不告诉你选哪个 s_k。对 L1、max、piecewise-linear/quadratic 一类目标，不同 subgradient selection 会导致完全不同的轨迹；自动微分框架通常在不可微点给出某个实现相关的 convention，BFGS/Adam/GD 又默认光滑结构，可能在 kink 或强非光滑正则下出现不稳定或停在不合适方向。

所以本文的关键矛盾是：SG 理论需要一个合法 subgradient，而实际计算希望避免显式构造整个 subdifferential；作者试图用 specular differentiation 给出一个 canonical selection rule。换句话说，它不是在优化理论复杂度上挑战 Nesterov/Shor，而是在 subgradient selection 这一被传统理论弱化但实际很关键的环节上插入一个新的几何偏置。

Motivation

已有路线的问题不在于没有收敛定理，而在于 subgradient method 的“任取一个 subgradient”太抽象。对许多非光滑凸目标，显式求 ∂f(x) 可能不便宜；即使容易求，选择策略也往往是 ad hoc 的。proximal/bundle 方法更稳，但引入了子问题、模型维护或 prox 结构假设；普通 GD/Adam/BFGS 则更偏光滑世界，在非光滑点的行为缺乏几何控制。

作者的核心观察是：specular derivative 通过左右一阶差商的 angular mean，在不可微点自然产生一个介于两侧导数之间的量。对凸函数而言，只要这个 specular gradient 能被证明落在 subdifferential 内，它就能无缝替换 SG 中的 s_k。这样，非光滑点不再需要枚举 subdifferential，而是由左右局部几何直接给出一个特定元素。

关键缺口是理论合法性：specular gradient 作为 generalized derivative 是否真的是 classical convex subgradient？本文最核心的定理就是填这个缺口。算法部分基本是这个定理的直接后果。

Core Idea

论文真正的核心不是三种算法，而是一个 subgradient selection principle：用 specular gradient 代替任意 subgradient。specular derivative 不是简单平均左右导数，而是把图像两侧切向量的长度纳入权重，形成一种 angular mean。直觉上，它避免完全偏向左/右导数，也不同于 minimal-norm subgradient 那类全局集合投影，而是在局部双侧几何中选出一个“镜面/角平分”方向。

理论上它可能有效的原因很直接：对凸函数，一侧方向导数界定了 subgradient 支撑超平面的斜率范围；specular derivative 被证明夹在左右方向导数之间，并进一步诱导出满足 subgradient inequality 的向量。因此，优化算法层面不需要新证明，只要把 specular gradient 当作合法 subgradient，标准 SG 递推就成立。

和 prior 的本质区别在于：prior 通常把 subgradient 视为可任选的集合元素，或者用 prox/bundle 对非光滑性建模；本文把“选择哪个 subgradient”提升为核心建模对象。它引入的 inductive bias 是局部双侧几何对称性，而不是更大 batch、更复杂 optimizer 或更强二阶模型。

Method

SPEG：解决的是 deterministic subgradient selection。每步计算 full objective 的 specular gradient，并用归一化/递减步长更新。它的必要性在于提供一个完全由目标局部几何决定的方向；核心变化是把 SG 中任意 s_k ∈ ∂f(x_k) 替换成一个 canonical candidate。它并不改变 SG 的一阶递推结构。

S-SPEG：解决的是 full specular gradient 成本问题，尤其当 f = (1/m)∑ f_j 时。它随机抽取 component，使用该 component 的 specular gradient。机制上等价于 stochastic subgradient method 的 specular 版本，核心要求是条件期望方向仍对应 full objective 的 specular gradient / subgradient。这里的增益主要是计算成本下降，不是理论性质增强。

H-SPEG：解决的是 full SPEG 前期轨迹好但成本高、S-SPEG 便宜但不够稳的问题。先跑若干步 SPEG 再切换到 S-SPEG，本质上是 warm-start + stochastic cheap updates。这个部分更像 engineering heuristic；理论并未给出比 SPEG/S-SPEG 更本质的保证。

收敛证明：核心只依赖 Theorem 2.3，即 specular gradient ∈ ∂f。之后的 Lemma 4.1、Theorem 4.3、Theorem 4.6 基本沿用标准 subgradient / stochastic subgradient 的距离递推：||x_{k+1}-x*||² 展开，利用 subgradient inequality 控制下降项，再用 square-summable but non-summable step sizes 得到收敛。

Key Insight / Why It Works

最重要的 insight 是：非光滑凸优化中，算法失败常常不是因为没有一阶信息，而是因为在 kink 附近的一阶信息是集合值的，selection policy 会改变轨迹。specular gradient 给了一个几何上稳定的 selection policy。它的有效性来自“合法 subgradient + 对称双侧局部信息”的组合，而不是来自更强的优化理论。

核心贡献最可能是 Theorem 2.3：在凸且 specularly Fréchet differentiable 条件下，specular gradient 属于 classical subdifferential。这个定理一旦成立，后续算法都只是标准 SG machinery 的实例化。换句话说，论文真正推动的是 generalized differentiation 与 convex subgradient calculus 的连接，而不是 optimizer design 本身。

可能真正带来实验收益的部分有三类：第一，specular selection 在 L1 kink 处可能比某些自动微分 convention 更合适；第二，步长 h_k = t_k / ||g_k|| 实际把每步位移长度控制为 t_k，这本身就是强 normalization，可能显著影响稳定性；第三，在大 λ1 的 Elastic Net 中，最优点附近大量坐标处于 kink，selection bias 会被放大。因此实验增益未必能归因到“specular geometry”本身，可能有相当部分来自 normalized subgradient step 和 baseline 非光滑处理不足。

S-SPEG/H-SPEG 的收益更像计算层面的 trade-off。S-SPEG 降低每步成本，但理论只给 best-so-far objective 的 expectation/probability 收敛，不给 iterate 收敛；H-SPEG 的早期 full update 后切 stochastic，本质是 warm-start，不是新的优化机制。

需要直接指出：本文没有证明 specular method 优于 classical subgradient method 的复杂度；也没有证明 specular selection 在一般凸问题中比其他 selection rule 更好。它证明的是“这个 selection 合法且在一些合成非光滑场景中有用”。这是一个合理但有限的贡献。

Relation To Prior Work

最接近的谱系是 Shor/Rockafellar/Nesterov/Ruszczynski 风格的 subgradient methods，以及 Clarke/Mordukhovich/Rockafellar 的 generalized differentiation / convex analysis。算法形式几乎完全属于 standard subgradient method；新增的是 subgradient selection rule。

相对 classical SG：SG 理论说任取 s ∈ ∂f(x)，本文说取 specular gradient。真正不同点不是递推，而是方向选择的来源：从集合值 subdifferential 的外部选择，变成由双侧差商的 angular mean 内生生成。

相对 proximal / bundle methods：prox/bundle 明确建模非光滑结构，通过 prox 子问题或 cutting planes 获得更稳轨迹；本文不构造模型，也不解子问题，只替换方向。因此它更轻量，但理论上也更弱，不能期待 bundle/prox 那类鲁棒性或复杂度。

相对 Adam/GD/BFGS：这些方法主要面向光滑或自动微分可处理的目标，在非光滑点依赖实现细节或近似梯度。本文实质创新在于给不可微点一个可证明属于 subdifferential 的方向，而不是把非光滑性当噪声处理。

看似新的三算法中，SPEG 是实质载体；S-SPEG 是 stochastic subgradient 的直接套用；H-SPEG 是工程组合。真正新增的信息集中在 specular gradient 与 convex subgradient 的关系。

Dataset / Evaluation

evaluation 主要是 Elastic Net 合成实验，覆盖不同 m/n 和 λ1、λ2 设置。任务选择合理，因为 Elastic Net 同时含 smooth quadratic 与 nonsmooth L1，能直接测试 kink 处 direction selection。但覆盖范围仍然窄：没有真实工业问题、没有大规模稀疏数据、没有结构化 nonsmooth objectives 如 max-margin、hinge loss、TV regularization、robust losses，也没有 constrained/proximal 场景。

实验支持的 claim 是有限的：在部分强非光滑、m > n、λ1 大的合成场景中，specular 方法比 GD/Adam/BFGS 更稳，且 S-SPEG/H-SPEG 在时间上比 full SPEG 更可接受。它并没有充分验证“classical methods fail”这一说法的普遍性，因为 classical baselines 的非光滑处理、step-size tuning、subgradient baseline、proximal-gradient / coordinate descent / L-BFGS-B / OWL-QN 等更合适比较对象缺失。

尤其 Elastic Net 有非常成熟的 solver。若只与 GD/Adam/BFGS 比，容易高估贡献。对 L1 正则问题，不比较 proximal gradient / FISTA / coordinate descent，是 evaluation 的明显短板。

表格中 BFGS 有 median 很好但 mean 很差的情况，说明失败模式存在，但也提示评价应报告 failure rate、termination reason、wall-clock 与 objective gap，而不只是 best-found objective。当前证据更像展示“specular selection 有潜力”，还不足以证明它是实际 Elastic Net 优化的强替代方案。

Limitation

第一，理论前提偏强。关键定理要求 convex 且 specularly Fréchet differentiable。一般 proper closed convex function 是否满足、在哪些点满足、如何验证，文中未充分说明。作者也承认放松该假设需要更强的 Rademacher 型结果。这意味着方法的理论覆盖面小于普通 convex subgradient calculus。

第二，算法没有突破 SG 的复杂度上限。SPEG 仍是 sublinear behavior，且不保证 ||specular gradient|| → 0。对非光滑凸优化，这不是缺陷，但说明它不是更强的一阶优化器，只是一个 selection strategy。

第三，计算成本可能很高。specular partial derivative 需要双侧函数评估；高维 full SPEG 可能比普通 subgradient/gradient 昂贵。S-SPEG/H-SPEG 只是把成本转为 stochastic approximation，并没有消除 specular derivative 本身的 per-coordinate / per-component 代价。

第四，随机版本理论有不清楚之处。定义中要求 E[▽^ f_{ξ_k}(x_k)|x_k] = ▽^ f(x_k)，但 specular gradient 是否对求和线性、在什么条件下成立，需要更明确说明。若 ξ uniform 且 specular gradient 与 finite sum 交换不成立，则 unbiasedness 不是自动的。文中这一点未充分展开。

第五，实验归因不清。性能提升可能来自 normalized step size、对 L1 kink 的特殊 convention、baseline 调参不足，或大 λ1 使最优解接近零导致 specular selection 更有利。不能排除这是特定目标和参数 regime 下的 engineering/scaling 现象。

第六，缺少与真正强 baseline 的比较。Elastic Net 应该比较 proximal gradient、coordinate descent、LARS/GLMNET 类方法、OWL-QN 或至少标准 subgradient with different selections。否则“classical methods fail”的结论偏弱。

Takeaway

• 1. 这篇论文最值得记住的是：subgradient method 的一个被低估自由度是 subgradient selection；specular differentiation 给出了一个几何上自然且可证明合法的 selection rule。
• 2. 真正贡献在 convex analysis 接口：证明 specular gradient 可嵌入 classical subdifferential。
• 算法部分主要是标准 SG/SSG 的再实例化。
• 3. 可迁移 insight：在非光滑优化中，与其盲目平滑或依赖 autodiff convention，不如设计具有几何含义的 kink selection policy；这可能对 L1、max、piecewise models、robust losses 都有价值。

一句话总结

这篇论文把 specular differentiation 变成了一种可证明合法的 convex subgradient selection strategy，贡献主要在非光滑点方向选择的几何偏置，而不是在优化收敛率或算法框架上超越经典 subgradient method。