精读笔记
Problem Setting
《Singularity-aware Optimization via Randomized Geometric Probing: Towards Stable Non-smooth Optimization》（arXiv preprint / 2026）讨论的是一个实际存在但通常被优化器论文弱化的问题：现代网络的 loss landscape 并不满足 Lipschitz-smooth，ReLU、quantization、rounding、clamping、稀疏正则都会制造大量 kink 或 discontinuity-like 边界。Adam 类方法在这些位置的问题不是简单的“梯度不存在”，而是局部 limiting gradients 构成一个较大的 Clarke subdifferential，方向信号互相冲突，动量和二阶矩估计会滞后地混合这些信号，形成跨边界振荡。
这篇论文真正想解决的是：如何在不显式求 prox、不替换原始目标、不引入高成本二阶信息的情况下，让 Adam 在非光滑区域自动变保守。关键矛盾是，训练需要在 smooth basin 里保持 Adam 的快速推进，但在 singular region 里又必须降低对当前梯度方向的信任；固定 learning rate、global schedule、clipping 都无法区分“普通随机噪声”和“局部几何真的不稳定”。
Motivation
作者的出发点是已有三条路线各自卡住：proximal 方法需要可解的 prox，但深网里的非光滑性通常来自嵌套组合，不是一个干净可分离的 regularizer；随机平滑可以得到可微 surrogate，但直接优化 smoothed objective 会改变目标并带来额外方差；AdamW / clipping / warmup 这类稳定化技巧主要看梯度幅值或历史统计，缺少对局部拓扑奇异性的显式感知。
这篇论文的核心观察是：随机平滑里的 perturbation 不一定要用于生成梯度估计，它也可以作为几何诊断工具。如果在一个很小邻域内，不同随机方向的有限差分高度分散，那么当前点附近的局部方向信息不一致，优化器应该降低步长。换句话说，缺的不是另一个 smoother，而是一个 cheap local instability sensor。
Core Idea
核心思想可以概括为：用 randomized geometric probing 测局部几何是否可信，然后只调节 Adam 的步长，不动 Adam 的方向。具体来说，采样若干单位方向，计算 f(x+δu)-f(x) 的有限差分，把这些方向导数的归一化方差定义为 LGI；LGI 高表示邻域内方向响应不一致，可能对应大的 Clarke subdifferential diameter 或高 relative curvature；于是用 exp(-λρ) 缩小当前 Adam update。
这与 prior 的本质区别在于信息流的组织方式：随机扰动不再参与构造优化方向，而只提供一个 scalar gate。这个 gate 是一种 inductive bias：在局部几何不稳定时相信“小步、少动量外推”比相信“自适应预条件后的大步”更安全。它的可扩展性也来自这里——不需要 Hessian，不需要 prox，不需要改变 loss，只是多做少量 forward probe。
Method
方法层面最重要的不是算法伪代码，而是三个机制选择。
第一，LGI 用方向有限差分的方差，而不是梯度范数或 batch gradient variance。它试图区分“梯度大”与“局部方向不一致”：前者未必危险，后者才对应跨 kink / quantization boundary 的 chattering 风险。归一化分母用二阶矩加 ε，使 ρ 有界且尺度相对稳定。
第二，damping 采用 exp(-λρ)。这带来两个效果：ρ 接近 0 时退化为 Adam；ρ 高时步长指数式缩小；同时由于 ρ<1，刹车不会完全停住。这个 non-degeneracy 对理论证明很关键，因为如果 α 可以到 0，differential inclusion 的下降性会断掉。
第三，S-Adam 保留 Adam 的 m / v 预条件方向，只把 η_t 变成 η_t exp(-λρ_t)。这避免了随机平滑 optimizer 的目标偏移，也让它更像一个 geometry-aware learning-rate controller，而不是新的一阶 oracle。文中把它解释成近似动态 proximal regularization，但这个联系主要是解释性而非算法必要条件。
Key Insight / Why It Works
最核心的有效性来自“把非光滑性变成步长信号”而不是“把非光滑性抹平”。在非光滑区域，Adam 的问题常常不是方向完全错，而是步子对局部几何过于自信：momentum 会把来自不同 smooth pieces 的梯度平均，v_t 又滞后于突变的局部曲率/方向结构，导致参数在边界两侧来回穿越。S-Adam 的 damping 本质上降低了这种跨边界穿越频率，让动量缓冲有机会在局部稳定下来。
我认为真正的贡献是 LGI 作为一个低成本 instability proxy，而不是 convergence theorem。理论里的 differential inclusion 框架是合理语言，但关键假设很强，尤其是 moment estimator consistency 和 descent-alignment，基本把 Adam 方向的下降性作为条件放进去了。证明说明“如果这个 scalar brake 不杀死下降方向，收敛性不会变坏”，但没有完全证明 LGI 精确估计了真实 Clarke diameter，也没有证明真实深网训练中 chattering 的主因就是该 diameter。
也要警惕：部分增益可能只是更好的 adaptive step-size shrinkage。尤其在小 batch 实验中，LGI 的有限差分方差可能混入 stochastic noise、loss scale、batch composition 差异，而不纯是几何奇异。换言之，方法也许确实有效，但有效原因可能更接近“local trust-region / conservative update regularization”，而不是严格意义上的“Clarke subdifferential diameter estimation”。不过这不削弱实用 insight：函数值扰动统计能提供 Adam 梯度统计之外的稳定性信号。
Relation To Prior Work
它最接近四条谱系：随机平滑、trust-region / line-search、proximal damping、以及 Adam 稳定化技巧。与随机平滑的差别是它不使用 smoothed gradient；与 SAM 的差别是它不找 adversarial perturbation，也不优化邻域 worst-case loss，而是估计邻域方向响应的方差；与 proximal 方法的差别是它不要求显式 prox，只用 scalar damping 近似动态正则；与 clipping/warmup 的差别是触发条件不是梯度幅值或训练阶段，而是局部 probing 得到的几何不稳定性。
看似新的地方有一部分是已有思想的重组：exp damping 类似 trust-region 的半径收缩，有限差分类似 zeroth-order probing，动态正则类似 proximal interpretation。但实质创新在于把这些组合成一个“只诊断、不替代梯度”的 optimizer pattern。这个 pattern 比具体的 S-Adam 更值得关注：额外 oracle 不一定要给方向，也可以给控制信号。
Dataset / Evaluation
实验覆盖了 QAT 和小 batch noisy training，基本对准论文 claim：这些场景确实更容易出现非光滑边界和梯度不稳定。消融中 k=1、λ=0、过小 δ 的退化支持了 LGI 和 damping 是主要机制之一，而不是纯粹调参。k=2 接近 k=8 的结果也说明该信号可能很粗糙但足够有用。
但 evaluation 仍有明显限制。第一，QAT 的 ImageNet 绝对精度很低，更多像 stress test，不像成熟训练 recipe 下的真实部署验证。第二，baseline 覆盖偏窄，缺少 Lion、Adafactor、SAM/ASAM、Sophia 类或更强的 schedule/clipping 组合。第三，报告 best accuracy across epochs，而 baseline 后期 collapse，这会引入训练稳定性之外的选择偏差；如果所有方法都做 early stopping / tuned schedule，增益幅度可能变化。第四，文中没有充分说明 LGI 时间序列是否真的与可视化的 singular crossing、quantization boundary 或 Clarke-like diameter 对齐，因此核心机制证据还不够闭环。
Limitation
最大限制是 LGI 的语义并不干净。有限差分方差同时受非光滑性、曲率、梯度方向、函数尺度、batch noise、δ 尺度影响；把它直接解释为 Clarke subdifferential diameter estimator 有一定跳跃。尤其在高维深网中，随机方向大多近似正交于结构化低维奇异边界，少量 k 是否能稳定探测到真正危险方向，文中未充分说明。
第二，scalability 上限不清楚。k 次额外 forward 在小 CNN / ResNet stress test 中可接受，但对大模型训练、长序列 Transformer、RL 或 diffusion 训练会非常贵。论文声称 k=2 低成本，但这依赖 forward 成本、batch 构造、是否能复用激活等工程条件；可能主要来自小规模设置下的 overhead 可控。
第三，理论保证的实质较弱。bounded iterates、moment consistency、descent alignment 都不是 Adam 在非凸非光滑深网中自然成立的结论，而是分析所需的强假设。所谓 optimal rate 也更像继承 stochastic nonsmooth optimization 的标准结论，不是 S-Adam 特有的强结果。
第四，增益归因不完全清晰。S-Adam 可能只是实现了一个 data-dependent learning-rate decay / trust-region effect，而非真正识别 singularity。若与强 tuned cosine schedule、gradient clipping、loss-aware LR、SAM-like perturbation 或 layer-wise damping 比较，优势是否仍然成立需要进一步验证。
Takeaway
- 1. 最值得迁移的 insight 是：随机扰动可以作为优化状态诊断，而不是梯度替代；函数值 probe 产生的 scalar control signal 可能比 zeroth-order gradient 更实用。
- 2. 对非光滑训练，关键不一定是设计更精确的 subgradient，而是控制 optimizer 对局部方向的信任度；在 singular region 降低步长可能比 smoothing objective 更少改变最终解。
- 3. 未来更有价值的方向可能是 layer-wise / block-wise LGI、δ 自适应、与 clipping / schedule / trust-region 的统一，以及证明 LGI 与实际 boundary crossing 或 generalization gap 的可测相关性。
- 4. 这篇论文推动的是 optimizer 从“梯度统计自适应”走向“局部几何状态自适应”，但目前证据还停留在 stress benchmarks，距离大规模训练默认优化器仍有距离。
一句话总结
这篇论文把随机有限差分从 smoothing gradient 改造成非光滑几何探针，并用其控制 Adam 步长，是一种有启发性的 geometry-aware adaptive damping 方法；真正贡献在机制重组和优化信号设计，理论与大规模泛化仍需更强验证。