精读笔记
Problem Setting
论文标题：Probabilistic Smoothing with Ratio-Monotone Transforms for Global Optimization（arXiv preprint / 2026）。
这篇论文关心的是 compact domain 上连续有界目标的 black-box / zeroth-order 全局最大化。真正的问题不是“如何估计梯度”本身，而是：在不访问 ∇f 的情况下，如何构造一个可随机优化的 surrogate，使它的驻点不是任意局部结构，而是被强制集中到原目标全局最优附近。
困难点在于 smoothing 和 global optimization 的目标天然冲突。平滑能降低局部 ruggedness，也能用 score-function estimator 做 zeroth-order 更新；但普通 smoothing 只保证找到 smoothed landscape 的 stationary point，和原始 f 的全局最优没有直接关系。Xu 2025 这类 amplified Gaussian smoothing 通过 power / exponential transform 把全局最优附近的质量放大，解决了定位问题，但代价是 θ 变大后曲率、gradient estimator variance、数值尺度都变坏。
所以关键矛盾是：要让高值区域在积分中支配低值区域，需要 amplification；但 amplification 越强，优化越不稳定。本文试图把这个矛盾从“调 θ 和 σ”转化为“设计 kernel 与 transform 的结构条件”。
Motivation
已有路线的问题不是单点失败，而是设计自由度不足。Gaussian homotopy 需要 continuation schedule，理论通常是局部的；single-loop Gaussian homotopy 降低了调度成本，但仍停留在 local stationarity；EPGS / PGS 用 transform 后再 Gaussian smoothing，第一次给了 approximate global localization，但把稳定性押在 Gaussian kernel 和强 power / exponential transform 上。
作者的核心观察是：global localization 证明真正需要的不是 Gaussian 本身，也不是 exponential 本身，而是两个更抽象的性质：kernel 在坐标方向上提供可控的单峰符号结构；transform 随 θ 增大持续扩大高值点与低值点的比值。换言之，之前方法把 sufficient condition 误当成了 necessary design。
因此缺口是一个统一框架：允许非 Gaussian、甚至重尾 kernel，同时允许比 exponential 更温和或可控的 ratio-based transform；并且在这个更大设计空间里仍能保留“所有驻点靠近全局最优”的理论结论。
Core Idea
核心思想可以概括为：不要直接优化 f，也不要只平滑 f，而是优化 E_{X~p_{μ,σ}}[g(θ,f(X)) 1_{X∈S}]。这里 μ 是要优化的位置参数，p 是对称单峰 product smoothing distribution，g 是严格单调且 ratio-monotone 的 transform。
ratio-monotone 的作用是让 f(x*) 附近的样本贡献相对任何 suboptimal 区域随 θ 增大而单调增强。对称单峰 kernel 的作用是当 μ 在 x*_i 左侧时，x* 附近质量对 ∂G/∂μ_i 的贡献为正；当 μ 在右侧时贡献为负。只要 θ 足够大，全局最优附近小 cube 的积分贡献压倒外部区域，梯度符号就把 μ 推回 x* 附近。
和 prior 的本质区别是：它没有把 global optimization guarantee 绑定到 Gaussian convolution 的解析性质，而是把证明拆成“相对权重放大”和“kernel 符号单调性”两个独立 inductive bias。这使得 kernel 可以服务于探索 / 方差控制，transform 可以服务于 localization strength，两者不再被 Gaussian-exponential 组合锁死。
Method
1. General product kernel：解决 Gaussian kernel 过窄、尾部探索不足、方差常数固定的问题。理论只要求 Fisher information 有限、二阶导总变差可控、对称单峰。核心变化是把 smoothing distribution 从默认 Gaussian 变成可设计对象；重尾 kernel 的实际意义是保留远距离采样概率，尤其在高维 benchmark 中可能改善探索。
2. Ratio-monotone transform：解决 power / exponential transform 过于特殊的问题。它保留唯一必要结构：对 a>b，g(θ,a)/g(θ,b) 随 θ 增大。这样高值区域在 expectation 中逐渐支配低值区域。注意这不是单纯 monotonic transform；普通单调只保序，ratio-monotone 负责随 θ 扩大 contrast。
3. Score-function gradient estimator：解决 black-box f 无梯度的问题。梯度写成 E[g(θ,f(X))∇_μ log p_{μ,σ}(X)]，这让方法能用于非光滑甚至模型内部不可访问的目标。代价是典型 REINFORCE 式高方差。
4. Leave-one-out baseline：解决 amplification 后 estimator 二阶矩上升的问题。每个样本用其他样本构造 baseline，保证与该样本 score 独立，因此保持 unbiased。它本质是 control variate，不改变 optimization target，只降低 second moment。
5. Anisotropic smoothing：更多是框架完整性补充。它允许每个坐标不同 σ_i，复杂度由 S_2(Σ) 控制。机制上有用，但文中并未充分展示它是主要性能来源。
Key Insight / Why It Works
这篇论文最重要的 insight 是：amplified smoothing 的全局定位能力来自“积分贡献的支配关系”，不是来自 Gaussian 的特殊闭式形式。只要 transform 能把 f(x*) 附近和外部区域的贡献比拉大，且 kernel 的位置导数在 x* 周围有稳定符号，那么 smoothed objective 的梯度方向会在坐标上指向 x* 的邻域。
证明的核心是把 ∂G/∂μ_i 分成最优点附近 cube 的主项 H 和外部 remainder R。H 的符号由 symmetric unimodal kernel 决定；R 的大小由 g(θ,V_δ) 控制。由于 D_δ>V_δ 且 g(θ,D_δ)/g(θ,V_δ) 随 θ 增大，H 最终压倒 R。这个 argument 很干净，也解释了为什么它能摆脱 Gaussian。
最可能是实质贡献的部分：ratio-monotone abstraction + product-kernel sign argument。它把 Xu 2025 的 Gaussian-specific localization 变成了一个更一般的 design principle。
更可能是辅助或 engineering 的部分：LOO baseline 和 kernel choice。LOO 是经典 control variate 思路在 score estimator 上的自然应用，理论上给出严格 second-moment 常数改善，但不是改变全局定位机制的核心。重尾 kernel 的实验收益可能相当程度来自更好的 exploration / scaling，而不是新理论本身。
复杂度 claim 需要谨慎看。表中相对 EPGS 的 d^4 到 d^2 改善看起来显著，但 bound 里有 g_*θ、g_*θ^3、I、K、σ^{-2} 等常数。对于 exponential 或 hybrid transform，g_*θ 可能非常大。也就是说，理论 rate 的维度阶改善可能被 amplification 常数吞掉。这里存在典型“asymptotic order 好看、实际常数不透明”的问题。
本质上，这不是 retrieval、memory reuse 或 representation alignment；更像是 better inductive bias + test-time compute。通过选择 sampling distribution 和 value transform，重新塑造 test-time optimization landscape。它没有学习新 representation，而是在优化过程中用概率平滑和 score estimator 重构目标几何。
Relation To Prior Work
最接近的是三条线：Gaussian homotopy / graduated non-convexity、single-loop Gaussian smoothing、以及 Xu 2025 的 amplified Gaussian smoothing。ProMoT 继承的是 Xu 的核心路线：先 transform objective value，再平滑，再做 zeroth-order ascent；不同点是把 Gaussian 和 power/exponential 从具体选择提升为满足条件的实例。
与 Gaussian homotopy 相比，它不依赖 σ 逐步减小的 continuation schedule，而依赖 θ amplification 诱导的 localization。与 SLGH 相比，它追求的不是 smoothed objective 的局部驻点，而是所有驻点被限制在全局最优邻域。与 BeS / generalized random search 相比，它同样允许非 Gaussian perturbation，但目标不是降低普通 zeroth-order variance，而是保留 global localization guarantee。
哪些看似新其实是已有思想重组：score-function estimator、baseline variance reduction、non-Gaussian smoothing 都不是新概念；LOO baseline 也是 control variate 的标准范式。真正新增的信息是把这些放进 amplified smoothing 的 global-localization proof 里，并给出 ratio-monotonicity 这一足够条件。
它属于“smoothing-based zeroth-order global optimization”的技术谱系，更准确地说是 Xu 2025 amplified smoothing 的泛化版，而不是一个全新优化范式。
Dataset / Evaluation
实验覆盖三类经典 500 维非凸函数和两个 black-box targeted adversarial attack 场景。任务范围上有 synthetic global optimization，也有现实黑盒模型攻击；这比只跑 benchmark function 更有说服力。
但 evaluation 对核心 claim 的支持是不完全的。论文想证明的是 general kernel + ratio-monotone transform 带来 robustness 和 global localization。实验确实显示 ProMoT-loo 在 MSE、扰动大小、θ 敏感性上表现更稳；但没有足够系统的 ablation 来隔离：是 kernel 变了、transform 变了、baseline 变了、还是调参预算 / scale choice 变了。
黑盒攻击实验主要支持“可用于非光滑或不可微目标”，但 adversarial attack objective 本身和 compact-domain global optimization 理论之间仍有距离。CIFAR-10 / VitalDB 的成功率和扰动指标说明实践可用，但不严格验证 stationary-point localization。
benchmark 方面，hitting time 基本集中在接近最大迭代数，说明许多方法并没有真正快速收敛，而是在固定预算内比较最终轨迹最近点。这个评价方式可能放大了 smoothing 方法在 long-horizon search 下的优势，也弱化了 query efficiency 的严肃比较。
Limitation
1. θ threshold 是理论关键但不可操作。定理说 θ 足够大后驻点进入 δ-cube，但 θ_{δ,σ,M} 依赖目标 gap、kernel mass、维度乘积常数等，实际无法估计。更糟的是，θ 大会使 g_*θ 和 g_*θ^3 出现在复杂度中，可能让理论 bound 在实际尺度上失效。
2. 唯一全局最优和 cube-neighborhood 假设较强。多全局最优、平坦最优集、边界最优点、约束域不含最优点邻域时，坐标符号 argument 不直接成立。很多真实 black-box 问题并不满足这种结构。
3. Product kernel 限制了相关结构。理论依赖坐标分解和 ℓ∞ cube 控制，这使证明可行，但也意味着 smoothing distribution 默认坐标独立。对于强相关、低维流形或旋转不变结构，product kernel 可能不是自然选择。
4. 全局定位不是全局收敛。定理说 smoothed objective 的驻点都在 x* 附近，但随机梯度 ascent 是否进入 bounded region、是否避免数值不稳定、是否在有限 budget 内到达有效驻点，仍依赖优化过程。论文把 stationary localization 和 stochastic convergence 拼接起来，但 deployment 中最难的是常数和稳定性。
5. LOO 增益来源不清。理论上 second moment 乘以 1-C/2，但 C 依赖 R^2 alignment，文中没有充分说明实际任务中这个 alignment 多大、何时为零、何时 baseline 可能无效。batch size 条件也可能较重。
6. 实验增益可能主要来自 scaling / tuning。ProMoT 使用的 hybrid transform (y+c)^β e^{θy}、大 c、β=10、不同 kernel 和不同 σ；这些 scale choices 本身会极大影响 score estimator。文中未充分说明性能提升有多少来自 ratio-monotone theory，而不是更合适的 numerical scaling。
7. 复杂度比较可能不公平。表中把 EPGS 写成 d^4/ε^2，ours 写成 d^2/ε^2，但各自常数与 transform magnitude、kernel Fisher information、σ 选择相关。若不比较实际 query complexity 和 wall-clock / variance-normalized cost，维度阶结论容易过度解读。
Takeaway
- 1. 最值得记住的是抽象：amplified smoothing 的本质条件是 ratio dominance + kernel sign regularity，而不是 Gaussian convolution。
- 本方向后续可以围绕“为目标自动选择 kernel 和 transform”展开。
- 2. 对 zeroth-order global optimization 来说，kernel 不只是估计梯度的 perturbation distribution，也是 shaping landscape 的 inductive bias。
- 重尾、低 Fisher information、anisotropic kernel 都可能成为优化几何设计的一部分。
一句话总结
这篇论文是 Xu-style amplified Gaussian smoothing 的结构化泛化：它把全局定位所需条件抽象为 ratio-monotone transform 与对称单峰 kernel 的组合，并用 LOO baseline 修补由 amplification 带来的方差问题。