精读笔记

Problem Setting

论文标题：Diagonal Hessian Approximation Based on Conjugacy Condition for Noisy Derivative-Free Optimization Problems in High Dimensions（arXiv preprint / 2026-06-19）。这篇论文实际解决的不是一般 DFO，也不是重新发明 MAES，而是高维 noisy DFO 中的 scaling 退化问题：只看函数值，且函数值排序在高噪声下会错，导致 selection/recombination 产生的几何信号不可靠。以前路线有两个极端：finite-difference / interpolation / diagonal quasi-Newton 需要一阶或差分信息，噪声下会放大误差；CMAES/MAES/LMMAES 不需要梯度，但 covariance 或 affine scaling 仍由 noisy ranking 间接驱动，高维下又贵又容易学到错误结构。关键矛盾是：要利用搜索轨迹中的几何信息，但又不能让不可靠的 noisy ranking 过度控制高自由度矩阵。

Motivation

已有路线不够的地方在于，它们要么试图从 noisy values 中恢复 derivative/model，要么试图从 noisy selected samples 中学习较丰富的 covariance。作者的核心观察是：在高噪声 regime，full/limited-memory matrix adaptation 的表达能力反而可能成为风险源，因为错误 ranking 会被放大成 dense scaling 更新。真正缺的是一种低自由度、强正则、derivative-free 的 curvature surrogate：它只吸收算法已经产生的方向信息，而不是额外构造不稳定的梯度估计。为什么会想到 conjugacy：在 quadratic/CG/quasi-Newton 谱系里，共轭性是比 secant equation 更偏“方向几何”的约束，而方向在 DFO 中天然可得；因此可以用它替代 gradient displacement。

Core Idea

核心思想是把“学习 Hessian/covariance”改写成“寻找一个 diagonal metric，使连续生成方向尽量共轭”。方向不是梯度方向，而是 MAES/MADFO 的 normalized recombination displacement；metric 不是 dense covariance，而是 diagonal Hessian surrogate。这样方法引入的 inductive bias 非常明确：变量间相关性不学，只学坐标尺度；旧尺度不轻易改，只做 least-change；对病态更新加 safeguard；对共轭性只作为 penalty，而不是硬约束。

本质区别在于信息流被重新组织了。MAES/CMAES 通常把 selected samples/ranks 转换成 covariance 结构；本文把相邻 recombination 位移先压缩成 componentwise product τ=d_{k-1}⊙d_k，再通过一个 rank-one/scalar correction 更新 diagonal entries。这个设计牺牲表达能力换稳定性和 O(n) 成本。理论直觉上它可能有效，因为在坐标对齐或近似可分的高维问题中，主要收益来自各坐标步长尺度，而不是 dense correlation；在噪声下，低自由度模型比高自由度 covariance 更不容易过拟合错误排序。

Method

方法层面只需要抓住三件事。第一，diagonal Hessian approximation 不是由 secant equation 或有限差分得到，而是由 penalized conjugacy condition 得到；它解决的是无梯度下无法构造 y_k=g_{k+1}-g_k 的问题，核心变化是把 gradient displacement 换成 consecutive generated directions。第二，least-change + inverse-closeness penalty 负责稳定更新；它解决的是单个 conjugacy 约束欠定且容易产生病态 diagonal 的问题，核心变化是把方向信息限制在一个保守的坐标级修正里。第三，把 P_k^{-1/2} 放进 mutation phase 作为 diagonal scaling；它解决的是 scalar step-size 无法刻画 variable sensitivity、dense affine matrix 又过贵/过脆的问题，核心变化是 mutation distribution 的 shape 由低成本 diagonal curvature surrogate 控制。

quadratic、cubic、高阶 penalty 的差别不是方法本质。quadratic 给闭式 rank-one 修正，cubic/高阶让小 violation 更温和、大 violation 更重。真正机制仍是同一个：用一个 scalar conjugacy violation τ^T p 来调节整条 diagonal update。

Key Insight / Why It Works

最可能有效的部分不是“近似 Hessian”这个说法，而是“在 noisy ranking 下限制 scaling 更新自由度”。这更像 robust scaling / coordinate-wise preconditioning，而不是严肃意义上的二阶建模。方法把 noisy selection 产生的信息经过三重降噪：recombination 聚合、direction normalization、diagonal penalized least-change update。每一步都在降低 variance 和表达自由度，所以在高噪声下相对 dense/LM covariance 更稳是合理的。

核心贡献应归因于 better inductive bias + scaling，而不是 conjugacy 理论本身。conjugacy condition 提供了一个可写成低成本 diagonal update 的数学接口，但它是否真的恢复了 Hessian curvature，文中证据不足。尤其在非二次、非平滑、强噪声下，相邻 recombination displacement 的共轭性没有严格统计保证；它更像一种 trajectory regularization。高阶 penalty 可能主要是 engineering：改变 violation-to-update 的非线性响应，最终提升可能来自 safeguard、step-size 机制、MADFO 的非单调 line search 与 benchmark 匹配，而不一定来自 penalty order 的理论优越性。

这篇最有迁移价值的 insight 是：当观测噪声污染排序时，不要提高 model capacity 去拟合更丰富 covariance，而应降低几何学习的自由度，把不可靠信号变成 bounded coordinate-wise scaling。这一点可迁移到 noisy black-box HPO、simulation optimization、evolution strategies、甚至一些 zeroth-order RL setting。

Relation To Prior Work

它最接近三条谱系：diagonal quasi-Newton / diagonal Hessian approximation、CMAES/MAES matrix adaptation、noisy DFO 中的 robust sampling/line-search 方法。和 diagonal quasi-Newton 的本质差异是信息源不同：prior 用 secant/gradient difference/finite difference，本文用 generated direction conjugacy，因此 derivative-free 更彻底。和 CMAES/LMMAES 的本质差异是表示不同：prior 学 full 或 limited-memory covariance，本文强制 diagonal metric，因此更可扩展但失去旋转不变性。和 MADFO 的关系更像替换 scaling backend，而不是一个全新优化框架。

看似新的地方有一部分是已有思想重组：least-change、conditioning penalty、diagonal scaling、inverse-square-root mutation covariance、performance/data profiles 都不是新东西。实质新增的信息在于把 conjugacy condition 用作 DFO 中 diagonal scaling 的构造原则，并把它嵌入 MAES/MADFO 的 recombination displacement 信息流中。这是一个工程上很自然、数学上可封闭、成本上很干净的组合。

Dataset / Evaluation

评估覆盖了大量 noisy instances，并且维度扩展到 10000，能较好验证 O(n) diagonal scaling 在这类 benchmark 上的实用性。和 full MADFO 的比较用于回答“对角化是否损失太多”，和 LMMAES 的比较用于回答“是否比 limited-memory covariance 更适合高维 noisy setting”；这两个对照方向是合理的。

但 evaluation 仍有明显局限。测试集主要来自 prince/BARON 问题变体加人工噪声，不是真实 simulation 或昂贵黑盒系统；噪声模型是标准 uniform/Gaussian absolute/relative，未覆盖异方差、相关噪声、非平稳噪声、evaluation failure 等真实部署问题。更重要的是，实验没有充分隔离“conjugacy diagonal update”与 MADFO 其他机制的贡献，也没有和更朴素的 diagonal baseline 做强对照。因此实验支持“DMADFO 在该 benchmark suite 上好用”，但不足以证明“conjugacy-based Hessian approximation 是唯一或主要原因”。

Limitation

最大隐含前提是 recombination displacement 仍然是有信息的。如果噪声强到 selection 接近随机，d_k 就不再是局部几何方向，conjugacy penalty 只是在拟合随机游走；此时 safeguard 可能防止崩溃，但不会创造真实 curvature。第二个上限是 diagonal 表达能力：它对坐标对齐、近可分、主尺度差异明显的问题友好；对旋转病态、强变量耦合、narrow curved valley，放弃 off-diagonal 结构会成为硬瓶颈。第三，所谓 Hessian approximation 的解释偏强；更准确地说，它是一个 diagonal mutation preconditioner，而不是可验证的 Hessian estimator。

文中未充分说明 penalty 参数、p_min/p_max、step-size safeguard、MADFO line search 与 diagonal update 的交互。DMADFO12 最好也可能是 tuning/benchmark-specific 的结果，高阶 penalty 的优势缺少机制性解释。增益来源不清：可能主要来自 scaling / regularization / lower capacity，而不是 conjugacy condition 本身。真实部署中还会遇到预算极低、噪声分布未知、函数评估并行异步、约束/失败评估等问题，本文基本没有触及。

Takeaway

• 第一，noisy DFO 中 geometry learning 的关键不一定是更丰富的 covariance，而是更稳健的信息压缩；低自由度 diagonal scaling 在高维噪声下可能比 limited-memory dense structure 更划算。
• 第二，conjugacy 可以作为无梯度方向序列的 regularizer，而不是只属于 CG/quasi-Newton 的一阶方法；这个视角值得迁移到其他 trajectory-based zeroth-order 方法。
• 第三，未来真正值得做的是 noise-aware direction construction，而不是继续调 penalty order：重复评估、rank aggregation、trimmed recombination、置信选择可能比更复杂的 penalty 更关键。
• 第四，这篇推动的是 MADFO/MAES 的 scalable robust scaling backend，而不是一个完整替代 CMAES 理论框架的新范式。

一句话总结

这篇论文把 MAES/MADFO 中易受噪声污染的矩阵适应，替换为基于连续重组位移共轭性的保守对角预条件，是一类以降低几何学习自由度换取高维 noisy DFO 稳定性和可扩展性的 scaling 方法演化。