精读笔记

Problem Setting

这篇论文实际处理的是 constrained blackbox DFO 中一个很具体但重要的缝隙：约束不是纯 hard / unrelaxable，而是 violation 可量化、infeasible 点上 objective 仍可评估，因此 infeasible evaluations 本身含有优化信息。关键矛盾是：PB 类方法需要保留并利用 infeasible 点，但传统 MADS-PB 的 mesh 结构会把 search / surrogate 给出的 trial point 投影到离散网格上，从而损坏这些点的几何含义；而 ADS 虽然 mesh-free、能直接吃掉任意 search 点，却原本只用 extreme barrier，无法系统利用 relaxable constraints。困难点不是定义 violation measure，而是怎样在没有 mesh 的情况下仍保留 direct search 的收敛逻辑。

Motivation

作者的核心观察很直接：现代 DFO 越来越依赖 quadratic model、surrogate、heuristic search 来提出高质量 trial points，而 MADS 的 mesh projection 在这种场景下反而成为信息瓶颈。也就是说，已有路线缺的不是 constraint handling，而是一个不会扭曲 search proposal 的 constraint-handling direct-search framework。PB 已经说明 infeasible 点可作为 feasibility-objective tradeoff 的信息源；ADS 已经说明 mesh 不是 direct search 收敛的唯一组织方式。本文动机就是把这两者合并：用 PB 处理 relaxable constraints，用 ADS 的 punctured-space 几何替代 mesh。

Core Idea

ADS-PB 的真正核心不是“给 ADS 加 PB”这么表面，而是把收敛所需的空间控制从 mesh discretization 换成 successful-point exclusion。算法允许 search step 在整个 blackbox domain 中自由提出有限 trial points；如果 trial point 在 objective/violation 意义上足够好，就可直接影响 incumbent，而不需要落在某个 mesh 上。这改变了信息流：模型或启发式 search 的输出不再先被离散结构重写，而是先被真实评估，再由 PB 的 dominance / improvement 规则决定其作用。

理论直觉上，这成立是因为 ADS 不靠 mesh 的稠密化，而靠 exclusion radius delta 与 frame size Delta 的共同收缩来保证局部探索最终变细。PB 则提供了一个在 feasible incumbent 尚未稳定时仍可定义“进展”的偏序结构：feasible 点按 objective，比 infeasible 点按 objective-violation Pareto dominance 或 violation reduction。两者结合后，算法既能接受 objective-improving feasible 点，也能接受只改善 feasibility 的 infeasible 点，同时仍能通过 punctured-space 约束避免成功点无限聚集在固定尺度下。

Method

关键机制可以压缩为四个。第一，PB incumbent 机制解决 infeasible evaluations 如何参与优化的问题：维护 feasible best 与 admissible infeasible non-dominated incumbent，使算法在未完全可行时也有可比较的进展方向。第二，barrier threshold h_max 解决 feasibility pressure 的调度问题：它不是一次性 extreme barrier，而是随 improving / dominating / unsuccessful 状态逐步收紧，避免过早丢弃有用 infeasible 点。第三，punctured space 解决 mesh-free direct search 的几何控制问题：成功点周围半径 delta 的球被排除，poll 不在这些区域重复评估，从而用空间排斥替代 mesh。第四，reframing iteration 解决 search 找到好点但太靠近既有成功点时的状态不一致问题：incumbent 可以更新，但不把该点计入成功点集来破坏分离性证明。这个状态看似小改动，实际上是让 PB incumbent 更新与 ADS 几何证明兼容的胶水。

Key Insight / Why It Works

最可能的核心贡献是：把“收敛结构”和“trial point 生成结构”解耦。MADS-PB 中 mesh 同时承担收敛证明、trial point admissibility、poll geometry 三个角色；ADS-PB 把 trial point generation 释放出来，只让 punctured space / delta / Delta 负责收敛所需的几何控制。这对 model-assisted DFO 很关键，因为模型给出的点常常有精确连续空间含义，mesh projection 会把这种信息量抹掉。

方法有效的主要原因不是 PB 更强，而是避免了 mesh projection 对高质量 search proposal 的信息损失。因此如果 search 组件能产生接近局部解的点，ADS-PB 会直接受益；MADS-PB 则要等 mesh 细化到足够尺度。这里的增益更像 better inductive bias + test-time proposal preservation，而不是新的 constraint optimization 原理。PB 是必要基础，但不是新 insight；reframing 与 punctured-space update 才是让这个组合可证明的关键。实验优势很可能部分来自 NOMAD 中 quadratic model / n+1 poll 的质量，而 ADS-PB 只是更少破坏这些点。换句话说，核心能力可能主要来自 search proposal 的质量，ADS-PB 的贡献是减少框架层面的损耗。

Relation To Prior Work

最接近的路线是 MADS-PB、原始 ADS、以及各种 model-assisted direct search。相对 MADS-PB，真正不同点不是 PB 规则，而是取消 mesh admissibility 与 projection，用 successful-point exclusion 替代 mesh 作为收敛组织方式。相对 ADS，新增信息是 relaxable / quantifiable constraint 的 PB 语义，使 infeasible 点不再被 extreme barrier 直接屏蔽。相对 merit-function 或 penalty 类 DFO，ADS-PB 没有把 objective 与 violation 合成单标量，而是保留 PB 的 incumbent / dominance 结构，这避免了 penalty 参数调度的一部分脆弱性。

看似新的部分中，PB、dominance、h_max、positive spanning poll 都是已有思想；实质创新在于把这些已有机制重新接线到 ADS 的 mesh-free 结构里，并处理由此产生的状态分类和收敛证明缺口。它属于 direct search convergence mechanism 的演化，而不是新的全局优化范式。

Dataset / Evaluation

evaluation 基本围绕核心 claim 设计：同一 NOMAD 环境下比较 ADS-PB 与 MADS-PB，能较好隔离 mesh-free 与 mesh-based PB 的差异；analytical benchmark 覆盖多个低到中维约束问题，blackbox 部分包含 STYRENE 和 SOLAR 6 这类更接近真实昂贵仿真的任务。结果确实支持“无 mesh projection 更利于高质量 model/search 点发挥作用”，尤其在更严格精度目标下。

但验证仍有限。analytical set 规模不大且维度不高，真实 blackbox 问题只有两个，不能证明高维或强噪声场景下的泛化。对比外部 CMA-ES、NSGA-II、LOGDS 的意义相对弱，因为它们没有共享 NOMAD 的 search / poll 组件，更多说明 NOMAD direct-search 系统在这些问题上强，而不是单独证明 ADS-PB 机制。更关键的是，文中没有充分做 ablation 来拆分 no mesh projection、quadratic model search、n+1 poll、punctured-space filtering 各自贡献，因此增益归因不清。

Limitation

理论上限比较清楚：结论是 refining subsequence 上的 Clarke-type stationarity 或 violation stationarity，不提供 evaluation complexity，也不保证找到 feasible solution。Assumption 1 的 compactness 在实际黑盒优化中通常由 bounds 或 solver 行为隐含保证，但若黑盒失败区域复杂、hidden constraints 多、可行域很薄，PB 的 violation 信息未必足够稳定。对 equality constraints 或非量化约束，本文框架并未真正解决，只是未来工作提到与 MADS-PIP 融合。

scalability 的隐含瓶颈在 successful-point exclusion 与 poll geometry：高维下正生成集 poll 的评估成本和局部覆盖都会恶化，punctured space 是否仍是有效采样控制文中未充分说明。方法收益还强依赖 search proposal 的质量；如果模型不准、噪声大、局部结构不可学习，mesh-free 只是减少一个损耗源，不会凭空产生好点。实验中增益可能主要来自 engineering / NOMAD search stack，而不是 ADS-PB 本身的约束处理能力。

Takeaway

• 最值得记住的有三点。
• 第一，这篇把 direct search 中的 mesh 从“必要收敛载体”降级为“可替换的几何控制机制”，这对 model-assisted DFO 是有迁移价值的。
• 第二，relaxable constraint handling 的关键不是 penalty，而是如何保留 infeasible evaluations 在 search trajectory 中的结构化作用。
• 第三，未来真正有价值的方向不是继续复用现有 NOMAD search，而是设计专门利用 off-mesh freedom 的 surrogate / trust-region / learning-based proposal，并给出更清楚的复杂度或归因分析。

一句话总结

Adaptive direct search algorithms with relaxable and quantifiable constraints（arXiv preprint / 2026-07-07）在技术谱系上是一次把 MADS-PB 的 progressive barrier 迁移到 mesh-free ADS 的框架级改造，真正贡献是让 relaxable constrained DFO 能直接利用高质量连续空间 trial points，同时保留 direct-search 型局部收敛保证。