精读笔记
Problem Setting
[Exploring polynomial models in the Search Step of Direct Multisearch]（arXiv preprint / 2026）
这篇论文实际处理的是多目标 derivative-free optimization 中 BoostDMS search step 的决策问题：当每个目标都有一个局部 quadratic surrogate 时，应该如何联合利用这些模型来产生少量真实函数评估点。真正困难不在 DMS 框架，也不在 quadratic interpolation 本身，而在 surrogate front 到 expensive evaluations 的压缩：模型空间里看起来好的点，未必在真实目标上 nondominated；而真实评估预算又不允许完整求解并验证 surrogate Pareto front。
以前方法的瓶颈是默认使用 min-max / Chebyshev scalarization，把“多目标模型如何探索”简化为一个固定聚合规则。这个选择能工作，但它隐含偏向 worst-objective balance，未必适合所有 Pareto geometry。任务的关键矛盾是：search step 要尽可能利用历史 evaluations 提升效率，但理论收敛不能依赖它；因此它必须是 aggressively useful but theoretically disposable。
Motivation
已有路线主要回答“怎样构造可信的 polynomial surrogate”，例如 poised sample set、MFN underdetermined quadratic、regression/interpolation 等；但构造好以后如何用这些模型，反而缺少系统研究。作者的关键观察是：在 DMS 中，search step 虽然 optional，却直接决定是否能在 poll step 之前找到新 nondominated points，因此它对实际效率的影响可能远大于理论表述中的地位。
这篇论文缺口定位很准：不是要证明一个更强的 DMS 收敛定理，而是问同一组 surrogate 信息经过不同 multiobjective exploitation policy 后，会不会产生不同的真实 front approximation。换句话说，BoostDMS 的 performance bottleneck 可能不在模型构造，而在 model minimization 的 inductive bias。
Core Idea
核心思想是把 BoostDMS 的 search step 从固定 min-max scalarization 改成一个可替换的“surrogate multiobjective exploration layer”。外层 DMS 不变：poll step 仍负责收敛保证，search step 只负责在局部 trust-region 内提出候选点。这样做的好处是风险隔离：即使某个 model-minimization strategy 失败，DMS 的基本收敛性质仍由 poll step 兜底。
本质区别在于它不是引入更复杂的 surrogate，而是改变 surrogate information flow。原始方法把多个模型压成一个 worst-case scalar objective；NBI 把模型值组织成 objective-space geometry；epsilon-constraint 把当前点的真实 objective values 用作局部保守约束；IFSD 则把模型当作可微多目标问题做 descent-front refinement。它们引入的是不同的 candidate-generation bias，而不是新的全局优化理论。
Method
关键机制可以压缩成三点。第一，所有模型探索都限制在当前 trust-region 内，解决的是 surrogate validity 问题；这让 trial points 不至于追逐 quadratic extrapolation artifact。第二，search step 只产生有限候选点，解决的是 expensive evaluation budget 下的筛选问题；因此策略优劣取决于能否把模型信息转化为高命中率 nondominated evaluations。第三，三种替代策略分别注入不同 bias：NBI 优先改善 front distribution，epsilon-constraint 优先保守地改善单个目标且控制其他目标退化，IFSD 优先在模型层面生成更丰富的局部 Pareto refinement。
最值得注意的是 adapted epsilon-constraint 的设定：用当前真实点的其他目标值作为约束阈值。这实际上把 search step 变成局部“safe improvement”机制，而不是追求模型 Pareto front 的完整性。这个设计可能比 NBI/IFSD 更适合 noisy surrogate，因为它减少了模型误差导致的无效 trade-off。
Key Insight / Why It Works
最重要的 insight 是：在 DMS/BoostDMS 里，search step 的目标不是精确求 surrogate Pareto front，而是用最少真实 evaluations 找到能更新 nondominated list 的点。因此，model-minimization strategy 的好坏不由 surrogate problem 解得多漂亮决定，而由真实函数层面的 nondominance hit rate 决定。
这解释了为什么 adapted epsilon-constraint 可能表现最好。它本质上是一个 better inductive bias：在当前点附近，尝试显著改善一个模型目标，同时不让其他模型目标超过当前真实值。这种策略与 DMS 的 list update 规则高度对齐，因为新点只要避免明显退化并改善一部分目标，就更可能成为 nondominated。相比之下，NBI 的几何均匀性 bias 更直接服务 spread，而不是 purity/HV；IFSD 的 front exploration 更像增加 test-time compute 和候选多样性，但如果 surrogate误差存在，复杂的模型 front 未必对应真实 front。
所以这篇最核心贡献不是 NBI 或 IFSD 的引入，而是证明“search-step model exploitation policy 本身是性能杠杆”。NBI 的收益可以归因于 distribution bias；epsilon-constraint 的收益更可能来自 conservative local improvement bias；IFSD 的收益不清晰，可能主要被 candidate filtering 和 crowding selection 稀释。这里没有 evidence 表明复杂 surrogate-front optimization 比简单保守 scalarization 更稳健。
Relation To Prior Work
这篇属于 DMS / directional direct search / model-assisted derivative-free multiobjective optimization 谱系。它直接继承 DMS 的 nondominated list + poll convergence 结构，也继承 BoostDMS 的 quadratic polynomial search step。与 BiMADS、MULTIMADS 等 scalarization/MADS 路线不同，它没有把原问题整体转成一系列单目标问题，而是在 DMS 内部只对局部 surrogate models 做 scalarization 或 front exploration。
看似新的部分，例如 NBI、epsilon-constraint、IFSD，本身都不是新方法；真正新增的是把这些 multiobjective optimization mechanisms 放到 BoostDMS 的 search step 中，并比较它们作为 surrogate exploitation policies 的效果。因此创新是组合型和算法设计层面的，而不是理论突破。实质差异在于：prior work 多讨论模型如何建、DMS 如何收敛；本文讨论在同一模型质量下，如何选择真实评估点。
Dataset / Evaluation
实验覆盖 100 个 DMS 传统 bound-constrained benchmark，使用 purity、hypervolume、Gamma/Delta spread 和 performance profiles。这个 evaluation 能验证一个有限但重要的 claim：不同 search-step model-minimization strategies 会改变最终 Pareto approximation 的质量和分布。尤其 NBI 在 spread 上更好、epsilon-constraint 在 purity/HV 上更好，和它们各自的 inductive bias 基本一致。
但 evaluation 仍然偏 offline benchmark。它没有充分证明在真实 expensive simulations、噪声目标、高维变量、复杂约束、大目标数 q 下仍然成立。也没有直接报告 search step 成功率、模型误差与真实 nondominance 的关系、子问题求解成本占比等机制性指标。因此实验支持“这个设计选择重要”，但不足以精确解释“为什么某个策略总是更优”。
Limitation
核心限制是方法依赖局部 quadratic surrogate 的可信度，而这个可信度又依赖 sample geometry、stepsize/trust-region radius、目标光滑性和 Hessian 控制。在高维或样本稀疏时，quadratic models 很容易退化，search step 可能只是生成看似合理但真实无效的候选点。DMS 的理论兜底来自 poll step，不来自这些 search strategies；因此本文的改进主要是 practical efficiency，而不是更强的最优性保证。
scalability 也有明显上限。NBI 和 IFSD 都会随目标数 q 增加引入组合式候选/权重/subset 问题；IFSD 尤其可能把问题转移为“如何从大量 surrogate front points 中筛选少量真实评估点”。文中未充分说明子问题求解成本与真实评估成本的相对关系，因此在中等成本 black-box 中收益可能被额外 optimization overhead 抵消。增益归因也不够清楚：epsilon-constraint 的优势可能来自 benchmark geometry 与当前点阈值机制匹配，而不一定是一般性的 model-minimization superiority。
Takeaway
- 最值得记住的有三点。
- 第一，在 model-assisted DFO 中，surrogate construction 和 surrogate exploitation 应该分开看；后者不是 implementation detail，而是决定 expensive evaluation efficiency 的核心组件。
- 第二，局部多目标 surrogate 不一定需要完整求 Pareto front；与外层 update rule 对齐的保守 candidate policy 可能更有效。
- 第三，front distribution bias 与 quality bias 是不同目标：NBI 更像 spread controller，epsilon-constraint 更像 nondominated-hit-rate booster，IFSD 的复杂探索未必划算。
一句话总结
这篇论文在 DMS/BoostDMS 方向中的位置是：把 quadratic surrogate 的 search-step minimization 从默认工程选择提升为可研究的算法设计层，显示简单但与 nondominated update 规则对齐的 conservative scalarization 可能比更复杂的 surrogate-front exploration 更有效。