精读笔记

Problem Setting

这篇论文不是在重新定义 offline MOO，而是在处理一个更具体的部署场景：手上只有一个已经训练好的 conditional diffusion model，不能在线评估，最好也不能访问原始 offline dataset 去训练新 surrogate；目标是直接生成一批比数据集 Pareto front 更好的候选。真正难点是“优化信号从哪里来”。

以前方法通常有两种卡点：forward surrogate + search 会在 OOD 设计上产生过度乐观的 objective prediction；generative inverse 方法虽然把生成限制在数据流形附近，但仍依赖 scalarized proxy 或 preference classifier 作为 guidance source。两者的共性是：优化信号来自一个额外训练的模型，而这个模型恰恰最容易在需要外推的区域失效。

任务的关键矛盾是 convergence 与 validity / diversity 的三方拉扯：想向未观测 Pareto boundary 外推，就必须偏离训练条件；但偏离太大，conditional diffusion 或 surrogate 都可能失真；同时 batch 生成还要覆盖 trade-off，而不是坍缩到某个标量化 optimum。ParetoPilot 的问题设定基本就是：能否只用 diffusion model 内部的 conditional prior 来完成这三者的折中。

Motivation

作者对已有路线的不满是合理的：surrogate 在 offline optimization 里既是必要信息源，也是最大风险源。尤其在结构化空间里，regressor 对无效分子、非法架构仍会输出数值，优化器会自然 exploit 这些错误。Preference classifier 比绝对 regressor 稳一些，但会变保守，而且训练成本不小。

核心观察是 CFG-enabled conditional diffusion 已经同时学习了 unconditional data distribution 和 conditional distribution。换句话说，模型内部已经包含“如果目标条件是 y，当前 x_t 应该怎么 denoise”的局部响应。对于 MOO，缺的不是再训练一个 evaluator，而是缺一个在采样过程中动态决定 y 的机制。

所以这篇的动机可以概括为：把 unknown Pareto target condition 从外部监督问题变成 diffusion test-time inference 问题。它缺的是 condition-space controller，而不是更强 proxy。这也是论文最有价值的切入点。

Core Idea

ParetoPilot 的核心思想是：在每个采样阶段，先问 diffusion model：“当前 noisy sample 如果不加条件，它自然对应的目标条件大概在哪里？”这个由 conditional/unconditional noise matching 得到的 y* 是模型内部的局部 anchor。然后不直接相信 y*，而是在 objective space 中沿手工设计的 Pareto-improving + diversity-preserving 方向移动一小步，得到 y_target。最后用标准 CFG 让 diffusion 朝这个 y_target denoise。

它改变的建模方式是：不再学习 f(x) 或 dominance(x_i, x_j)，而是利用 diffusion model 的 condition response 作为隐式局部坐标系统。优化发生在 y-space，执行发生在 CFG denoising trajectory，validity 由 unconditional diffusion prior 约束。这个信息流比 surrogate guidance 更闭环：每一步都根据当前 x_t 重新 infer condition，而不是固定依赖一个外部 evaluator。

本质区别在于，prior work 通过外部模型给生成器施加目标梯度；ParetoPilot 通过生成器自身的 conditional interface 做目标导航。它更 scalable 的原因不是算法复杂度更低——推理反而更慢——而是部署依赖更少：不需要为每个下游任务重训 proxy，也不需要访问原始数据。

Method

保留机制层面看，IPG 有三个必要动作。

Infer 解决 target condition unknown。通过让 epsilon_theta(x_t, y, t) 接近 epsilon_theta(x_t, empty, t)，找到当前样本在模型内部的无偏条件解释。这里的关键不是 loss 形式，而是把 conditional diffusion 当作一个可微的 inverse mapper：从 denoising response 反推 condition。未 reset Adam 的作用更像 temporal filter；如果每个 timestep 独立优化 y，扩散噪声会让 anchor 抖动，后续 perturb 就会变成随机推轨迹。

Perturb 解决 MOO 的方向构造。共同下降方向提供收敛 bias；batch repulsion 提供覆盖 bias；正交化保证 diversity force 不吞掉 convergence component。这个设计的理论味道很强，但也很手工：它假设 objective space 中的线性几何足以表达 Pareto navigation，且目标已经被良好标准化。edgeness 的作用是扩大 extreme trade-off 的覆盖，避免中部样本密集。

Guide 解决如何把 objective perturbation 作用到 design。它没有对 x_t 做 surrogate gradient update，而是把 y_target 放回 CFG。这样优化被 diffusion 的 learned conditional manifold 过滤，降低无效样本风险。小步长 perturb + CFG scale 的组合是一个安全外推机制：y-space 轻微越界，x-space 仍由 denoising prior 拉住。

Key Insight / Why It Works

最可能真正有效的部分是 Infer + CFG reuse，而不是 repulsion 公式本身。Infer 把 conditional diffusion 变成了一个 test-time local condition estimator：它不需要知道真实 objective，只需要知道模型内部哪个 y 会让 conditional denoising 不再额外施力。这个 y* 提供了一个局部坐标原点，使后续“向更优 y 移动一点”至少是在模型可解释的条件附近发生，而不是随便设一个极端目标。

这本质上是 representation alignment / memory reuse：训练阶段学到的 x-y joint structure 被保存在 conditional score field 中；推理阶段通过反向优化 y 来读取这部分记忆。所谓 zero-surrogate 并不是没有优化信息，而是把优化信息从显式 evaluator 转移到 diffusion 的 conditional representation 中。它更像 test-time compute over a learned conditional manifold。

Orthogonal perturbation 的贡献更像一个有用的 inductive bias：收敛和多样性分解成两个正交方向，避免粒子系统内部互相抵消。这个想法直观且可迁移，但其“严格保证”只在目标空间欧氏几何和线性下降假设下成立；对真实 design feasibility 没有保证。Edgeness 则更像 engineering heuristic，用来补 extreme coverage，消融有增益但不是核心。

Smoothing 的消融很说明问题：如果没有跨 timestep momentum，性能明显掉。这表明 IPG 的脆弱点在于 y* inference 的稳定性；扩散模型的 conditional response 本身噪声很大，方法有效依赖一个平滑的 condition trajectory。换句话说，这篇最重要的机制可能是“稳定读取 diffusion 内部条件状态”，而不是“Pareto 几何力场”。

是否是 scaling？不主要是模型 scaling，至少文中没有证明 backbone 更大带来收益。但它显然使用了 test-time compute：每隔若干步对 y 做多次梯度 probe。是否是 retrieval？某种意义上是 implicit retrieval：从 diffusion learned manifold 中读取与当前样本匹配的 condition，再局部外推。它不是 reasoning / planning；没有长期状态建模，也没有真正的 Pareto front model。

Relation To Prior Work

最接近的谱系是 classifier-free / classifier guidance diffusion + offline model-based optimization + particle-based diversity control。和 PGD-MOO 的关系尤其近：两者都在 diffusion sampling 时加入目标偏置，也都关心 Pareto convergence/diversity。不同点是 PGD-MOO 的方向来自外部 preference classifier，ParetoPilot 的方向来自 conditional diffusion 自身和手工 objective-space dynamics。

和 ParetoFlow 这类 inverse generative 方法相比，ParetoPilot 不做 scalarization-guided proxy，也不依赖额外 objective predictor。它的新增信息不是一个更准的 evaluator，而是一个从 conditional denoising response 中 infer y 的接口。这是实质创新。

但论文里很多看似新的部件其实是已有思想的重组：CFG 是标准做法；test-time condition optimization 在 diffusion / inverse problems 中并不陌生；batch repulsion 类似 particle methods / determinantal diversity / Coulomb repulsion；Gram-Schmidt 解耦目标方向也属于常见几何 trick。真正的新意在于把这些组合到 offline MOO 的 unknown-condition 问题上，并明确提出 zero-surrogate 的部署范式。

所以它不是一个新的 MOO 理论，也不是新的 generative model；它是 conditional diffusion as implicit surrogate 的一次比较干净的系统化实现。

Dataset / Evaluation

评测覆盖 Off-MOO-Bench 的 51 个任务，场景跨度不错：synthetic、NAS、scientific design、engineering 都有，能部分检验 surrogate 在结构化空间失效、diffusion manifold prior 更稳的论点。它不是单一 toy benchmark，至少能说明方法作为通用 offline MOO baseline 有竞争力。

不过 evaluation 对核心 claim 的支持仍有限。首先，所有任务仍是 benchmark setting，不是真正闭环实验或真实湿实验 / 真机验证；所谓 generated design 是否真实有效，最终仍依赖 benchmark oracle 或预定义评价。其次，zero-surrogate claim 主要针对采样阶段不额外训练 proxy，但 conditional diffusion 本身需要用带标签数据训练；如果这个训练成本、数据访问成本和 baselines 的 proxy 训练不在同一预算下比较，部署优势会被放大。

结果并非压倒性。ParetoPilot overall HV improvement 最好，但在若干 domain 上不是最强；Average Rank 也显示它是稳健而非全面支配。消融支持 IPG 组件有效，但没有充分隔离 base diffusion quality、test-time compute budget、目标归一化、CFG schedule 对性能的影响。增益归因仍不完全清楚。

Limitation

第一，方法把 surrogate 风险转移到了 conditional diffusion 的内在泛化上。若 diffusion 没学好 x-y joint distribution，或 y 条件在 Pareto 边界外响应不可靠，IPG 只会在错误流形上平滑地走。它避免了外部 proxy hallucination，但不能避免 foundation model 自身的 conditional hallucination。

第二，Pareto 改善方向是强手工假设。统一 -1 方向默认所有目标已可比、归一化且共同下降代表有效推进；真实 MOO 中 Pareto front 的局部法向、约束边界、disconnected region 都不会被这个简单几何捕获。正交化只保证在 y-space 中不抵消收敛向量，不保证 x-space 中的 feasibility 或真实 objective improvement。

第三，scalability 到高目标维度存疑。Batch repulsion 在 m 较大时距离集中、边界定义退化，edgeness 也可能不再可靠。粒子覆盖 Pareto front 的样本复杂度随目标维度上升会很快变差，文中未充分说明。

第四，zero-surrogate 的隐私叙事有一定成立条件：如果只有预训练 diffusion 权重，确实不需要原数据训练 proxy；但训练这个 conditional diffusion 本身仍需要完整 offline dataset。若下游任务变化、目标定义变化或约束变化，模型权重是否还可复用并不清楚。

第五，推理开销不低。每个 IPG interval 多次对 y 反向传播，本质上用 test-time optimization 换掉 proxy training。它是否比训练一个轻量 preference model 更划算，取决于任务数量、采样批量和部署频率，文中未充分量化。

Takeaway

• 1. 这篇最值得记住的是：offline generative optimization 不一定需要显式 surrogate；conditional diffusion 的 CFG interface 本身可以被当作隐式目标坐标系统，在 test time 读取并导航。
• 2. 对很多 offline optimization 问题，更稳的路线可能不是训练更强 evaluator，而是限制优化发生在生成模型已学得的 conditional manifold 内；这对结构化设计空间尤其有吸引力。
• 3. ParetoPilot 展示了一种可迁移模式：先 infer 当前样本的 latent/condition anchor，再对 anchor 做小步、几何上受控的 perturb，最后通过原模型标准 guidance 接口执行。
• 这可以迁移到 constrained generation、preference optimization、controllable design 等问题。

一句话总结

ParetoPilot 是把 offline MOO 的 surrogate-guided 生成改写为 conditional diffusion 内部条件流形上的 test-time navigation 的方法，实质贡献在于用 CFG response 充当隐式优化信号，而不是再训练外部 evaluator。