精读笔记
Problem Setting
【Optimal Spectral Design with Prior Information】（arXiv preprint / 2026）
这篇论文实际处理的是一个“固定预算 rank-one 更新下的谱最优信息补全”问题：已有 PSD prior information matrix A，允许再选 k 个单位球内向量 x_i，目标是优化 A+sum_i x_i x_i^T 的谱函数。A/D/E-optimality 只是几个实例，真正对象是任意 symmetric convex f(lambda)。
关键困难是：目标作为矩阵函数 F(A+M) 是凸的，但 M 必须能写成 k 个单位范数受限向量的 Gram update。直接在 X 上优化是非凸；直接放松到 M PSD, Tr(M)<=k 又过松，因为它允许 rank>k 的信息扩散。Example 1.4 很准确地说明了矛盾：凸包松弛会把一个 rank-1 设计变成 isotropic half-half 更新，从而得到原问题根本无法实现的更好 E-optimal value。
所以这不是“如何更快解一个凸设计问题”，而是“如何在不丢掉 rank-k 可实现性的情况下利用谱凸性”。以前路线卡在 matrix convexification：它保留了 trace budget，却丢掉了 rank/interlacing 对 eigenvalue movement 的限制。本文的关键矛盾就是 convex spectral objective 与 nonconvex realizability 之间的错位。
Motivation
已有 optimal design 的连续版本通常优化 approximate information matrix，本质上允许把实验质量连续摊到多个方向；有限候选集 exact design 则变成组合优化，典型准则 NP-hard。本文的设置处在二者之间：设计空间连续、但实验次数 k 固定，且每个实验必须对应一个真实向量。这个结构比有限候选集友好，但比 approximate design 更受 rank 限制。
作者的核心观察是：prior A 的作用主要通过其 eigenvalue gaps 和 eigenspaces 体现；如果目标只看 spectrum，那么设计问题中真正需要决定的是“往哪些特征值槽位注入多少增量”，而不是先决定具体方向。Weyl inequalities 给出 rank-k update 对 eigenvalues 的可达边界，Schur-Horn 则保证某些谱/对角结构可以被真实向量实现。
关键缺口在于标准凸松弛缺少 tight eigenvalue-level feasibility characterization。本文补上的不是一个更强 solver，而是一个结构性证据：在欧氏球连续设计空间中，rank 约束虽然非凸，但对谱目标可以被 interlacing + majorization + Schur-Horn 精确处理。
Core Idea
论文真正的核心是把 spectral design 从“找 X”改成“分配 eigenvalue increments”。先把 A 对角化为 diag(t_1,...,t_d)。rank 至多 min(d,k) 的 PSD 更新 XX^T 不能任意抬升所有小特征值：Weyl 给出 t_j <= lambda_j(A+XX^T) <= t_{j+hat d}，其中 hat d=min(d,k)，并且总增量 trace 不超过 k。于是原问题被映射成 beta_j>=0、sum beta_j<=k、t_j+beta_j<=t_{j+hat d} 的特征值分配问题。
对非增 symmetric convex f，最优策略是 water-filling：把水倒入最低的特征值桶，遇到 Weyl cap 就停止该桶，直到 k 的预算用完。这不是启发式；它给出在可行集合中最不分散的谱向量，而 symmetric convex 函数都是 Schur-convex，所以这个向量同时最优于所有这类目标。这个“同一个设计最优于所有 A/D/E-like criteria”的结论是本文最有价值的地方。
与 prior work 的本质区别是：不是对某个准则构造 KKT 条件或 equivalence theorem，也不是解 SDP 后 rounding，而是证明该连续球设计空间下的谱可行性有一个可计算的 canonical minimum-spread representative。inductive bias 可以理解为“优先均衡信息矩阵的最弱谱方向，但严格尊重 rank-k interlacing”。
Method
1. Tight eigenvalue relaxation：解决 convex hull relaxation 太松的问题。作者没有在矩阵空间放松，而是在 eigenvalue 空间加入 Weyl 上界 t_j+beta_j<=t_{j+hat d}。这一步把 rank-k 约束从非凸矩阵约束转化为线性谱容量约束，是整个方法成立的入口。
2. Water-filling：解决如何在 relaxation 中全局优化的问题。对非增 f，预算一定用满；给定总预算，最均匀的可行谱向量 majorized by 所有其他可行谱向量，因此对所有 symmetric convex f 同时最优。这里的核心变化是从“针对准则优化”变成“找 majorization-minimal feasible spectrum”。
3. General symmetric convex case：若 f 不非增，预算未必用满。作者把问题降到一维 s in [0,k]：对每个 s 做 water-filling，再搜索最优 s。这个部分相对辅助，主要扩大理论覆盖；自然实验设计准则基本落在非增情形。
4. Small-support alternative beta'：water-filling 得到的 beta 可能 support 大于 k，无法直接作为 diag(beta)=XX^T 实现。Lemma 3.1 说明存在一个 permutation-equivalent 的 beta'，support 至多 min(d,k)，且 f 值不变。这一步非常关键，因为它把谱最优解转成 rank 可实现对象。
5. Schur-Horn realization：解决从 PSD matrix 到 k 个单位球向量的因子化。Lemma 3.2 精确刻画可实现集合为 {M PSD: Tr(M)<=k, rank(M)<=k}，并用 Schur-Horn 构造列范数均匀不超过 1 的 X。它不是普通 rounding，而是 exact realization。
Key Insight / Why It Works
最重要 insight 是：在连续欧氏球设计空间中，rank-k 非凸性对谱目标并不造成真正组合复杂性，因为它可以被 eigenvalue interlacing 完整吸收。Weyl 约束给出“能把小特征值最多推进到哪里”，majorization 给出“什么推进方式对所有凸对称目标最好”，Schur-Horn 给出“这个谱推进确实能由 k 个向量实现”。这三者闭环后，非凸设计问题变成了一个水位线问题。
真正有效的原因不是 numerical scaling，也不是更强求解器，而是 latent structure 被选对了：X 的几何自由度大部分是冗余的；对 spectral objective 来说，只需要确定 updated eigenvalue multiset。设计向量的具体位置只承担 realization 角色。换句话说，论文把问题的自由度从 kd 维向量压缩到 d 维谱，再进一步对非增目标压缩到一个 water level。
最核心贡献是“lower bound tightness”。很多论文会给 eigenvalue relaxation，但难点在于 relaxation optimal 是否可实现。本文通过 beta' small support + Schur-Horn 证明 tight，这使得算法不是 heuristic。特别是 Example 3.1 暗示直接令 XX^T=diag(beta) 会失败；作者绕过该失败的方式说明他们真正处理了 rank 可实现性，而非忽略它。
相对辅助的部分是 DFO 应用和一般 Lipschitz convex f 的 epsilon-optimal 搜索。DFO 只是一个合理动机：谱设计改善 regression matrix conditioning，尤其 E-optimality 控制最小特征值。但端到端优化增益未被充分归因。一般 f 的一维搜索也较自然，理论上完整，但主要自然准则已由非增情形覆盖。
这篇本质上不是 scaling paper；也不是 data/retrieval/memory 方法。若套用机器学习术语，它更像是找到了正确的 representation alignment：原变量 X 与目标 F 的表示不对齐，eigenvalue increments 与目标完全对齐，同时 Schur-Horn 保证可逆回原空间。
Relation To Prior Work
最接近的谱系有三条：continuous optimal experimental design、finite candidate exact design、以及 DFO sampling geometry。连续设计里，A/D/E 准则的凸性和 equivalence theorem 很成熟，但它通常允许 approximate allocations，弱化了固定 k 个向量的 realizability。finite candidate exact design 强调离散选择，复杂性高；本文避开离散候选集，利用连续球的旋转自由度得到多项式 exact solution。
和经典 matrix convex relaxation 的本质差异在于：本文没有停在 {M PSD, Tr(M)<=k}。它指出该集合只有 k>=d 时才 exact；k<d 时必须保留 rank<=k。更重要的是，它没有直接解 rank-constrained SDP，而是利用目标谱不变性把 rank 影响转译为 Weyl interlacing。这个转译是实质创新。
和已有 spectral function/majorization 理论相比，Schur-convex、Schur-Horn、Weyl 都是经典工具；新意不在定理本身，而在组合方式：Weyl 生成 tight lower bound，majorization 选 canonical optimum，Schur-Horn 完成 exact design realization。看似是已有矩阵分析思想重组，但重组后的结论很强：同一构造同时解决整个非增对称凸谱准则族。
和 DFO 文献相比，本文不是提出完整 DFO solver，而是为 regression-based sampling direction 提供一个最优几何模块。它比 coordinate/random directions 更原则化，但是否能取代成熟 trust-region/model-management 机制，文中没有证明。
Dataset / Evaluation
实验分两类。二维图示主要验证算法输出的设计形态，展示 prior eigenstructure 如何影响新向量放置；这对理解机制有帮助，但不构成性能证据。
DFO 部分使用 Moré-Wild/BenDFO smooth test problems，加独立均匀噪声，比较 DFBD + forward differences、DFBD + coordinate regression、DFBD + spectral design。覆盖的是标准小中规模 smooth unconstrained benchmark，不是真实昂贵仿真或物理实验；噪声也是理想化 additive noise。结果显示 regression variants 通常好于 forward differences，spectral design 多数情况下优于 coordinate design，但作者也明确说这是 proof-of-concept，不是与 state-of-the-art DFO solver 的全面比较。
因此 evaluation 支持的 claim 应限制为：谱设计可作为 noisy regression-based DFO 中的一个有前景采样方向模块。它没有充分支持“整体 DFO 方法优越”或“真实部署中稳定提升”。增益来源也不完全清楚：可能来自 reuse prior A、regression over finite difference、方向谱均衡三者叠加，而非 spectral design 单独贡献。
Limitation
最大前提是设计空间必须是 Euclidean unit ball，且目标只依赖 information matrix 的 eigenvalues。这个旋转对称性是 Schur-Horn realization 和 spectrum-only reduction 的基础；一旦加入 box constraint、线性约束、有限候选集、不同采样成本、方向禁区或非均匀范数上界，结论大概率不再 exact。
第二个前提是 rank-one updates 都等价且无权重。真实实验设计常有异方差、成本、重复采样限制、batch constraints 或 prior uncertainty；这些会破坏简单 trace budget 和 equal column norm realization。
第三，A/D/E 等准则在 A+XX^T 正定时才有限。如果 A 的 nullity 大于 k，则无论算法如何都无法补齐 rank，经典准则为 infinite。论文给出必要/充分条件，但这也说明方法无法绕过信息维度不足。
第四，scalability 理论上 O(d^3+kd)，瓶颈是 A 的 eigendecomposition。对非常高维 DFO 或 streaming setting，这可能不便宜；虽然比一般 SDP 好很多，但不是无成本。若 A 频繁更新，是否可用 incremental eigensolvers 文中未充分说明。
第五，DFO 实验的外推有限。forward difference baseline 不代表现代 DFO 上限；coordinate regression 是弱但合理的 baseline；没有系统 ablation 区分 prior reuse、k 选择、regression model、spectral criterion 的贡献。增益来源不清，可能主要来自更稳定 least-squares conditioning，而不是更深的优化行为。
Takeaway
- 1. 最值得记住的是：对连续欧氏球上的固定 k 谱设计，rank 非凸性并不必然导致计算困难；只要目标是 symmetric convex spectral，正确变量是 eigenvalue increments，而不是 X 或 M。
- 2. Water-filling + majorization 给出一个强于单准则最优的结论：非增谱准则族共享同一个最优设计。
- 这对实验设计很有迁移价值，因为它解释了为什么很多 A/D/E-like objectives 最终都在追求同一种“谱均衡”。
- 3. Schur-Horn 在这里不是装饰性矩阵分析，而是 exact rounding/realization theorem。
一句话总结
这篇论文把带 prior 的连续谱最优设计从非凸向量选择问题转化为 tight 的特征值 water-filling 与 Schur-Horn exact realization，是一类利用矩阵谱结构消解 rank 非凸性的结构性算法结果。