精读笔记
Problem Setting
[Optimization with inequality constraints by the embedded gradient vector field method]（arXiv preprint / 2026-06-19）
这篇论文实际解决的是：如何把带不等式约束的光滑优化问题纳入作者已有的 embedded gradient vector field 方法，使一阶/二阶最优性条件可以在光滑约束流形上统一表达。真正困难不在 KKT 本身，而在不等式可行域不是单一光滑流形：边界、交界、active-set 切换会导致局部模型改变。传统 KKT 路线能给条件，但 active set、互补松弛、乘子符号是外部代数结构；Riemannian constrained optimization 路线则天然偏向等式约束流形。本文的关键矛盾是：如何在保留不等式问题几何边界信息的同时，把问题转化为可使用流形梯度/Hessian 的形式。
Motivation
已有等式约束的嵌入梯度方法已经能用 Gram determinant 给出乘子和 Hessian，但不等式约束缺少一个直接的光滑流形承载空间。平方 slack 变量是老技术，但多数工作把它作为数值/代数变换，而不是作为 active-set stratification 的几何生成机制。作者想填的缺口是：从 lifted manifold 的几何出发重新推出 KKT，而不是从 KKT 出发解释 slack。核心观察是 zi=0/zi≠0 正好编码 active/inactive constraints，因此不等式问题可以被拆成一族等式约束流形上的问题；乘子符号则可能从 slack 方向的 Hessian 曲率中自动出现。
Core Idea
论文的核心不是“用 slack 变量”这么简单，而是把 slack 变量视为把非光滑边界可行域嵌入到更高维光滑等式约束流形的坐标扩展。原始可行域是 lifted manifold F^{-1}(0) 在 x 空间上的投影；active constraints 对应 lifted manifold 中若干 slack 坐标为零的 strata。
这个建模改变的实质是：active-set 信息不再是算法猜测或 KKT 条件中的离散标签，而是由 lifted constraint manifold 的分层结构给出。嵌入梯度向量场随后在每个 stratum 上工作，通过 Gram 矩阵行列式给出乘子；restricted Hessian 的 slack 分量自动产生 μi≤0 或 μi<0 的符号要求。与 prior 的本质差异在于它把 KKT 的若干条件重新解释为几何投影与二阶曲率条件，而不是提出一种新的优化范式。
Method
关键机制可以压缩为四步。
第一，先把等式约束 hj=0 变成底层流形 M，并在 M 上讨论不等式 fi≤0。这一步解决的是等式约束与不等式约束混杂的问题，使后续梯度和 Hessian 都在同一 Riemannian 语言中表达。
第二，引入 Fi(x,z)=fi(x)+zi^2/2，把不等式可行域变成 F^{-1}(0) 的投影。平方 slack 的必要性在于它同时保证 fi≤0 和 zi=0 ⇔ fi=0；线性 slack 无法提供这种无符号投影结构。
第三，移除 singular points，并按 zi=0 的集合划分 strata。这个步骤解决的是 active gradients 线性相关时无法应用 regular value theorem 的问题；代价是方法只在 LICQ-like regular 区域内完整成立。
第四，在每个 active stratum 上构造 embedded gradient ∂F0=∇F0−Σσα∇Fα，并用 restricted Hessian 判别局部极小。投影后得到只含 active constraints 的 μi 公式，inactive multipliers 为零，二阶条件给出 μi≤0/μi<0。
Key Insight / Why It Works
最重要的 insight 是：乘子符号来自 lifted slack directions 的二阶曲率，而不是额外补充的 KKT sign convention。因为在 active constraint 上 zi=0，切空间对 wi 方向没有约束；restricted Hessian 中出现 −μi wi^2。若要极小点的 lifted Hessian 半正定，必须有 μi≤0；若要正定，则必须 μi<0。这是全文最有价值的几何解释。
方法成立的根源不是 scaling、data、benchmark，也不是新的数值技巧，而是一个更好的 latent structure：把 inequality boundary 的组合结构编码进 slack-coordinate stratification。它本质上是 active-set geometry 的显式化。真正核心贡献是二阶条件与 multiplier sign 的几何来源；determinantal multiplier formula 更像作者既有 embedded gradient framework 的自然复用。
需要直接判断的是：这篇论文更像理论重框架，而不是优化算法突破。它没有减少求解 KKT/active-set 条件的本质难度，也没有避免 active-set 枚举；它主要把传统条件放到一个统一几何语言下，并在 regular strata 上给出干净推导。所谓 algorithmic procedure 目前更接近 symbolic/geometric workflow，而不是 scalable optimizer。
Relation To Prior Work
最接近的路线有三条：经典 KKT/active-set nonlinear programming，平方 slack 变量技术，以及作者此前的 embedded gradient vector field / Hessian on constraint manifolds。
与 KKT 相比，本文没有改变 stationarity 的数学内容；差异在于 derivation path。KKT 是变分/代数条件，本文从 lifted manifold 的受限梯度和 Hessian 推出同样结构，并解释乘子符号为什么出现。
与 Tapia、Fukuda-Fukushima 的 slack-variable 分析相比，本文的新意不在 slack 等价性，而在把 slack 后的 regular level set 分层，并把每个 active set 作为一个 Riemannian submanifold 来处理。
与作者旧工作相比，本文是从等式约束扩展到不等式约束；技术上主要新增的是 slack-induced stratification 和由 slack Hessian 项导出的 complementarity/sign interpretation。看似新的很多公式，其实是已有 Gram/Cramer 嵌入梯度公式在 active strata 上的重用。
Dataset / Evaluation
没有 dataset，也没有通常意义上的 empirical benchmark。evaluation 是理论定理加 double ice-cream cone 示例。这个示例覆盖了内点、单约束 active、双约束 active、退化互补性等情形，足以展示框架如何组织候选点和二阶判别。
但它并不验证数值 scalability，也不验证相较 SQP、active-set、interior-point 的实际优势。示例反而暴露了方法边界：当 c 位于 cone 边界时，μ=0 导致一阶/二阶测试不能完全判定，需要额外几何/紧性分析。因而 evaluation 支持的是“几何重述能工作”，不是“这是更强的优化算法”。
Limitation
核心前提是 regularity/LICQ。论文明确依赖 active gradients 线性无关来保证 strata 是光滑子流形；一旦进入 singular region，方法没有完整理论闭包。文中未充分说明如何系统处理 degeneracy，只在 cone 示例中移除奇点或用 ad hoc 分析。
scalability 上限也明显：按 active set 分层意味着最多 2^m 个 strata。对于约束很多的问题，这不是可扩展算法，除非后续结合 active-set selection、continuation 或数值筛选机制。文中关于 steepest descent/Newton-type 的讨论偏方向性，缺少收敛性、复杂度和数值稳定性证据。
另一个限制是平方 slack 变换会引入 z 与 −z 的多重 lift，并在 z=0 边界产生退化结构。几何上这是 feature，数值上可能是 burden。Gram determinant 公式在约束梯度接近相关时也可能病态；这正是实际优化中常见的困难区域。
最后，二阶条件在 μ=0 时无法判定，这不是小瑕疵，而是 strict complementarity 失败时的本质缺口。论文的框架没有真正解决退化 KKT，只是清楚地暴露了它。
Takeaway
- 第一，最值得迁移的 insight 是：把 inequality 的 active-set 组合结构编码为 lifted equality manifold 的 stratification，可以让一阶和二阶条件在统一几何语言下推导。
- 第二，乘子符号可以从 slack directions 的 Hessian 正定性中读出，这是比“补充 KKT sign condition”更干净的解释。
- 第三，这篇论文推动的是理论组织方式，而不是数值性能；未来真正值得做的是 singular strata、μ=0 退化情形和 active-set 枚举复杂度。
- 第四，如果要把它变成实用算法，关键不在 determinant formula，而在如何稳定选择/追踪 strata，并避免 Gram 矩阵病态。
一句话总结
这篇论文把平方 slack、active-set 分层和 embedded gradient/Hessian 几何统一起来，实质贡献是对 KKT 尤其乘子符号与二阶条件的几何重解释，而不是一个已证明可扩展的新优化算法。