精读笔记
Problem Setting
这篇论文处理的是 monotone generalized Nash equilibrium problems with jointly linear constraints，其中每个玩家有 Hilbert 空间策略变量，公共约束 Ax∈K 原本定义在 Banach 空间，并且允许包含 PDE-constrained / stochastic risk-neutral 这类无限维结构。作者实际追求的是 normalized Nash equilibrium，而不是一般 GNE；在正则条件下它等价于 variational KKT point。
真正困难点是共同约束把玩家可行集绑在一起，使得“每个玩家单独优化”不再天然可分。若直接走 ALM 或 Moreau-Yosida，内层会出现一个耦合 NEP；若走 ADMM / forward-backward splitting，又通常要 strong monotonicity、cocoercivity 或很大的 proximal regularization。关键矛盾是：想要单调性级别的弱假设，又想要每步只解简单可分子问题。
Motivation
已有路线的问题不是没有收敛理论，而是理论与可计算性不能同时满足。正则化方法和 multiplier-penalty / ALM 对 Banach / PDE GNEP 是自然的，但每次迭代要求求解越来越难的耦合 equilibrium 子问题，甚至在 stochastic setting 下会被 scenario 数放大。BR/PHA 在标准 stochastic NEP 中可用，但共同约束一出现就会破坏简单 best-response 结构。
作者的核心观察是：ALM 的 coupling 主要来自二次罚项和 pseudo-gradient 的非线性部分；如果把非线性部分换成合适的 reflected quadratic surrogate，再用 sGS 对二次耦合结构做代数分解，就能把“内层 equilibrium solve”降级成一串 unconstrained quadratic programs，同时仍能用 maximal monotone operator 框架证明全局收敛。缺口就是一个在 monotone-only 条件下仍可证明的 decoupled ALM。
Core Idea
论文真正的核心不是“用了 sGS”，而是把 sGS 放进 proximal ALM 的 surrogate 子问题中，并设计了一个带历史梯度的 surrogate：2DxνJν(x^k)-DxνJν(x^{k-1})。这使算法看起来像 ALM + reflected forward step + block sGS implicit correction 的组合。
这改变了求解 GNEP 的信息组织方式：原先每步需要所有玩家共同响应一个 augmented Lagrangian equilibrium；现在每个玩家只看当前 sweep 中已更新/未更新的邻接块、固定的 reflected gradient 和公共 multiplier。sGS 的 backward-forward sweep 提供了对二次耦合的近似隐式处理，reflected gradient 提供了处理一般 monotone Lipschitz operator 的稳定项。相比 prior，它不是通过更强正则性换收敛，也不是通过更大 inner solve 换稳定，而是通过一个特殊 Lyapunov 结构把历史梯度误差吸收掉。
Method
1. 等式约束重写与变量复制：引入 z1 表示 Ax，z2 表示 x，把 IK 和 ϕν 都放到 z 端。这样 nonsmooth / constraint projection 与玩家策略更新分离。它解决的是 GNEP 中公共约束和个体 nonsmooth term 同时进入玩家子问题导致的不可分性。
2. Reflected quadratic surrogate：对每个玩家目标不用普通 gradient linearization，而用 2∇νJν(x^k)-∇νJν(x^{k-1}) 加 Σν proximal 项。它的作用是让单调 Lipschitz pseudo-gradient 下的前向误差可以进入 Lyapunov cross term，而不是要求 cocoercivity。
3. sGS decomposition：对 ALM 子问题中的 block-coupled quadratic system 做 backward sweep、z-update、forward sweep。其核心变化是把原本 coupled NEP 替换成 2N+1 个单目标二次/近端子问题；理论上等价于额外加入 sGS-induced proximal term T。
4. Inexactness 与 adaptive Σ：允许 summable residual 的 inexact subproblem solve，并用 pseudo-gradient difference 调整 βI。前者降低实际每步成本；后者避免必须知道全局 Lipschitz 常数 L。这里 adaptive rule 是实用补丁，但不是主要理论创新。
Key Insight / Why It Works
方法有效的关键在于两个误差源被同一个能量函数吸收：一个是 sGS 顺序更新造成的 block coupling residual，另一个是非 cocoercive monotone operator 的 forward-gradient residual。sGS 误差通过 T=UD^{-1}U^* 变成正半定 proximal metric；reflected gradient 误差通过 Lyapunov 中的 -2<PJ(x^k)-PJ(x^{k-1}), x^k-x^*> + L||x^k-x^{k-1}||^2 被控制。只要 Σν 大于 2L，就能让剩余项非负，从而得到 quasi-Fejer 类型下降。
最核心贡献应当是 surrogate 的设计和对应 Lyapunov 分析，而不是 ALM、变量复制或 sGS 本身。sGS 是已有大规模 convex composite optimization 中的成熟技巧；ALM/KKT maximal monotone 分析也标准。真正新增的是把 reflected forward-backward 的思想移植到 GNEP 的 alternating proximal ALM 中，并让它与 sGS decomposition 兼容。
哪些部分可能只是辅助：adaptive β 和 inexact sweep 主要是 engineering，使实现不必知道 L，并减少前期计算；较大 τ 的加速也是 ALM/ADMM 中常见现象。实验收益很可能来自三件事叠加：比 multi-ADMM 小得多的 proximal damping、inexact warm-start 效应、以及 PDE 例子中线性二次结构特别适合该算法。不能把这些收益全部归因于“更一般的 monotone theory”。
这不是 scaling/data/retrieval 类工作，而是 better operator-splitting inductive bias：通过历史梯度和 sGS metric 重塑迭代几何，使弱单调条件下仍能稳定拆分。它的本质是 test-time compute 的重组织：把难的 coupled equilibrium solve 换成多次 cheap block linear/quadratic updates。
Relation To Prior Work
最接近的谱系有三条：Banach-space GNEP 的 Moreau-Yosida / multiplier-penalty / ALM；Hilbert-space GNEP 的 ADMM / forward-backward splitting；以及 Sun-Toh 系列 sGS decomposition for convex composite conic programming。本文是这三条线的重组，但不是简单拼接。
相对 Moreau-Yosida 和传统 ALM，实质差异在于不再把内层 NEP 当成必须精确或高精度求解的对象，而是直接把它 surrogate 化、block 化。相对 ADMM-type GNEP 方法，差异在于它不靠 strong monotonicity / cocoercivity 来保证 splitting 稳定，而是靠 reflected gradient Lyapunov。相对 2025 年 sGS majorized ALM for GNEP，关键差异就是去掉 cocoercivity 等额外条件；这应当是本文最明确的理论推进。
看似新的部分中，变量复制、proximal ALM、sGS backward-forward sweep 都是已有思想；实质创新在于把它们组织成一个 monotone-only 可证明框架，尤其是 surrogate 公式和收敛势函数的匹配。
Dataset / Evaluation
实验集中在 risk-neutral PDE-constrained GNEP，两个一维随机椭圆 PDE 控制例子，包含共同 state constraint 和 box control constraint。它确实覆盖了论文声称的重要应用类别：infinite-dimensional、stochastic、joint state constrained GNEP。但覆盖范围仍然窄：都是线性 PDE、二玩家、1D 空间离散、Monte Carlo 固定采样，且问题结构是线性二次，非常有利于 quadratic surrogate 和线性系统求解。
评估主要比较 proposed inexact/exact sGS-APALM 与 multi-ADMM。结果支持两个 claim：该方法不需要巨大 proximal term，且在这些 PDE 例子上明显更可用；inexact sweep 和 τ>1 往往提升效率。但没有与 Moreau-Yosida method 做实测比较，作者解释为实现困难，这可以理解但也削弱了“优于 regularization route”的直接证据。benchmark 没有验证大规模 N、多维 PDE、非线性随机算子或真实工程部署，因此 scalability claim 仍主要来自机制推断而非实验充分证明。
Limitation
第一，理论一般性有边界。所谓 Banach-space GNEP 最终依赖一个 dense continuous embedding 到 Hilbert space，并在 Hilbert setting 中做 ALM 和 multiplier 分析；不是任意 Banach 几何下的算法。
第二，单调 + Lipschitz 仍是强前提。许多 PDE-constrained games 的 pseudo-gradient 是否全局 Lipschitz、是否 monotone 并不总是自然成立；一旦局部 Lipschitz 或非单调，当前 Lyapunov 结构可能失效。
第三，算法把 coupled NEP 的难度转移为 repeated block quadratic solves、projection 和 PDE solves。对于高维 PDE、大样本 stochastic problem 或玩家数很大时，sGS 的串行依赖可能成为核心瓶颈。文中未充分说明并行化、preconditioning、matrix-free Krylov 等实际大规模实现问题。
第四，Σν≻2LI 的条件可能导致保守 damping。adaptive β 虽然避免显式 L，但只保证有限次增大，不保证快，也不保证 β 接近最优。实践中 β 很小是好现象，但是否普遍成立文中证据不足。
第五，实验归因不完全清楚。multi-ADMM 失败可能部分因为其 adaptive residual strategy 导致 proximal term 过大，而非 ADMM 类方法本身不可行。缺少 ablation 来分离 reflected surrogate、sGS、adaptive β、inexact sweep、τ 的独立贡献。
Takeaway
- 1. 对 monotone GNEP，真正有价值的方向不是继续设计更复杂内层 NEP solver，而是把 equilibrium 子问题在算法层面消掉，同时保留 KKT monotone inclusion 结构。
- 2. Reflected-gradient surrogate 是可迁移 insight：在没有 cocoercivity 的 splitting 场景中，用历史梯度构造 Lyapunov cross term，可能比强行加入巨大 proximal term 更有效。
- 3. sGS 的角色应被理解为一种隐式 metric construction，而不是普通的顺序坐标更新；这个观点可以迁移到其他 block-coupled variational inequality / constrained game。
- 4. 下一步真正值得做的是非线性约束、非线性 PDE、大 N 并行化和更局部的 metric/line-search，而不是再在小型线性二次 PDE benchmark 上调参数。
一句话总结
这篇论文把 reflected-gradient surrogate、sGS-induced proximal metric 和 ALM 组合成一个 monotone-only 可证明的 decoupled GNEP 求解框架，实质贡献是在不求解耦合 NEP 的前提下放宽了既有 splitting 方法的算子正则性要求。