精读笔记
Problem Setting
[Accelerated and Stable Convergence with Anchored Optimistic Method]（arXiv preprint / 2026-06-23）
这篇论文实际解决的是无约束 monotone Lipschitz VI 中 last-iterate squared residual ‖G(x_k)‖² 的收敛问题，重点不是 ergodic gap，也不是 constrained game 的 duality gap。关键矛盾是：EG 类方法稳定但要两次 oracle；OM 类方法单次调用但随机下容易不稳定；Halpern anchoring 能加速 last iterate，但已有随机强保证通常依赖 variance reduction、growing batch 或非 last-iterate 输出。论文试图在“单次 oracle + last iterate + 不消灭噪声”的设定下获得可证明收敛。
真正困难点是 stochastic last-iterate stability。对于 monotone VI，平均意义上的收敛相对成熟，但 last iterate 会受到旋转结构和噪声累积的双重影响。尤其在 unbounded domain 上用 ‖G‖² 做 stationarity measure 时，不能借 compact gap function 的有界性兜底。
Motivation
已有路线缺的是一个不靠额外 oracle budget 来稳定随机轨迹的机制。EG 用额外查询换稳定；variance reduction / growing batch 用额外样本换噪声衰减；随机输出点或 averaged iterate 回避了 last-iterate 问题。作者的核心观察是：anchoring 不只是 deterministic acceleration trick，它也提供了一种逐步减弱的收缩场，可以把 stochastic trajectory 绑在 deterministic reference trajectory 附近。
因此本文动机可以理解为：能否用 Halpern anchor 的 transient strong monotonicity 替代部分 extragradient / variance reduction 的稳定作用？如果可以，单样本在线模型就不必为了 last-iterate guarantee 付出两次查询或增长 batch 的代价。
Core Idea
核心思想是把“乐观更新的信息复用”和“锚定到初始化点的收缩”放在同一个递推里。GOMA 的 deterministic 版本不是简单加一个 weight decay，而是让 y_k 和 x_{k+1} 都围绕 β_k x_0+(1-β_k)x_k 组织，并用 γ_k、η_k 解耦 prediction/update。这样做改变了信息流：过去梯度用于近似 extragradient 的 lookahead，而 anchor 给整个轨迹一个逐渐消失的强单调偏置。
随机部分的思想更关键也更微妙：作者承认 optimistic memory 在噪声下可能成为不稳定源，于是把 γ_k 设为 0，退化为 anchored interpolation + one stochastic forward step。这个版本本质上把“加速”换成“稳定”：每步误差都先被乘上 (1-β_k)，然后才注入新噪声。理论上这提供了足够的 contraction 来抵消单样本噪声累积。和 prior 的本质区别不是用了新的 oracle，而是改变了噪声传播路径。
Method
GOMA 的关键机制有三点。
第一，Halpern anchoring 解决的是 monotone 但非 strongly monotone 场景下缺少收缩的问题。β_k(x_0-x_k) 等价于加入一个以 x_0 为中心、系数逐渐衰减的强单调正则项；它不改变极限问题，但在 transient 阶段给 potential descent 提供结构。
第二，two-time-scale optimistic update 解决的是单次调用下如何模拟 extragradient 稳定性的问题。γ_k 与 η_k 不必相等，使 exploration 和 correction 的强度可以分离；确定性理论中这允许在单调用框架下达到 O(1/k²) squared residual。
第三，stochastic simplified GOMA 解决的是噪声下历史梯度复用不稳定的问题。γ_k=0 看似削弱方法，实际上是把不稳定源拿掉，只保留 anchor contraction。证明上通过 deterministic reference trajectory 控制 noiseless residual，再用 Lipschitz 与 monotonicity 控制 stochastic deviation。
Key Insight / Why It Works
最重要的 insight 是：anchoring 在这里同时扮演 acceleration regularizer 和 stochastic stabilizer，但这两个角色并不完全由同一个算法实现。确定性 GOMA 的 O(1/k²) 来自 anchor + optimistic correction 的 potential 设计；随机 GOMA 的 last-iterate 收敛主要来自 anchor-induced contraction，而不是 optimism。换句话说，论文标题里的“anchored optimistic method”在随机主结果里其实 optimistic 成分被关掉了。
真正有效的部分大概率是 anchor，而不是复杂的 two-time-scale 细节。two-time-scale 在确定性 proof 和实验常数上有用，但 stochastic theorem 的核心递推是 e_{k+1}≈(1-β_k)e_k - η_k noise，这与 memory reuse / test-time compute / retrieval 无关，更像一种逐渐减弱的 trust-region-to-initialization。它引入的 inductive bias 是：不要让随机轨迹自由漂移，而是始终和初始化参考轨迹保持耦合。
这不是 scaling 论文，也不是 data coverage 问题；增益来源主要是 dynamical regularization。可能只是 engineering 的部分是两个 deterministic schedules、常数优化、以及实验中 grid search 后的常数优势。真正可迁移的是 reference trajectory + stochastic stability decomposition：先证明一个保守 deterministic path 足够好，再证明 noisy path 被 anchor contraction 跟住。
Relation To Prior Work
它最接近三条谱系：Popov / optimistic gradient 的 single-call VI 方法、EG/FEG/DSEG 的 two-time-scale 稳定化、以及 EAG / FEG / Anchored Popov / Halpern iteration 的 anchoring acceleration。确定性部分本质上是这些思想的重组：最优 O(1/k²) squared residual 已不是新现象，anchoring 作为加速机制也不是新机制。
实质新增在 stochastic last-iterate claim：不靠 variance reduction、不靠 growing batch、不靠 bounded variance、不返回随机中间点，而是在 unbounded Euclidean domain 上控制最后一个 iterate 的 ‖G‖²。相比 E-Halpern / RAIN++，它牺牲速率和复杂度，换来算法形态更朴素、oracle model 更在线。相比 DSEG/FEG，它更强调 anchor contraction 而不是 extragradient exploration。
Dataset / Evaluation
实验覆盖了 deterministic negative-comonotone quadratic、stochastic bilinear additive noise、finite-sum multiplicative noise，以及附录中的 monotone QP Lagrangian。它们基本都是合成问题，适合验证动力系统层面的稳定性，但不构成对大规模 RL / adversarial training claim 的强证据。
实验确实支持两个局部主张：anchoring 能降低振荡，simplified GOMA 在 constant-batch stochastic toy settings 中比若干 baseline 更稳。但 evaluation 没有真正验证 scalability，也没有证明在真实非单调神经网络 min-max 中有效。negative-comonotone 实验还超出理论范围，只能说明 empirical robustness，不能支撑 theorem-level generalization。
Limitation
最大限制是随机理论和确定性加速之间存在断裂：确定性最优 O(1/k²) 是 GOMA 的 optimistic anchored 版本；随机 last-iterate 保证则来自 γ_k=0 的简化版本，确定性只剩 O(1/k)。因此论文并没有证明“带 optimism 的 accelerated GOMA 在随机单样本下稳定且加速”。
第二，随机速率偏慢，E‖G‖²=O(1/√k) 对应 SFO complexity O(ε^{-4})，离近最优 O~(ε^{-2}) 有实质差距。作者把问题从 oracle 数量转移到了迭代复杂度上；这在 online 单样本模型中可能合理，但不能说整体更高效。
第三，理论依赖 monotone、global Lipschitz、unconstrained residual、state-dependent second moment 的具体形式，以及 κ/L 进入步长。真实 min-max 神经网络通常非单调、局部 Lipschitz、噪声结构复杂，anchor-to-initialization 也可能表现为普通 weight decay / implicit regularization，而不是真正 equilibrium acceleration。
第四，实验规模小且增益归因不完全清楚。GOMA 的优势可能来自 anchor schedule 和较保守步长，而非 two-time-scale optimistic design；文中未充分说明不同机制的消融强度。
Takeaway
- 1. 对 stochastic VI last-iterate，最值得迁移的不是 optimistic trick，而是 anchor-induced reference tracking：用一个可分析的 deterministic path 作为骨架，再证明 noisy path 被收缩跟住。
- 2. Halpern anchoring 可以被看作 transient strong monotonicity，而不是单纯 momentum 或 weight decay；这个视角可能适用于其他旋转型动力系统稳定化。
- 3. 单样本、不做 variance reduction 的 last-iterate 收敛是可行的，但当前代价是慢速率。
- 未来真正有价值的问题是把 stochastic stability 与 deterministic acceleration 合并，而不是二选一。
一句话总结
这篇论文把 Halpern anchoring 推到 single-call stochastic VI last-iterate 稳定化的位置上：确定性部分是 anchored optimistic acceleration 的整合，真正新增的是用 anchor contraction 在无 variance reduction / 无 growing batch 下获得最后迭代残差收敛。