精读笔记

Problem Setting

这篇论文实际解决的是一般单调随机 IVI 中“无逆映射、弱结构、带噪声”的投影求解问题。SIVI 的困难在于变量 x 是控制/价格/政策，F(x) 是响应，约束作用在响应 F(x)∈X 以及对应法锥条件上；但算法只能评估 noisy forward response G(x,ξ)，不能访问 F^{-1}。以前方法卡在两个强假设：co-coercivity 给投影法提供类似梯度下降的下降结构，strong monotonicity 给唯一性和收缩；一旦只有 monotonicity，投影残差不再天然收缩，随机误差还会破坏弱下降。关键矛盾是：要在没有强曲率的病态单调问题上做随机近似，同时还要得到非渐近 rate。

Motivation

已有路线不够的根本原因是它们把稳定性寄托在问题本身的强结构上：co-coercive SIVI 可以拿到 O(1/T) 型结果，但覆盖面窄；确定性 monotone IVI 的 Tikhonov/dynamical-system 路线能给渐近收敛，但没有 stochastic 非渐近复杂度。作者看到的缺口是：一般单调 SIVI 需要一个外源稳定化机制，而不是继续寻找不存在的自然收缩。于是思路变成：用正则化制造强单调，用 batch growth 消化随机性，用 residual analysis 而非解误差 rate 来给可量化保证。

Core Idea

真正核心不是一个新投影公式，而是把原始单调 SIVI 解释为一条正则化路径的极限问题。对每个 λ>0，F+λΦ 变成强单调，因此正则化 SIVI 有唯一解 x_λ；随着 λ→0，这条路径的极限点回到原始解集。算法的目标不是直接“解”弱单调问题，而是在 λ_k 逐渐减小的同时追踪 x_{λ_k}。

这个想法的本质差异在于，它把缺失的强单调性从问题假设中移到算法 bias 里。相比 co-coercive projection methods，它不要求 F 本身具备投影下降结构；相比确定性正则化动态，它把 stochastic approximation 的方差预算显式纳入递推，使每个误差项可求和并可转化为 residual complexity。

Method

方法层面只需要抓住三个机制。1）正则化算子 Φ：解决原问题缺少唯一性/收缩的问题；它把 F_λ 变成 λμ-strongly monotone，使正则化子问题可稳定跟踪。2）inverse projection update：通过 z_k=P_X[oracle+λ_kΦ(x_k)-η_k x_k] 构造对 SIVI 最优性条件的违背方向，更新 x_{k+1}=x_k-θ_k(regularized response-z_k)；这不是普通 projected gradient，而是在响应空间做投影、在控制变量上纠偏。3）increasing batch：解决随机误差在弱单调场景下无法被固定步长/固定 batch 吸收的问题；batch 增长让噪声项进入 summable perturbation。参数 schedule 的作用是平衡四类量：正则化偏差、路径漂移、投影残差下降、采样噪声。

Key Insight / Why It Works

最重要的 insight 是：一般单调 SIVI 不需要直接构造原问题的收缩映射，而可以构造“移动的强单调近似问题”，再证明算法能跟上这条路径。有效性来自两层分离：λ_kΦ 提供局部/暂时的强单调，λ_k→0 保证最终不改变原问题；N_k↑ 保证 stochastic perturbation 不累积成不可控 bias。

核心贡献最可能是 regularization-path tracking + nonasymptotic residual accounting 的组合。Tikhonov 本身不是新思想，increasing batch 也不是新思想；新意在于把它们放到 inverse VI 的投影残差结构里，并在一般 monotone、非 co-coercive 条件下闭合复杂度证明。残差 O(T^{-1/2}) 很自然，更多像弱结构 + 随机噪声下的保守 rate，而不是算法上突破性加速。

哪些只是辅助：固定 η residual 的 corollary 主要是为了实验可比性，不是核心理论突破；deterministic variant 基本是把噪声项置零后的同一证明；实验也主要是 sanity check。这里没有 retrieval、representation alignment、latent structure 或 planning；若用 ML 术语类比，它更像 curriculum/continuation：先解强正则化问题，再逐渐退火到原问题。增益主要来自 better inductive bias（人为强单调化）和 test-time compute/sampling scaling（batch 增长），不是来自更聪明的 stochastic oracle。

Relation To Prior Work

最接近两条线：一是 deterministic monotone IVI 的 Tikhonov/regularized dynamics，二是 co-coercive SIVI 的 projection-based stochastic methods。和前者相比，本文新增的是离散随机投影算法及显式 residual rate；和后者相比，真正区别是去掉 co-coercivity，用正则化路径替代原生下降结构。

看似新的部分不少其实是已有思想重组：Tikhonov regularization、Robbins–Siegmund、variable sample size、projection residual 都是成熟工具。实质创新在于把这些工具在 IVI 而非 VI 的几何中拼起来，并证明一般 monotone SIVI 的 O(T^{-1/2}) expected squared residual。它属于 monotone operator / stochastic approximation / regularization continuation 的技术谱系，而不是一种全新算法范式。

Dataset / Evaluation

evaluation 比较有限，主要是 n=100 的合成线性网络均衡例子：F(x)=(M+S)x+b，M 半正定、S skew-symmetric，使问题单调但非 co-coercive。这个设计很好地验证了“本文覆盖 co-coercive 方法不覆盖的类”这一点，但覆盖范围很窄。实验没有真实 road pricing、真实 network control、也没有内层 equilibrium solver 的计算误差；所谓应用场景更多是建模动机。

实验确实支持 increasing batch 对噪声控制的重要性，也展示 fixed batch baseline 会停滞或更差；但它没有充分验证 scalability、复杂网络结构、非线性 F、投影昂贵场景或高维 oracle budget tradeoff。总体看，实验验证的是理论机制的可视化，而不是证明方法在真实 SIVI 应用中优于 alternatives。

Limitation

最大的限制是问题假设仍然很强：F 必须 monotone 且 Lipschitz，解集非空，X 投影可高效计算，oracle 方差有统一控制，Φ 强单调且 Lipschitz。很多真实 inverse equilibrium 问题中，F 可能只是局部单调、带内层求解误差、甚至不可精确 unbiased 采样；这些都不在理论覆盖内。

第二，oracle complexity 很贵。为了 O(ε) expected squared residual，需要 O(ε^{-2}) iterations 和 O(ε^{-4-2δ}) stochastic calls，这说明方法把一部分困难转移给了采样规模。实际增益可能主要来自 scaling / batch growth，而不是单次迭代信息效率提升。第三，Tikhonov 正则化在多解情况下隐式选择解，文中未充分说明 Φ 如何影响被选中的 solution；这在控制/定价问题里可能不是无害细节。第四，rate 是 best iterate residual，不保证 last iterate，也不提供高概率部署保证。

Takeaway

• 1）一般单调 SIVI 的可行路线不是硬造 co-coercivity，而是用 Tikhonov continuation 人为制造可追踪的强单调路径。
• 2）随机版本的关键瓶颈是 oracle complexity；未来真正有价值的是 variance reduction、sample reuse 或多层 oracle error control，而不是再调 schedule。
• 3）这篇推进的是理论覆盖边界：从 co-coercive SIVI 扩展到 monotone SIVI，并首次给出显式非渐近 residual rate。
• 4）可迁移 insight 是：对弱结构 inverse/equilibrium 问题，可以先证明 regularized solution path 的极限一致性，再把算法分析降解为 path tracking。

一句话总结

这篇论文是 monotone SIVI 从“依赖 co-coercivity 的投影法”走向“正则化路径跟踪 + 方差控制”的理论推进，核心贡献是用 Tikhonov 强单调化换取一般单调条件下的几乎必然收敛和 O(T^{-1/2}) residual complexity。