精读笔记

Problem Setting

[论文标题] Convergence Rates of Tseng's Splitting Method and Its Acceleration Schemes for Monotone Inclusion Problem with a Sum of Hölder Continuous Operators（arXiv preprint / 2026）。论文实际解决的是：在单调包含 0∈F(x)+G(x) 中，G maximally monotone，T=F+G monotone，而 F 不是 Lipschitz、甚至不要求自身全局 Hölder，只要求 F=Σ_i F_i 且每个 F_i 为 Hölder 连续时，Tseng splitting 及其加速变体还能给出什么残差收敛率。真正困难点在于 Tseng/EG 类方法的标准下降式需要用 Lipschitz 性吸收 ||F(y)-F(x)||^2；Hölder 情况下该项是 ||y-x||^{2α_i}，当 α_i<1 时不能直接被二次稳定项控制。关键矛盾是：extra-gradient 的稳定机制天然是二次型，但低正则算子的误差是次二次型；如果还想保留单调包含与 resolvent splitting 结构，就必须通过步长衰减和误差预算重新平衡两者。

Motivation

已有路线不够的地方很明确：Lipschitz 分析太强，单个 Hölder operator 的 mirror-prox/VI 分析又不能覆盖 F=Σ_i F_i 但 F 本身不全局 Hölder 的情形。作者的核心观察是，sum-of-Hölder 不是一个形式细节，而会破坏直接把 F 当作一个 Hölder oracle 的分析路径；因此需要在每个 F_i 层面分别处理误差。另一个动机是检验 Halpern / symplectic acceleration 在低正则性下是否仍然是“无脑加速”：论文的结论其实是否定的，加速只有在 α 足够大时才有意义。缺口不是缺一个新迭代公式，而是缺一套能同时处理 maximally monotone G、sum structure、Hölder continuity 和 accelerated Lyapunov 的收敛率证明。

Core Idea

论文真正的核心思想是把 Lipschitz 分析中“固定步长 + 二次吸收”的结构，替换为“衰减步长 + Hölder-Young 误差预算”。对每个 F_i，作者把 N^2 L_i^2 s_k^2 λ^{α_i} - d^2 λ 这种项做 supremum 上界；选取 s_k 的衰减速度后，这个 supremum 被压成 O(1/k) 或 O(Σ_k^2/k^{3α})。这样一来，Hölder 非线性不再需要被逐点吸收，而是作为可累积的 Lyapunov drift 出现。和 prior 的本质区别不是算法结构，而是分析视角：不再假设 F 整体有一个统一 oracle modulus，而是把 sum structure 显式带入误差分配。加速部分的核心也不是新 acceleration，而是把同样的 Hölder 误差预算嵌进 com-FEG/SCEG 的势函数，使原本 Lipschitz 情况下的 O(1/K^2) 势能下降退化为 O(K^{-(3α-1)})。这个退化率揭示了 acceleration 与 operator smoothness 的耦合：低 Hölder 指数下，动量/anchor 结构需要更激进地缩步，最后抵消了加速收益。

Method

关键机制可以压缩成三点。第一，Tseng splitting 仍使用 y_{k+1}=J_{s_kG}(x_k-s_kF(x_k)) 与 forward correction x_{k+1}=y_{k+1}-s_k(F(y_{k+1})-F(x_k))；它解决的是 G 非光滑/maximally monotone 与 F 显式计算的分裂问题，变化只在于 s_k≈k^{-(1-α)/2}，用时间衰减换取 Hölder 误差可控。第二，对 sum-of-Hölder 的处理不是把 F 合并估计，而是逐项利用 ||F_i(x)-F_i(y)||≤L_i||x-y||^{α_i}，再通过 supremum trick 把每个 α_i<1 的坏项转成 O((1-α_i)/(α_i k))；这一步是论文证明能覆盖“和算子不 Hölder”的关键。第三，加速算法保留 com-FEG 的 anchor Lyapunov 和 SCEG 的 z_k symplectic Lyapunov，核心变化是 s_k≈k^{-3(1-α)/2}；这个指数不是 arbitrary tuning，而是为了让 Σ_k^2/k^{3α} 形成临界 harmonic sum，从而得到 log K 级 drift 和 K^{-(3α-1)} 级残差。

Key Insight / Why It Works

最重要的 insight 是：Hölder continuity 下的 convergence degradation 不是简单把 Lipschitz 率中的 1 替换成 α，而是由“算法势能增长速度”和“Hölder 误差可求和性”共同决定。Tseng 的势能尺度是 Σ s_k^2，因此选 s_k^2≈k^{-(1-α)} 后总权重≈K^α，误差≈log K，得到 Õ(K^{-α})。加速法的势能尺度是 Σ_k^2，若 s_k≈k^{-3(1-α)/2}，则 Σ_k≈K^{(3α-1)/2}，残差率变成 K^{-(3α-1)}。这说明加速在低正则场景下不是 free lunch：它放大了对局部光滑性的需求。最可能的核心贡献是这个速率相变：α>1/2 时加速优于 Tseng，α<1/2 时加速更差；α≤1/3 时甚至理论上无法保证该 accelerated Lyapunov 给出收敛。相比之下，GCFEG/GSCEG 的具体公式大多是已有加速分裂方法的复用，创新性弱于误差预算和阈值解释。这里没有 data、retrieval、representation alignment 这类机制；若用机器学习类比，它本质上是 scaling law of regularity：算子正则性 α 决定 test-time iteration scaling 的最优形态。文中实验中 SCEG 经常更快，但这部分增益来源不清，可能主要来自参数/常数和 symplectic 动量形式，而非理论阶数本身；尤其 α=0.8 时 Algorithm 1 理论更快但实测未必优于 EG，说明 asymptotic rate 对有限步性能解释有限。

Relation To Prior Work

这篇属于 Tseng forward-backward-forward / extra-gradient / mirror-prox / Halpern acceleration / symplectic acceleration 这条谱系。和 Nemirovski mirror-prox Hölder VI 的区别在于：这里处理的是 monotone inclusion with maximally monotone G，而不是仅闭凸集上的 VI；指标也从 Minty gap 或 projected residual 转向 dist(0,T(x))。和 Dang-Lan、Stonyakin 等 Hölder VI 工作相比，新增信息是 sum-of-Hölder 而非整体 Hölder 的处理。和 Yang et al. 的 com-FEG、Yuan 的 SCEG 相比，算法并不本质新，主要是把固定步长 Lipschitz 分析改造成 Hölder 衰减步长分析。看似新的“generalized”算法，更像已有算法在非 Lipschitz regime 下的 step-size rescaling；实质创新在于证明结构揭示了加速率 K^{-(3α-1)} 及其与 Tseng K^{-α} 的交叉点。论文没有提供新的 monotonicity assumption、oracle model 或 splitting primitive，因此不应把它理解为新一代算法，而应理解为已有 EG/Tseng acceleration 在 Hölder-sum 单调包含中的 sharp-ish extension。

Dataset / Evaluation

实验覆盖三个合成/半合成问题：lp 球约束最小化、非梯度 Hölder 单调方程、lp 正则化 minimax。覆盖面对于验证理论机制是够的，因为它们分别测试了 constrained G≠0、G=0 非梯度单调算子、以及 F=F1+F2 的 mixed Lipschitz/Hölder sum。实验基本支持论文核心 claim：α 高时 accelerated variants 可能更快，α 低时普通 EG/Tseng 更稳，α≈1/2 附近存在性能交叉。但 evaluation 的外部有效性有限：全部是构造型数值实验，没有真实应用、没有未知 Hölder 参数、自适应步长或大规模稀疏结构测试。实验更像 sanity check，而不是证明该方法在真实 deployment 中优于现有 adaptive line-search / universal methods。文中也没有系统拆分常数、步长保守性和 Lyapunov 速率之间的关系，因此有限步增益归因不清。

Limitation

最核心限制是参数依赖：步长需要 α=min_i α_i 以及 L_i 级信息，真实问题中这些常数往往未知或极度保守。方法成立依赖 T monotone、G resolvent 可计算、SOL 非空、每个 F_i 全局 Hölder；其中全局 Hölder 本身在很多机器学习/博弈问题中未必自然。加速法还有硬阈值 α>1/3，且只有 α>1/2 才理论上值得用；因此它不是普适加速，而是高正则区间的加速。sum-of-Hölder 分析被最差 α_i 支配，scalability 上限明显：一个低正则分量会拖垮整体速率，即使其他分量 Lipschitz。常数中含 N、L_i、α_i 和 log K，可能非常差；论文没有证明这些依赖不可避免。另一个限制是 residual 指标较局部，dist(0,T(x_K)) 小并不直接给出 solution distance，除非再加 metric subregularity、strong monotonicity 等条件。数值上 accelerated 方法在 α 小时不收敛或很慢，说明所谓 acceleration 可能只是高正则 regime 下的 Lyapunov artifact，而不是稳健算法改进。

Takeaway

• 第一，Hölder 正则性下的 EG/Tseng 分析可以通过“逐分量 supremum + 衰减步长”系统化地替代 Lipschitz 吸收，这是可迁移到其他 splitting/VI 方法的证明模板。
• 第二，加速与低正则性存在明确冲突：α>1/2 才有阶数收益，α<1/2 时应优先选择更保守的 Tseng/EG，而不是套用 Halpern/symplectic acceleration。
• 第三，sum-of-Hölder 是一个真实建模差异，不应随手把 Σ_i F_i 当作整体 Hölder oracle；未来更值得做的是自适应识别各分量正则性并避免最差 α 统治。
• 第四，这篇真正推动的是非 Lipschitz monotone inclusion 的 rate accounting，而不是新算法工程；后续价值在于未知参数、自适应步长、lower bound 和更强误差度量。

一句话总结

这篇论文把 Tseng splitting 及 Halpern/symplectic 加速从 Lipschitz 单调包含系统推进到 sum-of-Hölder 场景，并用收敛率相变说明：低正则下 acceleration 不是免费收益，而是由 Hölder 指数严格控制的步长-scaling 现象。