精读笔记

Problem Setting

[论文标题] Convergence of Continual Learning in Homogeneous Deep Networks（arXiv preprint / 2026-06-30）。这篇论文实际解决的是 continual classification/regression 在齐次深度网络中的收敛刻画问题，尤其是弱 L2 正则化 sequential fine-tuning 的隐式偏置。真正困难点不是任务定义，而是线性 CL 中依赖的凸投影结构在深网参数化下消失：任务 margin set 变成非凸集合，投影可能多值、不连续、非非扩张。以前线性理论能把任务重复解释为 POCS/alternating projection 的收敛；但一旦模型是参数非线性的，即使函数对数据是线性的，参数空间几何也足以让全局收敛失败。关键矛盾是：任务联合可分并不意味着顺序学习能找到共同可行点，因为每一步“保留过去”的局部最近投影可能系统性避开通往交集的方向。

Motivation

已有路线不够的地方在于，它们要么停在线性模型，要么把深网退化为浅层、NTK、mean-field 或 infinite-width regime，从而把深度的作用压缩成静态 feature 或最后一层适配。作者的核心观察是：弱正则化本身已经在 stationary classification 中导向 max-margin，在 continual linear classification 中导向顺序 margin projection；缺的正是 homogeneous DNN 版本。这个缺口重要，因为如果深网的非线性参数化只是把凸集合变成非凸集合，那么 forgetting 的来源就不再只是 task conflict 或 insufficient regularization，而可能是投影几何的结构性失败。

Core Idea

论文的核心思想是：不要直接分析 SGD 或 loss descent，而是在 λ→0 的弱正则化极限下，把每次训练重写为一个几何投影步骤。分类中，logistic loss 在 separable homogeneous model 上驱动参数范数发散；用 c_{λ,r}=(log 1/λ)^{1/r} 缩放后，loss 项 Γ-converge 到任务 margin set 的 indicator，而 L2 正则项留下到上一轮缩放极限的距离。因此每一步等价于投影到当前任务的 C_m={Θ: y_i f(x_i;Θ)≥1}。

本质区别在于，prior 的线性投影发生在凸 polyhedral set 上，因此全局收敛基本由 convex POCS 保证；这里的投影发生在 homogeneous DNN 诱导的非凸 margin set 上，收敛性质由局部 regularity 而非全局凸性决定。这不是一个新 inductive bias 算法，而是揭示标准 isotropic stability regularization 的隐式 bias：它偏向于在参数空间中选择离上一任务解最近的当前任务 max-margin 解。这个 bias 在凸情形稳定，在非凸情形可能把模型锁进错误几何分支。

Method

1. Γ-convergence 极限：解决非凸可行集下不能依赖 KKT/凸对偶的问题。通过证明缩放后的目标泛函收敛到 indicator(C_m)+distance-to-previous，得到弱正则化 CL 与顺序投影的等价。这一步是整篇的基础，因为它把 optimization 问题降维成 set geometry 问题。

2. 非凸失败构造：用 2-homogeneous squared linear model f(x;u,v)=<u^2,x>-<v^2,x> 构造两个单样本任务。虽然 C_1∩C_2 非空，但从原点开始的投影始终不更新某些关键坐标，导致距离共同可行集有常数下界，forgetting 也有常数下界。这个构造说明失败不是模型太复杂，而是非凸参数化本身足够制造 catastrophic forgetting。

3. 局部收敛上界：在 G-Lipschitz、β-smooth、r-homogeneous 条件下，作者证明可行集满足非凸投影理论需要的 (ε,δ)-regularity 和 κ-linear regularity。Euler homogeneous identity 给出沿 Θ* 方向的 MFCQ margin r；Lipschitz 给出 κ≈G||Θ*||/r；smoothness 控制局部曲率，从而使随机/循环投影在 Θ* 附近线性收敛。

4. 回归扩展：把 margin inequality 换成 equality constraint f(x_i;Θ)=y_i，平方损失弱正则化极限直接 Γ-converge 到可行集投影。它说明框架不是 logistic classification 特例，但回归需要 y_min≠0 来保证齐次方向上的正则性 margin。

Key Insight / Why It Works

最重要的 insight 是：continual forgetting 在这篇里被还原为“顺序投影在非凸集合上的失败”。这比常见的 stability-plasticity 叙事更尖锐：即便每个任务都被精确解决、任务重复无限次、共同解存在，非凸投影仍可能不接近交集。换言之，catastrophic forgetting 可以不是 optimization failure，而是 exact algorithmic bias 的结果。

方法成立的关键不是 scaling 本身，而是齐次性 + 弱正则化共同制造了一个可解析的极限。齐次性给出参数范数发散时的统一尺度，也通过 Euler identity 给出局部约束资格条件；弱正则化把“不要离上一任务太远”变成欧氏投影。这两者合起来让 continual learning 的动态能被 projection theory 接管。

最可能是核心贡献的是 Theorem 2.1 的 Γ-convergence 投影等价和 Theorem 3.2 的低维失败构造。局部线性收敛更像是把现成 nonconvex projection theory 接入 homogeneous networks，技术上重要，但机制上属于“在 regularity 足够好时不会坏”的上界。回归扩展也是框架完整性增强，不是主要 insight。

这篇不是 retrieval、memory reuse、curriculum、test-time compute 或 data coverage 论文；它本质上是 better geometric model of implicit bias。若硬要归因，增益来自 theoretical reframing，而不是 engineering/scaling。没有实验，因此不存在 benchmark leakage 或 data scaling 的问题；但也正因为没有实验，实际训练中这些极限机制是否主导行为，文中未充分说明。

Relation To Prior Work

最接近的谱系是三条：Rosset/Wei 的弱正则化 max-margin 极限，Evron 等人的 continual linear classification/regression 投影分析，以及 Lewis/Dao 等非凸投影收敛理论。论文真正新增的信息是把前两条在 homogeneous DNN 中拼起来，并指出拼接后不能继续享受凸投影的全局收敛。

和 continual linear classification 的本质差异是可行集几何：线性模型 C_m 是凸 polyhedron，projection 唯一且非扩张；homogeneous DNN 的 C_m 非凸，projection 多值且可能跳跃。很多表面形式沿用了 prior 的 sequential projection，但结论方向完全不同：linear theory 解释“任务重复为什么能修复 forgetting”，本文解释“为什么深网中即使重复也可能不够”。

和 stationary homogeneous max-margin 的差异在于 reference point 动态变化。单任务只需要分析从原点到一个 max-margin set；continual setting 每一步的正则中心是上一任务极限，导致 Γ-limit 不是固定函数序列，而是依赖上一轮极限的递归投影系统。这个动态 reference point 是证明难点，也是和 Wei2019 类结果的实质区别。

看似新的部分中，局部收敛率主要是既有非凸投影 regularity 结果的迁移；实质创新在于证明 homogeneous DNN 的 feasible sets 满足这些 regularity 的 sufficient conditions，并把常数解释成 r/G、||Θ*||、β 等模型几何量。

Dataset / Evaluation

这是一篇纯理论论文，没有常规 dataset / benchmark / 实验评估。evaluation 由定理、反例和证明构成：覆盖分类与回归、随机与循环 task ordering、全局失败与局部收敛两个侧面。它确实验证了论文的核心 claim——弱正则化 homogeneous CL 可被看成顺序投影，且非凸几何改变收敛性质。

但它没有验证实际深度网络训练中的可观测性：有限 λ、SGD、不精确优化、batch stochasticity、normalization、bias、residual architecture、pretraining distribution 都没有 empirical stress test。因此它支撑的是理论机制，不支撑“真实 CL 算法会按这些速率收敛/失败”的经验结论。文中关于 depth 通过 r/G 影响 forgetting 的解释很有启发，但仍是理论机制推断，不是实证确认。

Limitation

第一，最强的结论依赖 exact global minimization。现代深网 continual finetuning 通常不求每步全局 minimizer，SGD 的隐式偏置可能选择完全不同的非凸投影分支；这可能缓解，也可能加剧文中的失败机制。

第二，λ→0 且固定 k 后取极限是一个干净但理想化的 order of limits。实际中 λ 有限，k 很大，任务重复与正则强度共同作用；文中结论不能直接说明有限正则下是否出现同样的 trapped subspace。

第三，局部收敛的实用半径可能很小。δ 依赖 ε r/(β||Θ*||)，κ 依赖 G||Θ*||/r；深网中 G 可能随深度指数增长，导致理论保证随深度迅速变弱。这使得“pretrained model near C*”虽然直觉合理，但是否落在可证明邻域内文中未充分说明。

第四，模型类限制明显：无 bias、正齐次、smooth/Lipschitz 条件对 ReLU 网络并不完全自然，尽管可以用 smooth activation 或局部解释替代。归一化层、残差、adapter、LoRA 等真实结构会破坏或改变齐次几何。

第五，反例非常有力但也非常几何化。它证明非凸性足以导致 forgetting，却不说明这种失败在真实数据/架构中是否典型。增益来源不清的问题在这里反过来表现为：理论机制很清楚，但实际相关性需要额外实证或更结构化的 architecture-dependent regularity 分析。

Takeaway

• 1. 最值得记住的是：continual learning 的弱正则化极限可以被看作任务可行集上的顺序投影；在线性模型中这是收敛机制，在深度齐次模型中同时也是失败机制。
• 2. Catastrophic forgetting 可以是非凸参数几何的直接后果，而不需要任务不可兼容、优化失败或模型容量不足。
• 这给“防忘”提供了一个更底层的诊断维度：改变集合几何可能比单纯加强正则更关键。
• 3. 预训练的理论角色可以被理解为把初始化放入 C* 附近的局部 regularity basin；这比泛泛说 pretraining improves representation 更具体。

一句话总结

这篇论文把弱正则化 continual learning 在齐次深网中的隐式动力学严格还原为非凸顺序投影，从而把线性理论中的全局收敛叙事改写为“非凸几何决定遗忘与局部稳定性”的学习理论框架。