精读笔记

Problem Setting

论文标题：Incremental Learning in Mirror Flows（arXiv preprint / 2026-06-23）。这篇论文实际处理的是 mirror flow 在边界小初始化下的奇异极限问题：训练轨迹为什么会先限制在低复杂度集合中，然后逐步释放更多自由度。困难点是该现象在原始时间尺度上退化，在 primal 变量上可能表现为跳变、不连续甚至非唯一；而在 dual 变量上又涉及无穷远初始化。已有 DLN 工作能给出 transition time 和 plateau level，但依赖非负正交坐标与 entropic potential 的特殊结构。本文要解决的关键矛盾是：incremental learning 看起来是模型特定的动力学现象，但其本质可能是 mirror potential 定义域边界的凸几何效应。

Motivation

已有路线不够的地方在于它们把 incremental learning 绑定到具体参数化：deep linear/matrix factorization 讲 rank saddle，DLN 讲坐标激活和 lasso path，但缺少一个统一解释“假设空间为什么随训练时间扩张”的机制。作者的核心观察是，小初始化在 mirror map 下等价于 dual 初始化趋向无穷远；如果按这个发散尺度重标定，原本的 smooth mirror geometry 会退化成只保留 dom h 的 hard constraint geometry。真正缺的是一个能处理非光滑 mirror potential、非满秩 quadratic loss、primal 非唯一选择的极限理论。

Core Idea

核心思想是把小初始化下的 mirror flow 看成一族 rescaled mirror flows，并证明 h/μ^ε 在 Mosco 意义下收敛到 ι_C。于是极限动力学不是原 h 的平滑 mirror flow，而是以 indicator function 为 mirror potential 的非光滑 mirror flow。由于 ι_C 的 conjugate 是 support function σ_C，primal 变量被刻画为在 ∂σ_C(w(s)) 上最小化 ℓ。

这个表述把 incremental learning 从“经过一串 saddle”改写为“沿着 convex set 的 face lattice 移动”。在 orthant 中，∂σ_C(w) 对应 active support；在 PSD cone 中，对应 dual kernel 上的 PSD matrices，因此 rank 随 kernel 维度增加；在 simplex 中，对应最大 dual coordinates 的 convex hull。和 prior 的本质区别是：复杂度增长不是从参数化代数中推出来，而是由 support-function subdifferential 的集合值几何直接给出。

Method

第一步是定义一般非光滑 mirror flow：dw/dt=-∇ℓ(x)，w∈∂h(x)。这不是形式推广，而是必要的，因为极限 potential ι_C 通常不可微，primal 变量也不应被强行写成 ∇h*(w)。第二步是利用 quadratic loss 将 dual dynamics 变成 subgradient flow：通过 Φ(w)=h*(w)-⟨M†q,w⟩ 以及 u=(M†)^{1/2}(w-w0)，把问题放入 Brézis 的 maximal monotone/subgradient flow 框架，得到 Lipschitz dual 唯一性和 primal 的 loss-minimizing selection。第三步是 rescaling：μ^ε=||w0^ε||，w̄^ε(s)=w^ε(μ^εs)/μ^ε，x̄^ε(s)=x^ε(μ^εs)。这个尺度正好让 dual displacement 和 loss gradient 同阶，同时让 h/μ^ε→ι_C。第四步是用 Mosco convergence + Attouch evolutionary convergence，证明 rescaled dual 轨迹一致收敛，loss/gradient 收敛，并且任意 primal accumulation point 都落在 Argmin_{y∈∂σ_C(w(s))}ℓ(y)。机制上最重要的是第三、四步；具体例子的算法仿真不是核心。

Key Insight / Why It Works

最关键的 insight 是：小初始化的作用不是简单让训练慢，而是选择了 mirror geometry 的一个 tropical / hard-constraint 极限。在这个极限中，h 的数值形状基本消失，只剩下 C=dom h 的凸几何；因此 incremental learning 的阶段结构由 C 的面结构决定，而不是由 h 的细节决定。这解释了为什么 entropic orthant、von Neumann entropy on PSD cone、simplex entropy 都能出现类似但不相同的逐步学习。

真正有效的部分是 support-function subdifferential 的 time-varying hypothesis set：∂σ_C(w(s)) 同时编码当前可用复杂度和下一次复杂度扩张的触发条件。dual 变量以 -∇ℓ(x) 推动，当它撞到 C 的 dual face 边界时，primal 可选集合突然变大；这就是 plateau/transition 的几何来源。orthant/simplex 中集合面结构离散，所以 primal 可 piecewise constant；PSD cone 的 kernel 子空间连续旋转/演化，所以 fixed-rank phase 内仍有慢动力学。这一点很重要：incremental learning 不必等价于 saddle-to-saddle jump。

这不是 scaling/data/retrieval 类贡献，也不是 benchmark 工程收益；它是更干净的 inductive-bias 归因：边界初始化 + mirror map = 复杂度集合的内生 curriculum。可能只是辅助的部分是数值仿真和与 matrix factorization 的定性对比；它们帮助定位现象，但不构成主要证明。本文最强的贡献是把 DLN 中看似特殊的 lasso/inverse-scale-space 行为提升为一般 convex-geometric 极限。

Relation To Prior Work

最接近的是三条线：DLN 的 entropic mirror flow 分析、inverse scale space / lasso path、deep linear 或 matrix factorization 的 saddle-to-saddle / greedy rank learning。本文和 DLN 工作的关系最直接：orthant + entropy 正是 DLN 的对角情形，本文把已有坐标激活机制抽象为 ∂σ_C(w) 的变化。对 asymmetric DLN，论文通过 lifted positive/negative variables 回到 orthant，并得到 weighted ℓ1 mirror potential，与 inverse scale space 的联系是实质性的而非类比。

和 saddle-to-saddle 叙事的差别更本质。本文不是从非凸参数空间中的临界点序列解释 incremental learning，而是从凸 mirror flow 的非光滑极限解释假设集合扩张。PSD cone 例子尤其说明两者不可混同：rank 增长存在，但 fixed-rank 内 primal 连续演化，且与矩阵分解的具体轨迹、激活顺序、plateau pacing 可以不同。因此，本文实质创新在于提供了一个更抽象、更可迁移的 convex-analytic 机制；看似新的 rank-increase 现象本身不是新发现，但其 mirror-flow 极限刻画是新增信息。

Dataset / Evaluation

这篇是理论论文，evaluation 主要是 synthetic simulations，不是数据集驱动的 empirical validation。覆盖的场景包括 non-negative orthant、PSD cone、probability simplex，以及 DLN / matrix factorization 的关联示例；这些例子足够支持“机制可跨几何迁移”的 claim，但不支持对真实神经网络训练的广泛断言。仿真验证的是有限小 ε 轨迹接近极限动力学，且显示 sparse activation、rank increase、simplex active-set expansion。没有真实世界任务、没有大规模模型、没有 stochastic training，也没有离散优化误差的系统分析。benchmark 不存在 leakage 问题，但也不能证明 deep learning 中 observed incremental learning 都由该机制解释。

Limitation

主要限制不是实验少，而是适用域窄。loss 必须是 convex quadratic，这是把 mirror flow 还原为 subgradient flow 并获得 Argmin selection 的关键；非二次 loss 下相同结论文中未充分说明。初始化必须以特定方向趋向边界，且 rescaled dual 初值要落在 dom ∂σ_C∩(ri dom σ_C+Span M)，这排除了不少退化情形。连续时间假设也很重：实际训练的 step size、SGD noise、finite ε transition sharpness 是否保留该极限结构，需要额外证明。

另一个上限是，该理论解释的是 mirror-flow-induced incremental learning，而不是一般神经网络的 incremental learning。matrix factorization 对比已经表明，即便现象同为 rank growth，mirror flow 和 factorized gradient flow 的中间 saddle、顺序和速度都可能不同。因此把 DLN 结论外推到 matrix factorization 或 transformer/MLP 是不可靠的。本文没有解决如何从真实非凸参数化中自动识别对应的 C、σ_C 或极限 face dynamics；这一点是机制迁移的瓶颈。

Takeaway

• 第一，边界初始化可以被理解为 mirror geometry 的 singular limit；真正留下来的 inductive bias 是 dom h 的凸几何，而不是 h 的平滑细节。
• 第二，incremental learning 的统一变量应是 time-varying hypothesis set ∂σ_C(w)，它比“saddle 序列”更一般，能同时覆盖稀疏、低秩和 simplex active-set 增长。
• 第三，DLN 是 mirror-flow 机制的特例，不应被当作 matrix factorization 或一般深网的可靠 proxy。
• 第四，未来值得做的是把这个极限理论推向非二次 loss、离散/随机 dynamics，并建立与真实参数化模型之间的定量桥，而不是继续只画 rank-growth 类比。

一句话总结

这篇论文把小初始化下的 incremental learning 从模型特定的 saddle-to-saddle 叙事提升为 mirror flow 的 indicator-potential 奇异极限理论，真正贡献是用 support-function subdifferential 给出可迁移的“逐步扩张假设空间”机制。