精读笔记

Problem Setting

《Do Deep Networks Forget Initialization? A Forgetting-Time View of Practical Inductive Bias》（arXiv preprint / 2026）实际解决的是一个训练动力学中的归因问题：初始化诱导的函数先验是否真正进入最终 predictor。这里的关键矛盾是，随机网络确实有 nontrivial prior，但实践中的模型不是随机网络，而是经过优化器、batching、正则、schedule 和 checkpoint selection 过滤后的结果。困难点在于 initialization effect 很容易和 trainability、optimization speed、regularization strength、early stopping 混在一起；仅看最终 accuracy 或训练是否 interpolate 都不足以判断初始化是否被记住。以前的 simplicity-bias 路线偏静态，implicit-bias 路线偏 optimizer selection，但二者之间缺一个可测的“prior survival”诊断。

Motivation

作者的核心动机是拆开两个经常被混用的说法：初始化作为函数先验，和初始化作为 trainability device。已有工作证明 parameter-function map 偏向简单函数，但这只说明 t=0 的 prior；现代训练管线可能很快把这个 prior 擦掉。反过来，大规模训练经验中 initialization 往往只被当作稳定信号传播的工程选择，但 seed dependence 又说明初始条件有时确实留下指纹。缺口在于没有一个实验对象能回答“什么时候初始 bias survives training，什么时候被 optimizer dynamics overwrite”。这篇论文的观察是：初始化尺度 σ_w 是一个足够简单、可控、且在 BatchNorm/scale-invariant 网络中有动力学意义的 probe。

Core Idea

核心思想是把 initialization prior 的问题改写成 finite-time forgetting 问题。作者不试图直接测完整函数先验，也不试图定义最终模型的绝对复杂度，而是问：在固定训练管线 R 下，改变初始化尺度 σ_w 后，validation-selected predictor 是否仍系统性变化。如果变化大，说明训练保留了这部分 initial condition；如果变化小，说明这部分 prior 被训练过程擦除。

本质区别在于它把 inductive bias 从静态 architecture prior 转成了 pipeline-filtered prior。理论直觉来自 homogeneous / deep linear dynamics：gradient flow 会保留某些初始化相关 imbalance，因此低 LR SGD 可能长期记住初始径向尺度；finite-step SGD noise、显式 L2、adaptive preconditioning 则破坏这些守恒量，只是作用阶数不同。这个建模方式比“初始化好坏”更 general，因为它解释的是为什么同一个 initialization sweep 在不同 optimizer / regularization clock 下会呈现完全不同的最终依赖。

Method

1. initialization memory 诊断：固定 architecture、数据 split、训练 horizon、checkpoint rule，只 sweep σ_w，测最终 predictor 的 metric spread。它解决的是 seed-level anecdote 不可比的问题，把“初始化是否影响最终模型”变成训练管线的函数。

2. radial memory 读数：用 trainable kernel Frobenius norm 追踪最终参数尺度是否仍跟初始尺度耦合。它不是复杂度指标，而是判断初始径向信息是否被 optimizer overwrite 的辅助 probe。

3. interpolation / repair 分离：记录 τ_interp 和 τ_best，说明 fit labels、继续训练、以及 erase σ_w dependence 是不同事件。这个分离是必要的，因为低 LR SGD 可以 interpolate 但几乎不 repair generalization gap。

4. forgetting clocks：用 T_SGD=(1/b)∑η_k^2、T_L2=λ∑η_k、T_adapt=∑η_k 重标训练进程。核心变化是把 epoch count 替换为 accumulated implicit/explicit regularization strength，从而解释为什么长时间小步训练仍不忘记，而较大 LR、weight decay 或 adaptive methods 会更快忘记。

Key Insight / Why It Works

最重要的 insight 是：初始化记忆不是由训练误差决定的，而是由哪些动力学项破坏了 gradient-flow-like conservation 决定的。低 LR、大 batch、无 decay 的 SGD 接近连续梯度流；在 homogeneous / scale-invariant 模型中，这类流会保留 layer imbalance 或径向尺度相关量。因此模型可以把训练集拟合到几乎一样，却在最终函数和泛化上保留很大的 σ_w 指纹。

真正有效的贡献是 forgetting-time 视角，而不是 CIFAR 上发现 Adam 比低 LR SGD 更稳。Adam-family 的优势在这里更像 optimizer geometry 带来的 memory erasure：adaptive preconditioning 打破欧氏梯度更新中的一阶 cancellation，使初始化相关量能在 ∑η 的一阶 clock 上移动。SGD 不是不能忘记，而是需要足够大的 finite-step / stochastic clock 或显式 norm decay clock。换言之，正则化并非只改善泛化，它同时在擦除 initial condition。

哪些可能只是辅助：norm plots、repair gap、depth sweep 是有用 sanity checks，但核心机制不依赖这些具体可视化。哪些可能主要是 engineering / scaling：标准 ResNet recipe 下 memory collapse 与高精度共现，很可能是 large LR + momentum + weight decay + augmentation 的组合效应；论文能说明“足够正则化的 recipe 会忘记”，但不能精确归因哪一项贡献最大。这里没有 retrieval、curriculum、test-time compute 或数据覆盖问题；本质是 optimizer-induced regularization / dynamical symmetry breaking。

Relation To Prior Work

它最接近三条谱系的交叉点：random-network simplicity prior、implicit bias / modified loss、以及 scale-invariant optimization。和 Mingard / Valle-Pérez 等工作的本质差异是：那些工作强调 parameter-function map 在初始化处的 Occam bias；本文问这个 bias 是否能 survive training。和传统 initialization / signal propagation 工作的差异是：后者关心能不能训、梯度是否稳定；本文关心训完后 predictor 是否仍带初始化指纹。和 implicit regularization 工作的关系最紧密：T_SGD、T_L2、T_adapt 基本是在 backward-error / modified-equation 语言下重新组织经验现象。

看似新的部分不是守恒律本身，deep linear imbalance conservation 和 finite-step leakage 都有前史；实质创新在于把这些理论碎片变成一个可测的 practical inductive bias diagnostic，并用大规模 controlled sweep 显示 interpolation、epoch count 和 forgetting 可以分离。这比单纯比较 Adam/SGD generalization 更有信息量，因为它揭示了 optimizer 正在决定初始 prior 的保留时间。

Dataset / Evaluation

评估设计对论文核心 claim 是比较有力的，因为它不是追求 SOTA，而是 controlled phase diagram：同一 CIFAR-10 / ResNet 设置下系统 sweep σ_w、optimizer、batch size、LR、L2、depth、normalization、augmentation 和训练长度。它验证了三个关键点：低 LR SGD 的 σ_w dependence 不是未拟合导致；长训练本身不等于 forgetting；加入足够累计正则后 SGD 也能忘记。

但 evaluation 的覆盖范围明显有限。所有主结论都来自 CIFAR-10 ResNet 家族，且大量现象与 BatchNorm/scale invariance 强相关；这不等价于证明 ViT、LLM 或无归一化网络中的 initialization prior 会以同样 clock 消失。benchmark 充分支持“在该 controlled setting 中 initialization memory 可区分 training regimes”，但还不足以支持“现代训练普遍会擦除 initialization prior”这个更强命题。真实大规模训练中的 seed dependence、data order、optimizer state、distributed noise 可能引入新的 memory source。

Limitation

核心前提是 σ_w 能代表一个有意义的 initialization-memory probe，但它只是一维尺度扰动，不覆盖 initialization distribution 的形状、layerwise scaling、feature diversity、bias initialization、μP scaling 等更丰富的 prior。若某些初始化差异主要体现在方向、频谱或 token-level structural bias 上，σ_w sweep 可能测不到。

理论上，linear / homogeneous conservation law 只是机制类比，不是 BatchNorm ResNet 的定理。文中未充分说明 nonlinear feature learning、BN running statistics、augmentation 和 checkpoint selection 如何具体耦合到这些 clocks。Adam 的 forgetting 归因也偏粗：adaptive preconditioning、effective LR、implicit normalization、momentum-like averaging 都可能参与，增益来源不清。

还有一个上限：memory erasure 与好泛化在实验中高度相关，但这不必然是因果关系。可能的解释是，足够强的正则化同时导致两者；也可能在某些任务上，保留初始化先验反而有益。论文更像建立了一个 diagnostic 和 organizing principle，而不是给出可普适预测最终泛化的理论。

Takeaway

• 1. 实践 inductive bias 应该看成 initialization prior 经训练动力学过滤后的结果，而不是 architecture prior 本身。
• 2. interpolation 不是 forgetting；训练集拟合完成后，模型仍可能强烈记住初始化尺度。
• 3. epoch 数不是正确时间单位；真正控制遗忘的是累计正则化 clock：SGD finite-step/stochasticity、显式 L2、adaptive preconditioning 分别以不同阶数作用。
• 4. 初始化设计在正则化丰富的现代 recipe 中更可能主要服务 trainability，而不是留下持久 predictor-level prior；但在 gradient-flow-like regime 中，初始化仍是实质性的 solution-selection lever。

一句话总结

这篇论文把“初始化先验是否解释泛化”推进为“训练管线以什么时间尺度忘记初始化”的动力学诊断，真正贡献是用 initialization memory 和 forgetting clocks 连接随机网络 prior 与 optimizer implicit regularization。