精读笔记

Problem Setting

论文标题：A Conservation Law for Equilibrium Propagation and Coupled Learning（arXiv preprint / 2026）。

这篇论文实际处理的是 EP 和 CL 这类物理局部对比学习方法的训练动力学结构，而不是重新证明它们可以近似 backprop 或在某个任务上工作。问题是：在物理网络通过能量最小化达到 free/clamped 状态、参数通过局部对比信号更新时，参数空间是否存在一个严格 invariant；如果存在，这个 invariant 对收敛和硬件可训练性意味着什么。

真正难点在于 CLLN 的学习是典型隐式 bilevel dynamics：给定参数 k，状态 x_0(k) 是约束能量最小化的解；nudged 状态 x_η(k) 又由另一个约束/外力系统给出；参数更新依赖 ∂_kG(x_η;k)-∂_kG(x_0;k)。因此更新方向不是显式函数，通常很难判断是否存在 Lyapunov 结构、是否会漂移、是否会碰到物理边界。

以前方法的瓶颈是：EP 可以解释成某种梯度流，但 CL 不完全是标准梯度流；物理学习实验中常见的 scale drift、conductance hitting boundary、edge death 更多是经验现象，缺少一个统一的动力学约束。本文把问题转成寻找参数流的 conservation law，这是一个比“loss 是否下降”更硬的结构。

Motivation

已有 EP/CL 理论关注局部更新如何产生有效监督信号，但对参数整体尺度几乎没有理论控制。硬件上这不是小问题：真实可调元件有有限动态范围，如果训练规则让所有 conductance 慢慢缩小或放大，即使输入输出映射看似接近目标，也可能在达到解之前先撞到边界。

作者的核心观察是：大量物理电路的能量并不是任意依赖参数，而是每个可训练元件以一个幅度因子乘上只依赖状态的局部能量项，即 G(x;k)=Σ_i g_i(k_i)G_i(x)。这相当于参数只改变元件响应强度，而不改变其形状。这个结构在电阻网络、训练 conductance/resistance、某些 separable nonlinear elements 中都自然出现。

关键缺口是：EP/CL 的局部对比规则看似只是近似梯度/物理启发式，但如果系统有这种尺度结构，更新方向其实被限制在某个固定“质量壳层”上。换言之，作者不是在找更好的 optimizer，而是在指出已有 optimizer 隐含地运行在一个受守恒律约束的子流形上。

Core Idea

核心思想可以压缩成一句话：小 nudging 连续极限下，EP/CL 的参数更新与能量关于参数的尺度对称性正交，因此守恒一个 mass-like quantity。对线性电路，如果训练 conductance κ，守恒量就是 1/2 Σ_e κ_e^2；如果训练 resistance ρ，同样是 1/2 Σ_e ρ_e^2。这个结论不是数值近似，也不是 crossbar 特例，而是由能量可分离形式和 KKT 约束结构共同推出。

这改变了对物理学习的建模方式：prior 通常把 EP/CL 看作“局部对比估计梯度”，而本文把它看作“受尺度对称性约束的动力系统”。这种视角的本质差异在于，它解释的是训练轨迹的可达集合和长期稳定性，而不是单步更新是否朝向 loss 下降。特别是在线性电路中，守恒律直接排除了 conductance 无界增长，并揭示 asymmetric finite nudging 导致的 scale drift 不是实现细节，而是破坏守恒后的必然动力学后果。

新的 inductive bias 是参数范数守恒：学习只能在固定半径的正正交区域内重分配 conductance mass，而不能任意放大网络。这既可能是稳定性的来源，也可能限制可达解；论文主要展示了前者。

Method

1. 从 η→0 连续动力学提取真实更新方向。论文把离散局部规则 k_i^{n+1}=k_i^n+α/η[∂_{k_i}G(x_η;k)-∂_{k_i}G(x_0;k)] 取 α→0、η→0，得到 k_dot_i=∂_{k_i}∇_xG(x_0;k)·(d x_η/dη)|_0。这个步骤的作用是去掉有限 nudging 的二阶偏差，暴露底层几何结构。

2. 用可分离能量构造守恒量。若 G=Σ_i g_i(k_i)G_i(x)，选 f_i' = g_i/g_i'，则 Σ_i f_i'(k_i)∂_{k_i}∇_xG=∇_xG。这个 identity 是整篇论文的技术核心：它把参数方向上的加权和重新变成状态空间中的能量梯度。

3. 用约束最小化的一阶条件消掉 ∇_xG 项。对 CL，nudged state 是在额外输出约束下的最小点，η=0 处能量的一阶变化为 0；对 EP，nudging force 对应 loss 梯度流，scale-invariant loss 的梯度与径向方向正交；统一 KKT 证明则显示 RQ r 或 RQ u_r 与 ∇_xG 的内积因输入约束而为 0。

4. 在线性电路中把守恒律转成收敛工具。由于 K=1/2||κ||^2 固定，参数轨迹在正正交球面上，得到紧性和尺度上界。对 crossbar，输出是 conductance 加权平均 μ=Σκ_i x_i/Σκ_i，更新会把 mass 从错误一侧转向正确一侧，且守恒律给出分母 Σκ_i 的上下界，从而推出指数收敛。

5. 区分 conserved 与 non-conserved nudging。有限 asymmetric nudging 会引入 -ηG(y;k) 型 mass drift；symmetric clamping 在线性二次能量中精确抵消该漂移。因此 symmetric clamping 不是普通工程 trick，而是在硬件可行 finite η 下恢复 η→0 守恒动力学的机制。

Key Insight / Why It Works

最重要的 insight 是：EP/CL 的稳定性不只来自 loss descent，而来自一个与 loss descent 正交的 conserved scale。EP 的情况较直观：若能量对参数 p-homogeneous，则 free-state 输出和 loss 对整体缩放 k→λk 不变；梯度流自然不会沿径向移动，所以 ||k||^2 守恒。CL 更有价值，因为它不是标准梯度流，但由于 nudged constraint 在 η=0 处只施加一阶输出位移，能量变化的一阶项仍为零，从而得到同一守恒。

有效性的核心并不是 better optimization，也不是 scaling/data/retrieval 之类机制；这是一个动力系统 invariant。它真正解释了两个现象：第一，小 nudging 或 symmetric clamping 下参数不会整体漂移，只在固定 mass 内重分配；第二，非守恒 clamping 的失败模式不是偶然数值病态，而是因为引入了确定符号的 K_dot，使整体 conductance mass 持续收缩或膨胀。

在 crossbar 收敛证明中，守恒律的作用非常具体：它给出 κ_bar 的上界，避免学习速度退化到 0；正正交约束和 edge removal 保证至少一个极端输入边存活，从而 V_A 有正下界。这里的指数收敛不是来自复杂结构，而来自 crossbar 输出作为凸组合的低维几何。换句话说，crossbar 的结果很强，但也很依赖其单输出加权平均形式；它不应被过度外推到一般深层/非线性物理网络。

论文中最可能是核心贡献的是 Lemma 3.2 + KKT 统一证明 + symmetric clamping 等价性。收敛定理更像是展示守恒律有用的应用场景，而不是普遍训练理论。仿真实验主要是 sanity check 和现象说明，不是增益来源。没有数据覆盖、benchmark leakage、implicit memorization 这类问题，因为本文不是经验 ML paper。

Relation To Prior Work

这篇属于 equilibrium propagation / coupled learning / physical learning / adaptive resistor networks 的理论分支。与 Scellier-Bengio EP 路线的关系是：EP 已知可近似梯度，但本文强调在 scale-invariant 物理能量下，梯度流还有一个径向守恒约束。与 Stern/Murugan/Liu 的 coupled learning 物理网络路线相比，本文不是提出新的局部规则，而是解释已有 CL 规则在 infinitesimal limit 下的隐藏 invariant。

最接近的已有思想是：能量最小化、局部对比学习、参数尺度不影响线性电路输入输出映射、EP 的梯度流解释。这些并不新。真正新增的信息是把这些事实组合成一个一般守恒律，并证明 CL 和 EP 共享同一结构；尤其是 CL 不完全是梯度流，但仍守恒，这一点是实质创新。

与常规机器学习优化理论不同，本文的 invariant 不是人为加的 regularizer，也不是 weight normalization，而是物理参数化和对比更新共同诱导的。它更接近 Noether-style reasoning：物理系统的尺度对称性在学习动力学中留下 conserved mass。论文没有明确用 Noether 定理框架展开，但思路上非常接近。

看似新的部分中，crossbar sufficiency 定理本质上是线性电路最大值原理和 right-stochastic map 的重述，更多是为后续收敛分析铺路；它不是本文最深的创新。真正有迁移价值的是“检查 learning rule 是否破坏 parameter-scale conservation”这一分析方式。

Dataset / Evaluation

本文没有传统意义上的 dataset/evaluation。理论 claim 主要由解析证明支撑，仿真只用于展示 training dynamics：voltage divider、crossbar array、随机线性电路在不同 clamping 下的 conductance mass drift、边界碰撞和断连行为。

任务覆盖范围较窄：基本都在线性电路或线性 crossbar 上。crossbar 分析虽然干净，但其输出是输入电压的 conductance-weighted convex combination，因此收敛机制很特殊；它验证的是守恒律在一个可解析拓扑中足以推出强收敛，而不是验证一般 CLLN 的训练可靠性。

没有真实硬件实验。论文声称 symmetric clamping 在线性电路中可在 finite η 下精确实现 η→0 dynamics，这对硬件有意义，但实际器件噪声、非理想电阻、有限分辨率、边界反射、更新异步性没有验证。因此 evaluation 支持“线性理想模型中的守恒与漂移”这一核心 claim，但不支持“真实物理学习系统会因此可靠训练”的强版本。

仿真部分没有必要关注具体数字。它们的作用是说明非守恒 nudging 会造成 K 单调漂移，进而导致 collapse、unbounded growth 或 output disconnection。这是机制展示，不是 benchmark superiority。

Limitation

最核心限制是 regime 假设强。守恒律严格成立在连续时间、η→0、小步长、光滑能量、状态唯一最小化、输入约束良好、能量可分离的条件下。真实硬件通常是 finite η、finite α、有噪声、有边界、有非理想非线性，这些都会破坏或近似破坏守恒。论文对 nonlinear symmetric clamping 只说 O(η^2) 近似守恒，是否足以阻止长期 drift 文中未充分说明。

可分离能量假设是本质前提。许多物理元件确实满足“参数只放大 I-V 曲线”，但 Shockley diode 这类参数与电压耦合的元件会破坏守恒。若未来物理学习依赖复杂非线性器件，那么本文守恒律可能只适用于一部分设计空间。

收敛理论的上限也很明显。SISO theorem 只给出“收敛到目标或至少一个 conductance 到 0”，并没有排除训练把输入输出断开的失败情形。crossbar theorem 强但拓扑特殊。一般多输入多输出、有 hidden nodes、非线性元件、多任务 batched constraints 的全局收敛没有解决。

edge death 处理偏工程化。删除零 conductance 边保持 K，但会改变拓扑；reflecting rule 更接近实践，但在零 conductance 时更新是否良定义文中未能保证。也就是说，论文把负 conductance 问题转化为边界动力学问题，并未彻底解决。

另一个隐含上限是守恒本身可能限制优化。固定 ||κ|| 意味着不能通过整体增大 conductance 来提高信噪比、缩短物理时间常数或扩大 margin。本文把守恒主要解释为稳定性来源，但它也可能是表达/优化约束；这部分没有系统分析。

Takeaway

• 1. 对 EP/CL，除了问“局部更新是否估计梯度”，更应该问“该物理参数化诱导了什么 invariant”。
• 守恒律可能比单步梯度解释更能预测长期训练行为。
• 2. symmetric clamping 的价值被重新定位：在线性电路中它不是简单 central difference，而是在 finite η 下精确恢复 η→0 守恒动力学；这对硬件实现比理论上的 infinitesimal nudging 更重要。
• 3. 参数尺度漂移应被视为物理学习系统的一级设计指标。

一句话总结

这篇论文把 EP/CL 从“局部对比近似梯度”的叙事推进到“由物理尺度对称性约束的守恒动力系统”叙事，核心贡献是发现并利用小 nudging 极限下的参数 mass conservation，而非提出新的学习算法。