精读笔记
Problem Setting
这篇论文处理的不是一般噪声鲁棒性，而是 modular neural pipeline 的接口误差传播问题：模块 A 的输出被扰动后，模块 B/C/... 在没有意识到输入已经偏离训练分布的情况下继续变换，误差可能被谱范数、非线性和后续归一化放大。真正困难点在于 seam 两侧往往不是同一次端到端训练得到的系统：没有共享 BN 统计，没有端到端梯度，没有统一损失函数，也不能假设下游模块能识别上游置信度。
以前方法卡在两个极端：端到端训练通过消除 seam 避免问题，但牺牲可替换性和工程模块化；regularization/noise injection 依赖训练分布覆盖，不能在 deployment seam 上提供确定性控制。该任务的核心矛盾是：要保留模块边界，同时又要让边界不成为误差放大器。论文把这个矛盾转化为一个更局部的问题：能否在每个 boundary 上限制可传播的 activation energy。
Motivation
作者的动机不是“物理启发”本身，而是现有 normalization/regularization 都不适合严格模块化 seam。BatchNorm、LayerNorm 等能稳定单个 end-to-end architecture 内部表示，但它们要么依赖 batch/running statistics，要么把每个样本拉到固定统计，不能表达“上游输入能量决定下游输出能量”的因果关系。energy penalty 更糟：它把表示能量压小，测试时固定幅度噪声反而占更大比例。
关键缺口是：模块接口需要一个 inference-time、per-sample、无可学习参数、无共享统计的边界约束。作者的观察是，在很多真实 seam failure 中，噪声首先体现为幅值/能量异常：高维 activation 中的 additive noise、系统性偏置、机器人深度漂移都会改变向量范数。若边界强制守恒能量，至少能把这类能量增益从无限放大变成有上界传播。
Core Idea
论文真正的核心是把模块间信息流从“任意函数输出”改成“方向由网络学习，模长由上游能量预算约束”。每个模块仍然可以学习复杂 angular transformation，但它不能在边界处增加总 activation energy。几何上，这是把 raw output 投影到以原点为中心、半径由输入决定的球面上；信息主要编码在方向，能量成为跨模块传递的 conserved quantity。
这和 prior 的本质区别在于约束对象不同。regularization 是 soft preference，训练时可能满足、测试时没有硬保证；normalization 是统计重标定，通常不保留输入-输出能量因果；spectral/Lipschitz 方法约束算子放大率，但会影响整个函数类。这里的 inductive bias 更局部：只在 seam 上施加能量守恒，不改变模块内部表达学习。它的 scalable 点也在这里：每个边界一个标量缩放，不需要联合训练或额外容量。
Method
方法层面最重要的是三件事。
第一，入口 energy budget。它解决的是整条 pipeline 没有共同能量标尺的问题。把初始 feature 归一到固定 E0 后，后续 seam 才有可比较的 conserved quantity。这个选择也暴露了一个隐含前提：E0 必须与任务表示的自然尺度匹配，论文没有系统研究其敏感性。
第二，边界 conservation operator。它解决的是模块输出能量不受控的问题。对 raw output 做统一缩放，使输出能量等于输入能量。核心变化是把 boundary 从 unconstrained amplification point 变成 energy-preserving transform。由于只缩放不旋转，它尽量不干扰下游期望的表示方向，这是该方法比 learned gating 更稳的关键。
第三，density conservation。它解决变维 stage 之间总能量守恒不合理的问题。ResNet 中 channel/spatial size 改变时，直接保持总能量会引入人工压缩或膨胀；保持每 activation slot 的能量密度更接近 architecture 的自然尺度变化。这部分更像必要 engineering，但也是把简单算子迁移到现代网络的关键补丁。
Key Insight / Why It Works
最核心的 insight 是：它不是在“去噪”，而是在阻断一种特定的误差增益通道。对 additive noise，若噪声与信号近似不相关，输入能量从 E0 变成 E0+N；重新缩放回 E0 会把信号和噪声都乘同一个小于 1 的因子，因此绝对噪声能量下降。这个理论结论很弱，因为信号也被缩放了；真正对任务有用的部分来自训练后表示把语义信息编码在方向和相对能量分布中，使 uniform scaling 不显著破坏判别方向。
论文中最有价值的归因不是 theorem，而是 BatchNorm ablation。BN 存在时 conservation 几乎无增益；去掉 BN 后增益恢复。这强烈说明该方法本质上是 inter-module normalization / magnitude control，而不是某种新的鲁棒学习范式。它填的是“模块 seam 没有内部归一化统计”的空位。换言之，核心贡献是把 normalization 从 architecture-internal 迁移到 module-boundary，并用 per-sample causal energy matching 替代 batch statistics。
哪些可能只是辅助：浅层 CIFAR pipeline 上的大幅收益有一部分很可能来自高维 Gaussian noise 的 norm concentration，即噪声主要表现为稳定的能量膨胀，标量缩放天然有效；这不一定代表语义鲁棒性泛化。depth invariance 结果也需要谨慎：如果每个边界都立即重投影到固定能量，误差不随深度积累在幅值上是预期现象，但方向误差是否积累并未被充分刻画。机器人实验对 depth drift 有收益、对 3D Gaussian 中性，反而是更可信的机制证据：operator 只处理 magnitude-changing seam errors，不处理任意感知错误。
我认为真正贡献是 better inductive bias + test-time boundary normalization，不是 scaling、不是 retrieval、不是 data coverage。它几乎不增加参数，也不依赖额外数据；增益主要来自把错误传播的自由度砍掉。但也必须承认，理论 bound 被论文表述得偏强：噪声能量下降不等价于 SNR 改善，更不等价于 accuracy 保证；当噪声方向主导时，conservation 会把错误方向正规化，可能比 baseline 更差。
Relation To Prior Work
最接近的谱系不是 energy-based models，而是 normalization、Lipschitz/spectral control、robust modular interfaces。与 EBM 的共同点只是使用“energy”一词；EBM 把 energy 当目标函数优化，本文把 activation norm 当守恒量约束。这个差异是实质性的。
与 BatchNorm/LayerNorm 的关系最关键。LayerNorm/L2 norm 固定每个样本的输出尺度，但通常不关心输入能量；BatchNorm 用 batch statistics 处理内部 covariate shift，但要求同一训练体系内共享统计。本文新增的信息是 causal matching：output energy = input energy。这个设计使其更适合 independently trained modules 的 seam，而不是 end-to-end block 内部。
与 spectral normalization / Lipschitz constraint 相比，本文不直接约束函数的全局 Lipschitz 常数，也不保证方向扰动不放大；它只限制边界处的能量预算。因此它更轻、更局部，但保证也更窄。与 adversarial training/noise injection 相比，它不依赖训练覆盖某类噪声，属于硬约束而非数据增强。
看似新但其实是重组的部分：按 L2 范数重标定本身并不新，很多 normalization 已经做过类似操作。实质创新在于把重标定解释为跨模块能量守恒，并系统性地验证它在 modular seam、尤其缺少内部 normalization 的场景中起作用。
Dataset / Evaluation
评估覆盖了三个层次：受控 CIFAR shallow pipeline、ResNet-18 architecture ablation、MuJoCo 模块化机器人 seam。这个结构比单纯 CIFAR 鲁棒性实验更有说服力，因为它试图从 synthetic high-dimensional activation 过渡到真实模块接口。
CIFAR 部分验证了机制的理想场景：高维 activation、additive noise、噪声在边界注入。这支持“能量型噪声可被压制”的 claim，但不充分支持“普遍模块鲁棒性”。ResNet ablation 是最关键证据：BN 有无决定 conservation 增益大小，说明方法确实在替代缺失的 normalization，而不是依赖特定 shallow architecture。
机器人实验的价值在于它不是端到端分类 benchmark，而是 perception-to-control seam；同时它也暴露边界：使用 oracle perception 加人工噪声，不是真实视觉模型误差；单目标、固定位置、E0 由 clean target calibrated，真实多目标部署中的 energy budget 选择仍未解决。结果对 depth drift 稳定、对 Gaussian 中性，这实际上削弱了“通用鲁棒性”叙述，但强化了“噪声类型特异的 seam operator”这一更精确 claim。
明显 limitation：ResNet 关键实验是 single seed；高维 Gaussian 的收益可能高估真实场景；对 adversarial noise 的定义是沿 activation 方向缩放，conservation 天然会抵消，这不是标准 adversarial robustness 证据。
Limitation
第一，核心理论前提偏强。Theorem 依赖噪声与信号不相关，且只证明绝对噪声能量下降；但任务性能取决于方向、margin 和下游决策边界。uniform scaling 同时缩放信号与噪声，不能保证 SNR 改善。论文把 bound 和 accuracy gain 连接得有些快。
第二，方法只适合 energy-additive 或 magnitude-changing 噪声。dropout、遮挡、错误检测、语义误识别、坐标轴方向错误都不是它能恢复的对象。它约束的是能量，不是信息。若噪声已经改变方向，conservation 可能把错误方向投影到合法能量，等价于让下游更自信地消费错误输入。
第三，energy budget 是未充分解决的问题。CIFAR 中用 E0=d，ResNet 用单位密度，机器人用 clean position norm；这些选择在各自实验中合理，但没有形成可泛化原则。真实 modular systems 中不同对象、不同尺度、不同物理单位混合时，单一 L2 energy 未必有意义。
第四，scaling 上限取决于接口表示是否适合欧氏范数。高维 dense activation 中 L2 norm 是稳定统计量；低维 3D position 中方向方差过大，Gaussian 噪声无明显收益。对 transformer hidden states、token-wise representations、多模态 embeddings，是否应按 token、channel、sequence 还是 whole tensor 守恒，文中未充分说明。
第五，实验归因仍有空白。浅层 pipeline 含 BN block，ResNet with BN 也显示 BN 会吞掉收益；那么 conservation 与已有 normalization 的边界在哪里，需要更系统的 comparison，例如 RMSNorm/LayerNorm、activation clipping、simple norm rescaling、spectral norm、test-time standardization。否则部分增益可能主要来自 scaling/clipping，而不是“物理守恒”这一解释。
Takeaway
- 1. 最值得迁移的 insight：模块 seam 需要自己的 normalization 原语；不能假设 end-to-end architecture 内部的 BN/LN 思想自动适用于 independently trained modules。
- 2. Hard boundary constraint 比 soft energy penalty 更合理。
- 惩罚能量会压低信号并损坏 SNR；守恒能量则保留表示尺度预算，只限制异常放大。
- 这一点对其他 modular interface design 很有启发。
一句话总结
这篇论文把简单的 per-sample L2 重标定重新定位为模块边界的硬能量守恒约束，实质贡献是提出一种无需联合训练的 inter-module normalization，用来抑制特定类型的能量增益误差传播。