精读笔记

Problem Setting

论文实际解决的是 gated activation 的结构解释与可控泛化问题，而不是单纯提出一个新 activation。GELU 过去被解释为 input-dependent Bernoulli dropout 的期望输出，但这个解释只说明 zΦ(z) 可以这样生成，没有说明为什么前向传播应该保留 zΦ(z)，而不是保留完整的概率 surplus 或其积分形式。真正困难点在于：同一个概率门控同时可以导出两类对象——用于 loss/option/inventory accounting 的 expected surplus，以及用于 neural forward pass 的 transmitted signal。前者自然包含 truncated-moment correction，后者要求保原点、负尾归零、正尾线性。关键矛盾就是：概率解释给出的完整期望量在数学上更自然，但在激活函数几何上并不合适。

Motivation

已有路线不够的地方在于它们把 GELU/Swish/hard-swish 主要看作经验上有效的 smooth or gated nonlinearities。GELU 的 Bernoulli-gate 解释虽然正确，但没有提供一个可迁移的结构原则；hard swish 的 β=3 更像工程固定值，缺少为什么这个 transition width 合理的解释。作者的核心观察是 Gaussian complementary first-order loss 中恰好分解出 zΦ(z)+ϕ(z)，其中 zΦ(z) 是 boundary-gated signal，ϕ(z) 是 truncated-moment correction。缺口是：过去没有把“门控激活”与“随机阈值下的一阶损失分解”系统连接起来，也没有把 correction 是否应该进入 forward pass 作为一个独立问题处理。

Core Idea

论文的核心思想是将 activation 写成 threshold-transmission：给定随机阈值 T，神经元只有在 z 超过 T 时传输输入，因此期望输出是 E[z1{T≤z}]=zF(z)。这一步把激活函数的设计从“选择一个平滑函数”改写为“选择一个 latent threshold law”。GELU 是 Gaussian threshold，Swish 是 logistic threshold，ReLU 是退化阈值，hard swish/UELU 是 uniform threshold。

本质区别在于，prior 通常把 Φ(z) 或 σ(z) 看作 input-dependent keep probability；这里则把它们看作 uncertain boundary 的 CDF。这个改写引入的 inductive bias 是边界不确定性：activation 的过渡区形状、尾部行为、是否 compact support 都由阈值分布决定。Uniform threshold 的意义不是“又一个 hard-swish 变体”，而是把 hard swish 的固定 transition width 变成显式边界层参数 β，使模型可以校准或学习边界不确定性的尺度。

Method

第一，作者从 complementary first-order loss bL_F(z)=E[(z-T)+] 出发，将其分解为 zF(z)+C_F(z)。zF(z) 解决的是 forward signal transmission，C_F(z) 解决的是 surplus accounting；二者语义不同，不能因为出现在同一个期望里就都放进 activation。

第二，作者比较 full complementary loss、centred complementary loss 与 GELU 的几何。full loss 在原点为正，不适合作为 origin-preserving activation；centred loss 虽保原点，但负尾出现负 plateau；GELU 丢掉 ϕ(z)，同时保原点与负尾归零。这个机制解释了为什么 GELU 的导数不是单纯 Φ(z)，而是 Φ(z)+zϕ(z)：它牺牲“gate 的 antiderivative”身份，换来更合适的前向几何。

第三，作者把不同 threshold laws 映射到不同 activations。Gaussian 给 GELU，logistic 给 Swish，uniform 给 UELU/hard swish，exponential 给 one-sided ExpELU。Uniform case 是实证重点，因为它有 compact transition region，β 直接对应不确定边界层半宽；TUELU 则只学习这个尺度，而不是放开成完全自由的 adaptive quadratic activation。

Key Insight / Why It Works

最重要的 insight 是：GELU 的有效性不必理解为“随机 dropout 的期望”或“ReLU 的平滑版”，而可以理解为“随机阈值边界下的信号传输”。这解释了为什么保留 zΦ(z) 而丢弃 ϕ(z) 是合理的：ϕ(z) 对 expected surplus 是必要的，但对 activation forward geometry 是有害的。这个分离比具体提出 UELU 更有价值。

UELU/TUELU 可能有效的核心原因是更强的 scale calibration，而不是 uniform distribution 本身有什么神秘优势。Gaussian/logistic gate 的 transition 是无限尾的；uniform gate 明确把输入空间分成 closed/transition/open 三段，使大幅负值和大幅正值不再消耗平滑门控容量。β 控制多少 preactivation 落在可变过渡层中，因此它实际是在调 activation 的 effective nonlinearity budget。β=3 失败尤其说明 hard swish 的标准宽度在这些模型里过宽，几乎退化为“所有输入都在 transition 中”的低效门控。

我会把论文贡献拆成两层：结构解释是核心贡献；UELU/TUELU 的 empirical gain 是辅助证据。DGELU 表现弱，反而支持作者的主张：first-order loss correction 是解释上有用、训练上未必有用的 accounting term。增益来源不清，且很可能不是来自更强表达能力，而是来自更合适的 activation scale、compact support 和 piecewise-polynomial 梯度形状。这里没有 retrieval、memory reuse、test-time compute 或 data coverage 的因素；本质上是 better inductive bias + calibration。

Relation To Prior Work

最接近的路线包括 GELU 的 stochastic gate 解释、Swish/SiLU 的 sigmoid-gated linear unit、MobileNetV3 hard swish、softplus/ReLU smoothing、以及 adaptive piecewise quadratic activation。论文的不同点不是发现 zF(z) 这个形式本身，而是把它系统地解释为 threshold distribution 的 transmitted signal，并通过 first-order loss 分解说明为什么不应使用完整 loss。

看似新的部分中，UELUβ=3 等价 hard swish，这不是新函数；TUELU 也可看作 AQuLU 的强约束一参数子族。真正新增的信息是参数 β 的语义：它不是任意 shape parameter，而是 symmetric uniform threshold 的 half-width。这个解释让 hard swish 从工程近似变成 threshold-transmission family 的一个点。论文属于 activation-function theory / stochastic-threshold interpretation / optimization-control inspired modeling 这条谱系，而不是大模型架构创新。

Dataset / Evaluation

评估覆盖了小型视觉分类和小型语言建模，跨 MLP-Mixer、compact ViT、character GPT 和 token GPT，任务类型有一定多样性，但规模都偏小，没有真实部署、硬件效率、长训练或大模型验证。实验能支持的 claim 是：在 compact controlled settings 中，校准或学习 uniform threshold width 是有用的，并且固定 hard-swish β=3 不可靠。

实验不能充分支持的 claim 是 uniform-threshold gates 普遍优于 GELU。结果差距总体较小，WikiText-2 上 GELU 仍略强；三 seed 的小规模训练也不足以排除 optimizer noise、模型容量和训练时长影响。region occupancy 是比较有价值的诊断，因为它验证了 β 确实改变了 activation operating regime；但它仍不能直接证明性能增益来自 threshold interpretation，而不是来自普通的 width tuning。

Limitation

方法成立依赖一个隐含前提：activation 的门控行为可以被解释为输入跨越 latent threshold，而这个 threshold law 的形状对优化和泛化有意义。这是一个有解释力的假设，但不是由网络训练动态直接推出的。文中未充分说明 preactivation distribution 与 learned β 的关系，也没有证明 learned β 对层深、LayerNorm、残差尺度或模型宽度的可迁移性。

scalability 上限不清楚。大规模 Transformer 中，GELU/SwiGLU 等 activation 通常嵌在更复杂的 FFN gating、normalization 和 residual dynamics 中，单个 scalar β 的影响可能被系统性缩小。TUELU 使用全局共享 β，可能过于粗糙；但如果改成 per-layer/per-channel，则会接近已有 adaptive activation，结构解释的简洁性会下降。

增益归因不清。可能主要来自 β 与 activation scale 匹配，而不是 uniform threshold 的理论优势；也可能来自 compact support 让梯度更硬、更接近 ReLU。论文没有与更强的 adaptive activation、learned Swish β、PReLU/GELU variants、SwiGLU-style FFN 做充分对照，因此 empirical superiority 的边界很窄。

Takeaway

• 第一，最值得迁移的是“把 activation 看作 uncertain-boundary transmission”这一建模方式；它比把函数分类为 smooth/non-smooth 更能解释门控形状。
• 第二，first-order loss 分解提供了一个有用原则：不要把概率期望中的 accounting correction 误当成 forward activation 的必要组成。
• 这个原则可能适用于其他由风险函数、surplus、partial moment 派生出的 neural operators。
• 第三，hard swish 的固定 β=3 不应被视为默认合理；transition width 是一个真正的 inductive-bias parameter，至少应校准，最好按架构/层学习。

一句话总结

这篇论文把 GELU/Swish/hard-swish 从经验 gated activation 重新定位为随机阈值下的一阶损失信号传输项，真正贡献是澄清 loss accounting 与 forward transmission 的结构差异，并把 activation width 变成可解释的边界不确定性参数。