精读笔记

Problem Setting

《Representation Costs in Data Science: Foundations and the Quasi-Banach Spaces of Deep Neural Networks》（arXiv preprint / 2026）研究的是一个抽象但非常核心的问题：给定参数化模型 fθ 和参数代价 C(θ)，它在函数空间里究竟等价于什么正则化？这不是普通的“把参数范数解释成函数范数”，因为现代模型的 realization map θ↦fθ 极度非单射，且模型类 FΘ 通常在任何合理拓扑下都不闭。直接研究参数代价会把同一个函数的无穷多参数表示混在一起；直接研究 FΘ 又无法处理极限函数、存在性和非参数等价。

关键矛盾是：实际训练问题是参数空间问题，但 inductive bias 应该是 end-to-end function 的性质；而从参数空间到函数空间的投影会引入 quotient、闭包、lower semicontinuity 和 null directions。以前的理论往往在具体模型里单独完成这件事：kernel 得到 RKHS，wavelet 得到 Besov，浅层 ReLU 得到 variation/Radon BV。本文要解决的是把这些都放进一个统一的变分/泛函分析框架，并用它处理深层 ReLU 网络。

Motivation

已有路线不够的地方在于，它们没有区分三件事：参数正则项 C(θ)、有限参数模型类上的表示代价 RΘ、以及闭包后真正的函数空间正则项 R。很多关于 neural network norm 的讨论停在参数范数或 path-like quantity 上，容易受重参数化影响；而很多 function-space 工作虽然能给出某个 Banach space，但不一定是由 vanilla architecture + usual weight decay 严格诱导出来的。

作者的核心观察是：表示代价应当先对 realization map 做 quotient，即 RΘ(f)=inf_{θ:fθ=f}C(θ)，然后再做拓扑闭包/下半连续松弛。这个缺口尤其在深层网络中重要，因为 ReLU 的层间正齐次缩放会让 weight decay 在函数空间中呈现非 norm 的齐次性。也就是说，深度不是只改变 expressivity；在表示代价层面，它直接改变了函数空间几何。

Core Idea

论文真正核心的思想是：把任意参数化数据拟合方法转化为一个 native-space regularization problem。具体是将 RΘ 作为 extended-real functional 放到某个 ambient dual Banach function space B 上，并取 weak* lower-semicontinuous regularization R。native space F=dom(R) 由有限表示代价的极限函数构成。这一步把“有限模型精确表示”转化为“有限代价可逼近表示”，从而使参数问题和非参数问题可以在同一套变分语言里比较。

与 prior 的本质区别在于，它不是为某个模型猜一个函数空间，而是从参数代价机械地推出函数空间。这样 kernel/RKHS、wavelet/Besov、measure kernel/RKBS、shallow ReLU/Radon BV 都变成 sanity checks；真正新增的信息是深层 ReLU：weight decay 经过 L 层正齐次结构后诱导出 2/L-homogeneous 的表示代价，因此 L>2 时 native space 不可能由 norm 捕获，而是 quasi-Banach。

Method

1. Representation cost as quotient：RΘ(f)=inf_{θ:fθ=f}C(θ)。它解决参数非唯一性问题，把复杂度定义在函数而非参数上。核心变化是从 parameter norm 转到 realization-equivalence-class cost。

2. Weak* l.s.c. regularization：把 RΘ 扩展到 ambient dual Banach space B，再取 R=\overline{RΘ}^{w*}。它解决 FΘ 不闭、infimum 不稳定、极限函数无法纳入的问题。核心变化是 native space 不再是有限模型类，而是有限代价闭包。

3. Algebraic structure preservation：证明 subadditivity、absolute p-homogeneity 在 l.s.c. regularization 下保留。它解决如何从参数级结构推出函数空间几何的问题。核心变化是 R^{1/(pq)} 自动成为 p-norm/quasi-norm。

4. Coercivity modulo constancy/null space：很多代价对常数、仿射项或 bias directions 不惩罚，因此不能要求全局 coercive。论文用 constancy space 和 complemented subspace 分离 unpenalized directions。核心变化是能处理 shallow ReLU 的 affine skip、deep ReLU 的 constant shift 等真实模型结构。

5. Parametric/nonparametric equivalence and representer transfer：在 evaluation operator 连续、loss 合适、overparameterization 足够时，参数问题、FΘ 上问题、F 上问题有相同 infimum，并可转移 minimizer。它解决 function-space formulation 是否只是 relaxation 的问题。核心变化是将非参数 native-space 问题变成对原参数训练问题的 tight relaxation。

Key Insight / Why It Works

最重要的 insight 是：深度网络的 weight decay 在函数空间中不是 norm，而是由层数决定的 quasi-norm。原因非常直接但之前没有被完整抽象化：ReLU 网络对每层权重有乘法式正齐次性；如果把函数整体缩放 α，可以把缩放均匀分配到 L 层，每层权重缩放 |α|^{1/L}，平方 weight decay 因此缩放为 |α|^{2/L}。同时，网络并行拼接可以实现函数相加，且代价可加。这两个性质给出 RΘ 的 subadditivity 和 2/L-homogeneity；下半连续闭包保留它们；于是 R_L^{L/2} 是 2/L-seminorm。

这部分是核心贡献，不是 engineering。它把 Razin-Cohen 式“深度学习的 implicit regularization 可能不能由 norm 解释”的经验/概念判断，落实到显式 weight decay representation cost 的严格函数空间结论。注意这里不是 scaling/data/retrieval/test-time compute 的故事，而是 better inductive bias geometry：深度改变了 regularizer 的 convexity class。L=2 对应 Banach/norm-like variation space；L>2 进入 p<1 quasi-Banach，几何上更接近稀疏/低秩的非凸正则。

辅助但重要的是 Lipschitz ambient space 和 weak* topology。它们让 pointwise bounded-cost limits 成为可操作对象，也让不同模型能放在统一环境中比较。不过这更像理论基础设施，不是深层网络结论的根本来源。经典 examples 的恢复也主要是 validation：说明框架没有偏离已有理论，但创新不在重新证明 RKHS/Besov/RKBS。

Relation To Prior Work

这篇属于 representation-cost / native-space / variational regularization 这条谱系，和 RKHS representer theorem、Besov-wavelet sequence regularization、measure-space sparse regularization、shallow ReLU variation space、deep linear Schatten quasi-norm 关系最紧。

和 RKHS/Besov/RKBS 的关系：本文不是提出新的 kernel 或 wavelet space，而是证明这些都是同一个抽象机制的特例。这里的新意在统一语言和闭包过程，而不是 classical cases 本身。

和 shallow ReLU function-space work 的关系：Ongie/Savarese/Parhi/Unser 等已经知道浅层 ReLU + weight decay 对应 Radon-domain BV/variation norm。本文把它纳入 general representation-cost framework，并强调 affine/constancy subspace、l.s.c. regularization 和 minimizer equivalence。

和 deep linear network 的关系：deep linear 已知 weight decay 诱导 Schatten-2/L quasi-norm。本文的深层 ReLU 结果可以看作非线性 analogue：不是矩阵 rank geometry，而是函数空间 native geometry 的 2/L quasi-Banach 化。

和其他 deep function-space frameworks 的差别很关键：很多工作构造了 Banach/RKBS/Hilbert ladder/chain spaces，或给出 representer theorem，但不一定从 vanilla fully-connected ReLU + usual weight decay 推出；有些保留 vanilla architecture 和 weight decay，但没有 completed native space。本文同时保留 vanilla parameterization、usual weight decay、completed function space、representer theorem，并指出结果不是 norm-based。

Dataset / Evaluation

没有 dataset 或 empirical evaluation；这是 math.FA 理论论文。评价应看证明是否支撑核心 claim。对“统一 representation-cost framework”这一 claim，论文通过恢复 RKHS、Besov、I-RKBS、shallow ReLU Radon BV 来验证覆盖范围，证据充分但偏理论闭环。对“deep ReLU native spaces are quasi-Banach”这一 claim，证明链清晰：parameter homogeneity/subadditivity → l.s.c. preservation → quasi-normability。

但这些 evaluation 不验证真实训练中的泛化、优化路径或 implicit bias。论文处理的是显式 weight decay 正则化后的全局优化/表示代价，不是 SGD 在有限数据、有限宽度、非凸 landscape 中实际会选到什么。benchmark leakage、data coverage 这类问题不适用；真正的 evaluation limitation 是 claim 的外推边界：它支持 function-space geometry claim，不支持 empirical deep learning performance claim。

Limitation

1. FL 不可操作：深层 L>2 的 native space 只知道是 quasi-Banach，并有 nesting/separation 的部分结果，但缺少类似 RKHS kernel norm、Besov coefficient norm、Radon BV 的显式 characterization。这是最大短板。

2. 依赖显式正则化：结论是关于 weight-decay parameter cost 的 representation cost。若实际训练没有显式 weight decay，或优化动态产生不同 implicit bias，本文不能直接解释。

3. 等价性需要 overparameterization 和存在性条件：representer theorem 的 N^2 宽度上界是存在性结果，不说明优化算法可达，也不说明较小宽度或固定 architecture 下成立。

4. ambient topology 有建模选择：weak* / Lipschitz space 的选择很自然，但不是唯一。不同 ambient space 可能改变 closure 和 native space。文中虽然强调 Lipschitz topology 的 universal role，但对 topology choice 的唯一性或不可避免性未充分说明。

5. 泛化与统计性质缺失：没有 estimation rate、generalization bound、sample complexity 或 approximation rate。quasi-Banach geometry 是否转化为实际泛化优势，文中未充分说明。

6. 深度极限仍模糊：FL 是否最终覆盖 Lip、是否严格递增、RL 是否趋向某种 nonlinear rank，均未解决。当前的深度结论更像几何类型识别，而不是完整函数类刻画。

Takeaway

• 1. 表示代价的正确对象不是参数范数，而是 quotient 后再 l.s.c. closed 的函数空间 regularizer；这个视角可以迁移到任何参数化模型，只要能验证 homogeneity、subadditivity、coercivity。
• 2. 深度的一个本质作用是改变函数空间几何：L 层 ReLU + squared weight decay 给出 p=2/L 的 quasi-Banach native space。
• L>2 时用 norm-based complexity 捕获这种 bias 在原则上就是错的。
• 3. 经典 native spaces 可以被重新理解为同一闭包机制的不同实例；这比单独记 RKHS/Besov/RKBS/variation space 更有迁移价值。

一句话总结

这篇论文把“参数正则化诱导函数空间”形式化为弱星下半连续表示代价闭包，并由此证明 vanilla 深层 ReLU + weight decay 的 native geometry 是 p=2/L 的 quasi-Banach 几何，是 representation-cost 理论从浅层/线性模型走向深层网络的关键抽象化。