精读笔记
Problem Setting
论文实际解决的是：给定 L 个对称 noisy low-rank matrices A(l)=UR(l)Uᵀ+N(l)，估计共同列空间 span(U)，并进一步对估计误差 ∥sinΘ(Û,U)∥²_F 做统计推断。
真正困难点有三层。
第一，单层矩阵可能低于 classical matrix denoising 的 recoverability threshold。也就是说 λ/σ 可以远小于 √n，单个 A(l) 的 leading eigenspace 基本不可用。已有逐层 embedding 再拼接的 COSIE / multilayer spectral 路线在这个区间直接失效，因为它没有真正利用“共享子空间”带来的 aggregation effect。
第二，R(l) 可以是任意 full-rank symmetric matrix，既不要求共同对角化，也不要求谱符号一致。简单平均 A(l) 会被正负信号抵消，尤其在 multilayer network 的 arbitrary connectivity setting 中这是本质问题，不是技术细节。
第三，估计可行不等于推断可行。本文最有意思的矛盾是：在 λ/σ 已经超过计算估计阈值 √n/L^{1/4} 后，adaptive inference 仍可能在信息论上不可能，直到 λ/σ 进一步超过 n/√L。这个 gap 是论文真正想强调的现象。
Motivation
已有路线的问题不是缺一个更好的 spectral trick，而是缺一张完整的 phase diagram。
一类方法先对每个 A(l) 做 spectral embedding，再聚合子空间。这隐含要求每层都有足够 eigengap / SNR，本质上放弃了 weak individual signal regime。另一类方法用 sum-of-squares 或 bias-adjusted sum-of-squares 聚合 layer，能突破符号抵消并进入低 SNR 区间，但通常停在初始化层面，误差里保留 high-noise quadratic term，或者只在特定 Bernoulli / SBM 结构下分析。Paul-Chen 式 orthogonal linked matrix factorization 已有类似优化形式，但缺少从初始化、迭代收敛、minimax optimality 到计算下界的闭环。
作者的核心观察是：sum-of-squares 足以把问题带入 basin，但不是最终 estimator；一旦进入正确邻域，原始 likelihood / least-squares geometry 本身能进一步把误差线性化，从而达到统计最优。另一个缺口是 inference：subspace estimation 文献有很多 CLT / entrywise theory，但很少问“对 sinΘ loss 自身构造 adaptive CI 是否可能”。本文把这个问题显式拉出来，得到一个比估计更高的 SNR 门槛。
Core Idea
核心思想可以概括为：用平方聚合解决 detectability 和符号抵消，用局部几何优化解决 rate optimality，再用一阶随机展开解决 loss inference。
sum-of-squares 初始化看的是 Σ_l A(l)^2。其期望等于 Σ_l S(l)^2 加上标量 identity noise bias，因此 leading eigenspace 仍是 U。平方操作把每层的 R(l) 变成 R(l)^2，从而消掉符号抵消。这一步提供的是 warm start，而不是最终统计最优 estimator。初始化误差中存在一个典型二阶噪声项，类似高噪声矩阵 perturbation 中 rectangular PCA 的 quadratic term。
PGD 的作用是重新使用原始 A(l)，而不是只使用 A(l)^2 这个压缩统计量。每次用当前 Û 估计 R(l)=ÛᵀA(l)Û，再对 U 做 projected gradient step。直觉上，这相当于在已进入正确 basin 后，利用 common subspace constraint 对每个 layer 的 signal-noise interaction 做局部线性化，逐步消除初始化的二阶噪声污染。和 prior 的本质区别在于：prior 多数停留在 spectral aggregation 或全局 objective；本文证明了一个可计算局部算法能在 low-degree 预测的计算可行边界上达到 minimax rate。
在 inference 部分，论文把 ∥sinΘ(Û,U)∥²_F 展开成主导二次型 ∥Σ_l U_⊥ᵀN(l)UR(l)(RRᵀ)^{-1}∥²_F 加 remainder。这个主导项有可计算的 centering 和 scaling，且可由 plug-in 的 R_hat R_hatᵀ 估计。关键不是构造了复杂 CI，而是证明这种 plug-in 在 strong inference SNR 下已经足够，并且低于该 SNR 时 adaptive CI 信息论上不存在。
Method
1. Spectral sum of squares initialization：解决的是 layer 信号符号不一致导致的 cancellation。直接平均 A(l) 不可靠，平方后 EΣA(l)^2 的非平凡 eigenspace 对齐 U。它带来的核心变化是把多层弱信号转换成一个可检测的共享谱结构。但它只是 warm start，误差不最优。
2. Projected / Riemannian gradient descent：解决的是 sum-of-squares 初始化的 quadratic error。算法每轮先闭式更新 R_hat(l)=ÛᵀA(l)Û，再固定 R_hat 对 U 做梯度步并投影回 Stiefel / Grassmann。必要性在于：如果只依赖 ΣA(l)^2，噪声平方项不可避免；PGD 回到原始 least-squares objective，可以在正确 basin 内获得收缩，并把误差推到 minimax rate。
3. 局部 geodesic convexity + perturbation decomposition：解决的是非凸优化可证性。论文不是证明全局 landscape，而是证明在 spectral initialization 进入的统计邻域内，Riemannian Hessian 有足够曲率，梯度迭代稳定收缩。这是典型“warm start + local geometry”的路线。
4. sinΘ loss 的 CLT 与 plug-in CI：解决的是误差不可观测的问题。核心展开显示 loss 的 leading term 是噪声驱动二次型，其均值约为 σ² n/2 Tr((RRᵀ)^{-1})，方差尺度约为 σ²√(n/2)∥(RRᵀ)^{-1}∥_F。用 R_hat R_hatᵀ 插入估计这些量即可构造 CI。这里没有 sample splitting，是一个干净点，但依赖很强的 SNR。
Key Insight / Why It Works
最重要 insight 是：common subspace estimation 中有三个不同阈值，而不是一个 SNR threshold。
统计估计阈值在 λ/σ ≫ √(n/L) 附近；计算估计阈值在 λ/σ ≳ √n/L^{1/4}；adaptive inference 阈值在 λ/σ ≫ n/√L。这个分层比算法本身更有价值。它说明“能多项式时间估计到 minimax rate”并不自动带来“能对误差自适应推断”。这和许多低秩 / tensor inference 里 estimation threshold 之后 inference almost free 的叙事不同。
方法有效的原因不是 PGD 有什么神奇全局优化能力，而是信息流组织方式正确：sum-of-squares 负责把子空间拉进 basin，PGD 负责在 basin 内利用原始 observation 去掉平方噪声带来的二阶偏差。换句话说，核心是 representation alignment + local refinement，而不是 scaling 或 engineering。
最可能是核心贡献的部分：一是 strong estimation SNR 下 PGD 达到 minimax rate，并与 low-degree computational lower bound 对齐；二是 sinΘ loss 的一阶展开和 adaptive inference 下界，揭示 estimation-inference gap。算法形式本身并不新，orthogonal linked factorization / Riemannian optimization 早已有影子；新意在于精确放到 common subspace weak-signal regime 下并给出边界。
辅助成分包括大量 decoupling、ε-net、martingale CLT、Hessian 控制。这些证明技术必要但不改变机制。实验也只是 sanity check，不是主要证据。若从机器学习视角类比，这不是 retrieval、memory reuse、curriculum 或 test-time compute；更准确地说是利用 latent shared structure 的 aggregation，再通过局部优化修正 aggregation statistic 的 bias / quadratic noise。
需要直接指出：计算下界依赖 low-degree likelihood ratio conjecture，因此“无 polynomial estimator”不是定理意义上的复杂性下界。adaptive inference lower bound 是信息论的，更硬。本文真正强的负面结论在 inference，不在 computational hardness。
Relation To Prior Work
最接近的路线有三条。
第一是 COSIE / multilayer network common subspace estimation。Arroyo et al. 及后续工作通常先逐层估计子空间再合并，或者在 multilayer SBM 中做 joint spectral clustering。这类方法隐含单层 signal strong enough，不能解释 λ/σ≪√n 但多层可恢复的区域。本文本质上把 common subspace model 从 network-specific spectral embedding 推到一个 low-rank matrix denoising 的 minimax / computational threshold 框架。
第二是 sum-of-squares / bias-adjusted spectral aggregation。Lei et al.、Xie、HeteroPCA 相关工作已经知道平方聚合能处理 layer heterogeneity 和符号抵消。本文的新点不是 sum-of-squares 本身，而是指出它只是初始化，并证明后续 PGD 可以突破 spectral initialization 的二阶误差，达到 minimax rate。由于本文假设 homoskedastic Wigner noise，所以省掉了 diagonal deletion / debiasing，这让理论更干净但也更 stylized。
第三是低秩矩阵 / tensor 的统计-计算 gap 与 subspace inference。Xia、Bao、Fan、Chen 等已有 singular subspace 的 CLT 或 perturbation theory，tensor 文献也有 statistical-computational gap。本文的实质创新在于把 minimax adaptive inference 引入 subspace loss，并发现 adaptive inference threshold 高于 computational estimation threshold。
因此，算法看似是已有思想重组：sum-of-squares + Riemannian PGD + plug-in CLT。但理论图景是新的，尤其是“estimation computationally feasible, adaptive inference information-theoretically impossible”的区间。
Dataset / Evaluation
实验不是论文主贡献，支持力度有限但方向正确。
模拟实验覆盖了不同 n、L、λ 的设置，展示两个现象：PGD 相比 spectral sum-of-squares initialization 能进一步降低 sinΘ error；CI 在更强 SNR 和更大 L 下覆盖率接近 nominal。这与理论预期一致，但实验没有试图做 sharp threshold 常数验证，也没有系统检验 r、κ、heteroskedasticity、rank misspecification 的影响。
真实数据是 global trade multilayer network，L=59、n=214，用 r=5 得到一些地理 / 经济上可解释的 embedding。这个应用说明方法可用来提取 shared latent structure，但不能验证统计最优性或 inference claim。真实 trade data 显然不满足同方差 GOE / Wigner 假设，且是否存在 common subspace、噪声是否独立都没有严格检验。
所以 evaluation 更像 sanity check 和 illustrative application，而不是对核心理论 claim 的实证证明。核心 claim 主要由 theorem 支撑，不由 benchmark 支撑。
Limitation
最主要限制是模型假设偏理想化。主理论要求 N(l) 是 homoskedastic Wigner / GOE 或 subgaussian Wigner，现实 multilayer network 通常是 Bernoulli、heteroskedastic、degree-corrected，甚至 layer 间相关。作者也承认 heteroskedastic extension 是 open problem；这不是小扩展，因为 sum-of-squares 的 diagonal / variance bias 会直接影响 eigenspace。
rank r 已知，且理论基本把 r 和 κ 当作 bounded。实际中 r 选择错误、R(l) 条件数大、某些 layer 接近退化都会影响 R_hat R_hatᵀ 的稳定性，尤其 inference 的 plug-in 方差估计会很脆弱。文中对 r、κ 的依赖没有优化，这限制了 high-rank 或 ill-conditioned setting 的解释力。
strong inference SNR 很强：λ/σ≫n/√L。当 L≲n 且 r 常数时，这比 estimation threshold √n/L^{1/4} 高很多。也就是说论文虽然构造了 adaptive CI，但可用区间可能远比估计窄。实践里如果不知道 SNR 已经足够强，CI 可能给出看似精确但实际无效的推断。
计算下界不是无条件证明，而是 low-degree 证据。这个在平均情形低秩问题里是标准做法，但仍应理解为 complexity prediction。文中未充分说明在更一般 R(l)、非 Rademacher rank-one alternative 下 low-degree barrier 是否完全代表原问题。
泛化到真实数据的能力不能从实验推出。trade data 的可解释 embedding 可能主要来自 dominant geography / economic blocks，而不是验证 common subspace model 的细粒度正确性。增益来源在真实数据中不清：可能来自 aggregation，也可能来自强低秩结构本身。
Takeaway
- 1. common subspace estimation 的关键不是单层 spectral accuracy，而是如何在符号可抵消、单层弱信号下组织跨 layer 信息；sum-of-squares 是 detectability 工具，local PGD 是 rate-optimal refinement 工具。
- 2. 估计、计算、推断是三个不同层级。
- 本文最值得记住的是 adaptive inference threshold 可以严格高于 computational estimation threshold；以后做 subspace inference 不能默认“估计好了就能推断”。
- 3. 对其他 latent shared structure 问题的迁移 insight：先构造一个 invariant-to-sign / invariant-to-layer-heterogeneity 的 aggregation statistic 进入 basin，再用原始 likelihood 局部优化去掉 aggregation bias，可能是普遍范式。
一句话总结
《Statistically and Computationally Optimal Estimation and Inference of Common Subspaces》（arXiv/2026）把 common subspace model 从算法性 spectral aggregation 推进到估计-计算-自适应推断三重阈值理论，真正贡献是揭示了可计算最优估计之后仍可能无法信息论自适应推断的 gap。