精读笔记
Problem Setting
论文处理的是大规模正交约束优化，尤其是 n、p 都大且 p 不小的 Stiefel 问题。这里真正困难不在于写出约束 X^T X=I，而在于每步既要利用一阶目标下降，又要控制不可行性，同时不能让正交结构维护成为主成本。
Riemannian 方法卡在每步保持可行性：QR/retraction 或 tangent projection 在大 p 下代价高。Landing method 本来绕开了严格可行迭代，允许 X 暂时离开 Stiefel，通过 normal component 拉回约束、tangent component 降低目标；但原始 landing direction 仍要计算全量 Gram/切向结构，复杂度 O(np^2)。所以关键矛盾是：landing 放松了可行性，却没有充分放松“全量约束信息”的使用。
Motivation
作者的出发点不是重新设计 Stiefel 几何，而是发现 landing framework 对随机化更宽容。因为 landing 本身就是在 infeasible neighborhood 内做一阶场更新，不要求每步精确落在 manifold 上，因此可以接受 noisy direction，只要期望方向仍对应 deterministic landing field。
关键观察是 generalized Stiefel landing 中的 B 可以被随机无偏估计。classical Stiefel 对应 B=I；如果 I 能由低秩随机矩阵 S S^T 无偏估计，那么原本全量的 identity 作用就可以被 sketch 代替。这给了一个很直接的路线：不是随机化变量 X 的列，也不是随机化 retraction，而是随机化约束几何本身。
Core Idea
论文真正的核心是：把 deterministic landing field 写成对 identity matrix 的函数，然后用低秩无偏 sketch 替换 identity。normal direction 用 sketch 后只在随机子空间估计 infeasibility correction；tangent direction 用 sketch 后只估计 ∇f 与 X 的反对称耦合。两个方向都不是逐步精确几何对象，但在期望上回到原始 landing direction。
这和 prior 的本质差异在于，它没有维持可行性，也没有试图得到低成本 retraction。它引入的 inductive bias 是“只需随机局部感知正交约束，长期通过期望恢复全局正交性”。这更像 stochastic constraint enforcement，而不是 Riemannian optimization 的低成本实现。scalability 来自把 O(np^2) 的全局 Gram 结构拆成 O(npk) dense sketch 或 O(pk^2) sparse sketch 的随机估计。
Method
第一，sketched normal component 解决的是 infeasibility correction 的成本问题。原始 normal 为 2X(X^T X-I)，需要完整 X^T X；sketch 后变成 2S' S'^T X (X^T S S^T X-I)。本质变化是只用随机投影下的 Gram 信息推动 X 回到约束附近。
第二，sketched tangent component 解决的是 constrained gradient 中 ∇f X^T X 型耦合的成本问题。通过两个 sketch 改写 skew(∇f X^T S S^T) S' S'^T X，并 carefully reassociate matrix products，避免显式 n×n 或 p×p 大矩阵。这一点更偏工程，但必要，因为理论上的 low-rank sketch 若按错误乘法顺序实现，复杂度优势会消失。
第三，dense 与 sparse sketch 分别对应两种 tradeoff。dense Haar/Gaussian-QR sketch 方差可能更平滑，但仍有 O(npk) 成本和 O(nk^2) 采样成本；sparse identity-column sampling 把左乘 sketch 变成 row selection，期望成本可降到 O(pk^2)，但方差与行能量分布会更敏感。
第四，SVRG-style correction 用周期性 full landing direction 减少 sketch 噪声。它的作用不是改变几何，而是防止普通 sketch 在可行性误差附近被噪声地板卡住。这里理论上保持无偏，实践上能恢复高精度，但它也重新引入 full direction，因此收益依赖 T、k 和目标梯度成本之间的平衡。
Key Insight / Why It Works
最关键的 insight 是 landing method 的收敛机制只需要“期望上的 landing field”，而不需要每步方向严格满足真实 Stiefel tangent/normal 几何。Riemannian feasible methods 很难这么做，因为一步错误会破坏可行性，需要 retraction 修复；landing 本来就允许 infeasibility，因此随机化约束几何是自然的。这是论文最实质的贡献。
方法有效的数学原因非常朴素：若 E[S S^T]=I 且两个 sketch 独立，则涉及 Bζ 与 Bζ' 的双线性项在期望上恢复 B=I 的 generalized Stiefel landing direction。normal 的期望提供可行性下降，tangent 的期望提供目标下降。后续收敛几乎完全走 stochastic approximation：bounded variance、safe region、递减步长。
更主观地看，论文的核心不是新的收敛理论，而是把已有 stochastic generalized Stiefel 结果重新解释为 identity sketching，从而得到一个可计算的算法族。dense/sparse sketch 的复杂度分析属于重要 engineering；SVRG 也是必要但不算根本创新。真正值得迁移的是“把硬约束几何中的固定算子当作可无偏估计的对象”，而不是某个具体 sketch 公式。
需要警惕的是，普通 sketched landing 的 plateau 表明无偏并不等于可高精度收敛；在固定步长下，噪声地板会直接限制可行性。SVRG 解决了这个问题，但通过周期性 full computation。也就是说，部分性能可能主要来自 variance reduction / periodic exact correction，而不是 sketch 本身更优。
Relation To Prior Work
最接近的谱系是 landing method、stochastic landing on generalized Stiefel、以及 randomized Riemannian/Stiefel optimization。与 ABLIN-style landing 的关系是直接扩展：保留 tangent+normal 的 infeasible update，但把方向随机化。与 Vary et al. 的 generalized Stiefel stochastic constraint 方法关系更强：本文实际上把 B 的随机估计设为 identity 的 sketch estimator，因此理论基本是复用。
和 randomized Stiefel feasible methods 的差异在于是否保持在 manifold 上。Feasible randomized 方法通常随机化列、子空间或投影，但仍围绕 retraction/可行性维护；本文完全站在 landing/infeasible optimization 侧，随机化的是约束算子而不是可行迭代过程。
看似新的部分包括 dense/sparse sketch 形式、乘法重排后的复杂度、以及 SVRG landing correction。其中实质创新主要是把 identity sketching 与 landing field 结合，并指出 sparse row sketch 可把 n 从 landing-direction 计算中消掉。理论收敛本身不是新理论，更多是已有框架的实例化。
Dataset / Evaluation
实验覆盖很窄，基本是机制验证而非完整 empirical validation。二维球面例子只说明轨迹噪声化；正交化 f=0 是检验 normal component 和可行性恢复的最干净场景；Rayleigh quotient 是经典 Stiefel benchmark，但仍偏 toy/中等规模。
没有真实深度学习模型、没有端到端 wall-clock profiling、没有展示梯度计算与 landing direction 计算的相对占比，也没有系统比较 QR/retraction-based Riemannian 方法在相同硬件和稀疏结构下的表现。因此 evaluation 能支持“sketched direction 可工作、SVRG 可降噪”，但没有充分支持标题中的 large-scale claim。
Figure 4 中 sketch-SVRG 在相同步长下优于 deterministic landing，这个结果需要谨慎解读。作者也承认 deterministic direction 往往能用更大步长；如果没有做步长调优或 wall-clock fair comparison，优势可能来自步长设定和噪声正则化，而不是算法本质更快。
Limitation
第一，safe region 假设是理论核心弱点。论文要求所有 iterates 留在 C_R 中，并在其中 Dh 有良好最小奇异值。对 deterministic landing 这已是非平凡条件；对 sketch 噪声下的 iterate，更需要机制保证。文中未充分说明如何选择 α、ω_N、ω_T 来实际保证这一点。
第二，复杂度 claim 只针对 landing direction，不包括 ∇f 或 stochastic gradient 的计算。若目标梯度本身 dense 且依赖 X 的全列耦合，O(pk^2) 的 direction cost 可能不是瓶颈。所谓 large-scale gain 在真实任务中是否成立，增益来源不清。
第三，sparse sketch 的方差可能非常依赖 X 的行能量分布。均匀采样 identity columns 对 leverage 不均匀的 X 可能很差；论文没有讨论 leverage-score sampling、adaptive sampling 或 preconditioning。无偏性保证了长期正确方向，但不保证有限步效率。
第四，SVRG 是双刃剑。它修复普通 sketch 的噪声平台，但需要周期性 full landing direction。若 T 太小，节省不明显；T 太大，variance accumulation 退化。这个 tradeoff 是方法能否实际工作的关键，但文中只是初步实验，缺少理论或自适应策略。
第五，当前实验没有证明高维极限下的 wall-clock advantage。标题中的 large-scale optimization 更像目标场景，而不是已被实验证实的结论。
Takeaway
- 1. 最值得记住的是：landing framework 比 feasible Riemannian methods 更适合随机化约束几何，因为它不要求每步精确可行，只要求期望上朝正确 landing field 走。
- 2. 把固定约束算子 I 或 B 看成可无偏 sketch 的对象，是一个可迁移的思想；它可能适用于其他矩阵约束、广义正交约束、甚至某些结构化 normalization 约束。
- 3. 真正影响实用性的不是收敛率，而是 variance-cost tradeoff：普通 sketch 会有噪声地板，SVRG 会带回 full computation，未来关键在 adaptive sketch dimension、importance sampling、以及 safe-region-aware step control。
- 4. 这篇论文推动的是 landing method 的可扩展实现路线，而不是给出一个已充分验证的大规模优化器。
一句话总结
这篇论文把 Stiefel landing method 的全量正交几何替换为无偏低秩 sketch sensing，是 landing 系列从 deterministic infeasible optimization 走向 stochastic scalable constraint enforcement 的一次自然但仍需实证补强的演化。