精读笔记

Problem Setting

论文标题：Riemannian Optimization for Hadamard Products of Low-Rank Matrices（arXiv preprint / 2026-06-02）。

这篇论文实际处理的是 Hadamard 低秩乘性模型的优化问题，而不是表达能力本身。模型 W=(GH^T)∘(UV^T) 用 (m+n)(r1+r2) 参数表达最高 rank r1r2 的矩阵结构，适合有 multiplicative interaction 的数据；但优化空间不是普通 factor space，而是带有大量 gauge freedom 的 quotient space。

真正困难点在于，除了每个低秩因子对自身的 GL(r) 重参数化不变性外，Hadamard product 还允许 X→D_r X D_c、Y→D_r^{-1}Y D_c^{-1} 的 row/column reciprocal scaling。这个 symmetry 会让同一个 W 对应许多尺度差异巨大的 factor 表示。欧氏梯度在这些表示上不是等价的，因此优化行为取决于任意 gauge，而不是目标矩阵本身。

以前方法的卡点很明确：AGD 足够通用但几何盲；BCD 在 squared loss 下强，因为它解的是 per-row normal equations，隐式做了曲率预条件，但一旦换成非二次 smooth loss 就没有闭式子问题。关键矛盾是：想要 BCD 的 curvature adaptation，又不想被 least-squares 绑定。

Motivation

作者的核心动机是把 BCD 的有效性从“算法技巧”重新解释成“几何结构”。BCD 里每个 row update 的 normal-equation matrix，比如 H^T Diag(Y_i,:^2)H，正好描述了当前 complementary Hadamard factor 对该 row 的局部敏感度。这不是偶然的数值线性代数细节，而是模型 map Φ(G,H,U,V)=(GH^T)∘(UV^T) 的 pullback curvature 的 diagonal block。

已有路线缺的是一个同时满足三点的优化框架：识别 GL gauge、识别 Hadamard cross-scaling gauge、并且不依赖 loss 的二次结构。Riemannian quotient 是自然选择，因为它把“同一个 W 的不同 factor 表示”视作等价点，把优化从表示层拉回到几何等价类上。

论文真正补的缺口不是提出一个更复杂的 solver，而是定义了一个能继承 BCD normal equations 的 metric，使得任意 smooth loss 下都能用类似 BCD 的预条件梯度。这个观察比具体 RGD 算法更重要。

Core Idea

核心思想可以概括为：不要在 Hadamard factor 参数空间上做欧氏优化，而是在 quotient manifold 上做带结构预条件的 Riemannian optimization。factor 变量仍然保留，但 metric 被设计成对所有自然 symmetry 不变，因此优化器看到的是 W 的有效变化方向，而不是任意 factor scaling 造成的伪方向。

具体地，作者从 Φ 的 Frobenius pullback metric 出发，但不使用完整 pullback，因为完整 metric 会把 G/H/U/V 全部耦合成 dense system，计算上不可接受。他们保留 block-diagonal 项，得到每个 factor row/column 一个 r×r 的 S-block。这相当于 block-diagonal Gauss–Newton：牺牲部分二阶耦合，换来 row-wise independent solves 和线性样本复杂度。

和 prior 的本质区别：AGD 是在错误坐标系里做一阶下降；BCD 是在 least-squares 下用闭式局部最优解；本文把 BCD 的 normal-equation curvature 提升为 loss-agnostic metric。新的 inductive bias 是 scale/gauge-invariant optimization bias：更新方向按 Hadamard complementary factor 的局部强度自适应，而不是按 factor 数值大小本身更新。

Method

1. Quotient structure：它解决的是“哪些 factor 变化不改变 W”的问题。GL 重参数化和 cross-Hadamard reciprocal scaling 都被视为 vertical directions。这样做的必要性在于，如果不 quotient 掉这些方向，优化器会把表示层尺度变化误当作有效下降方向。核心变化是目标不再依赖某个 arbitrary representative，而依赖 equivalence class。

2. Hadamard-weighted metric：它解决的是欧氏梯度对局部曲率和尺度分裂不敏感的问题。S_i^G=H^T Diag(Y_i,:^2)H、S_j^H=G^T Diag(Y_:,j^2)G 等 block weights 衡量单个 factor row/column 变化对 W 的输出扰动强度。Riemannian gradient 变成欧氏梯度乘 S^{-1}，本质上是 per-row curvature normalization。核心变化是梯度从“参数空间 steepest descent”变成“输出空间近似等距的 descent”。

3. Block-diagonal pullback approximation：它解决的是 full pullback 太贵的问题。完整 J^T J 会耦合四个 factor block；作者只保留 diagonal blocks。这是一个明确的近似，也是方法 scalable 的关键。它不是完全几何精确，而是工程上合理的 structured preconditioner。

4. Gauss–Newton Cauchy step：它解决的是步长调参和尺度依赖问题。用 ||DΦ[d]||_F^2 归一化下降方向，使初始步长在输出空间线性化下合理。这个机制辅助重要，但不是核心贡献；真正的收益大概率来自 metric，而不是 Cauchy step。

5. Additive retraction：这是最朴素的 retraction，只要保持 full rank 即可。它不是论文的技术亮点，更像为了实现 RGD 的最低必要组件。

Key Insight / Why It Works

这篇论文最核心的 insight 是：Hadamard 低秩模型难优化，并不是因为目标函数特别复杂，而是因为 factor representation 的 gauge freedom 比普通低秩分解更强；如果优化器不尊重这个 gauge，就会把无意义的尺度选择变成数值病态。RGD 的有效性来自把这个 gauge invariance 编码进 metric。

S-block metric 是最可能的核心贡献。它把 complementary factor 的能量作为局部权重：更新 G 的某一行时，H 与 Y_i,: 决定了这个 row 的可观测输出敏感度；如果某些方向在 W 空间放大，就在 factor gradient 中压小；如果某些方向在 W 空间弱，就相对放大。这和 BCD normal equations 的作用一致，所以 RGD 能接近 BCD。换句话说，它不是神秘的 Riemannian 优化收益，而是结构化 preconditioning。

这本质上属于 better inductive bias / representation alignment，而不是 scaling law、retrieval、data coverage 或 test-time compute。它让优化动态与模型等价类对齐，减少了 factor coordinate artifact。scale invariance stress test 证明的是这个 alignment，而不是泛化能力。

哪些可能只是辅助：Gauss–Newton Cauchy step 和 Armijo 主要减少调参并稳定收敛；它们可能贡献一部分实验优势，但不是概念突破。SVD initialization、orthogonal rotation、regularization grid search 都偏 engineering，且可能影响 MovieLens 上与 BCD/AGD 的比较。文中未充分隔离这些因素。

一个需要直说的点：论文声称优势在任意 smooth loss，但实验核心仍是 least-squares。因而当前证据最强支持“这是 BCD-style geometry 的 Riemannian reinterpretation”，而不是充分支持“它在广泛非二次任务上优于已有优化器”。non-quadratic 下的实际增益仍未被证明。

Relation To Prior Work

最接近的技术谱系有两条：低秩矩阵补全中的 quotient Riemannian optimization，以及 Hadamard decomposition 的 AGD/BCD 算法。本文基本是在这两条线的交叉点上做了一个结构化扩展。

相对普通 fixed-rank quotient 方法，新增的是 cross-Hadamard scaling symmetry。普通低秩分解只需要处理 LQ、RQ^{-T} 的 GL gauge；这里还要处理 X/Y 之间按 row/column reciprocal scaling 的 gauge。这是实质新增的信息，也是本文几何建模的关键。

相对 BCD，本文的不同点不是发现了新的 normal matrices，而是把这些 normal matrices解释为 loss-independent Riemannian metric 的 blocks。BCD 的强处来自 least-squares 子问题闭式解；本文把其中可迁移的 curvature 部分抽象出来，用于任意 smooth loss 的梯度法。这个迁移是实质创新。

相对 AGD，区别非常本质：AGD 是欧氏坐标下降，更新依赖 factor 的 arbitrary scaling；RGD 是 quotient-aware preconditioned descent，更新在 symmetry 下 equivariant/invariant。AGD 的便宜复杂度来自忽略几何，RGD 的额外计算换来更稳定的 representation alignment。

看似新的部分中，block-diagonal pullback / Gauss–Newton preconditioning 在 Riemannian low-rank 文献里并不新；新意在于把它准确适配到 Hadamard product 的额外 symmetry，并与 BCD normal equations 建立等价关系。

Dataset / Evaluation

实验覆盖了 fully observed approximation、synthetic stress tests 和 MovieLens-1M matrix completion。它们能验证几个关键 claim：scale invariance、least-squares 下接近 BCD、相比 AGD 的 curvature advantage、以及在真实推荐数据上的可运行性。

最有说服力的是 synthetic scale-separation 实验，因为它直接对应 proposition：同一个 W_0 但 factor scaling 极端变化，RGD 最终误差保持不变。这验证了 metric invariance，而不是泛泛的性能提升。

真实数据实验说明 RGD 在 least-squares 上至少不比 BCD 差太多，并在 MovieLens 某些 Hadamard rank 下更好。但这里的 claim 支撑有限：MovieLens 仍是 squared loss，不能证明“任意 smooth objective”这一最有应用价值的点。若论文想证明 BCD 不适用场景下的优势，应当包含 logistic link prediction、Poisson/count loss、robust loss 或 cross-entropy 任务。

AGD 表现很差，但 AGD 的 tuning、normalized steps、wall-clock matching 是否公平，文中未充分说明。RGD 与 BCD 的差异也可能受到 line search、regularizer、初始化旋转、实现效率影响。MovieLens 上 RGD 优于 BCD 的增益来源不清。

Limitation

1. Block-diagonal approximation 是核心近似也是核心上限。完整 pullback 中的 cross terms 被丢弃；当 G/H/U/V 的耦合强、rank 较高或数据非常稀疏时，这些 cross terms 可能不是小量。方法有效依赖“diagonal curvature 足够解释主要病态”这一隐含前提。

2. Metric 的正定性依赖 full-column-rank factors 和 X/Y 无零元素。Hadamard 模型天然可能产生接近零的 entries，尤其在稀疏、signed 或 count 数据中；S-block 可能 ill-conditioned，需要 damping/regularization，但论文没有系统讨论。

3. Scalability 上限在 rank 维度而不是样本数。O(Nr) 对观测数很好，但 (m+n)r^4 和大量 row-wise Cholesky 在 r 增长时会很快成为瓶颈。该方法更适合小 rank Hadamard factors，而不是中高 rank 表示。

4. 泛化到 non-quadratic loss 是理论可行，不是实验已证。论文的最大卖点之一是 loss-agnostic，但 evaluation 没有给出足够非二次任务。当前只能说它“可以应用”，不能说“确实更好”。

5. Quotient formulation 假设 group action 足够规则。实际存在 zero patterns、rank deficiency、factor degeneracy 时 quotient 可能有 singular strata；算法仍在 total space 用 additive retraction 跑，理论与数值边界之间有缝隙。

6. 增益归因不完全清晰。RGD 的优势可能来自 metric，也可能部分来自 Cauchy step、Armijo、初始化处理或正则项计算方式。论文没有充分 ablate metric vs step size vs initialization。

Takeaway

• 1. 最值得迁移的 insight：如果一个 factorized model 有额外 gauge symmetry，优化器必须对该 symmetry invariant/equivariant；否则性能差异可能只是 arbitrary representation scaling 的产物。
• 2. BCD 的 normal equations 可以被看作 loss-specific closed-form solver，也可以被抽象成 loss-agnostic Riemannian metric。
• 后一种视角更有迁移价值，尤其适合把二次损失下的有效预条件推广到非二次目标。
• 3. 对复杂 factorization，与其直接上 Adam/AGD，不如先分析 model map 的 pullback metric，再做 structured block approximation。

一句话总结

这篇论文把 Hadamard 低秩分解从欧氏 factor optimization 推进到 quotient-aware Riemannian preconditioning，本质贡献是将 BCD 的 normal-equation curvature 抽象成对 GL 与 cross-scaling symmetry 不变的 loss-agnostic metric。