精读笔记

Problem Setting

这篇论文处理的是固定 TT-rank 张量补全中的几何优化表示问题。真正难点不是 least-squares loss，而是 TT cores 的非唯一性导致优化变量存在 gauge redundancy；若不处理等价类，梯度方向和投影会混入纯 gauge 方向，数值上容易浪费自由度。已有 embedded TT manifold 方法避免显式 quotient，但在 ill-conditioned 或低采样场景下鲁棒性较弱；已有 quotient 方法几何上更合理，却通常使用 GL gauge 和 full metric，导致水平投影、Riemannian gradient、vector transport 等操作耦合所有 cores，计算代价偏高。关键矛盾是：要 quotient geometry 的稳定性，又不想被 full metric 和大 gauge group 的计算成本锁死。

Motivation

作者的核心观察是：TT 分解如果先固定到 left-orthogonal form，剩余非唯一性不再是一般 GL 变换，而是 orthogonal 变换。这个变化看似只是 gauge fixing，实质上改变了 quotient geometry 的 admissible metric 空间。已有 quotient 工作即便有时使用 orthogonal group，也基本仍沿用 full metric，没有系统利用 O(r) action 的等距性质来放宽 metric 选择。缺口在于：没有一个既保持 quotient 上良定义、又允许低成本 metric 的 TT completion 框架；也缺少一个系统构造 quotient-compatible retraction 的原则，而不是逐个验证 product Stiefel retraction 是否碰巧兼容。

Core Idea

论文真正的核心是把 left-orthogonal TT format 作为 total space，并只 quotient 掉剩余的 orthogonal gauge。这样做改变了建模方式：优化变量不再是任意 TT cores modulo GL，而是正交规范化 cores modulo O。由于 O(r) 保持内积，作者可以构造一族从 Euclidean 到 full metric 的 admissible metrics，而不是被迫使用全局耦合 metric。

直觉上，这个方法有效是因为它把无效自由度提前压缩掉了。GL quotient 的水平投影需要处理完整 r_k × r_k gauge 变量；orthogonal quotient 只需要处理 skew-symmetric Lie algebra，未知数天然减半。metric family 则把“使用多少右侧环境信息”做成可调参数：full metric 近似更强的几何预条件，局部 metric 牺牲部分曲率/conditioning 信息换低成本。和 prior 的本质区别不是换了优化器，而是换了 quotient group，从而释放了 metric 设计自由度。

Method

方法的第一块是 left-orthogonal quotient manifold。它解决 TT 表示的非唯一性，并把等价关系限制为 orthogonal cores transformation；这一步是后续所有计算收益的来源。第二块是 admissible metric family。每个 core 的 tangent 内积只合并其右侧若干 cores，形成从局部 Euclidean 到 full metric 的连续谱；它解决 full metric 过重的问题，核心变化是把几何信息量变成可调资源。第三块是 tangent / horizontal projection。tangent projection来自 Stiefel 约束，horizontal projection 来自对 vertical space 的正交补，最终变成 skew-symmetric 变量上的 block-tridiagonal 线性系统；它解决 quotient 上代表元选择不唯一的问题。第四块是 retraction。作者不是简单对每个 core 做 QR/polar，而是要求 retraction 保持 Φ(X+ξ) 对应的 full tensor 不变；因此 recursive polar/QR 正交化可以自然下降到 quotient。RGD 和 RCG 只是标准 Riemannian first-order algorithms，主要价值在于这些几何算子被构造得可用。

Key Insight / Why It Works

最关键的 insight 是：计算收益来自 gauge group 的 Lie algebra 变小，而不是来自某个更聪明的优化 heuristic。left-orthogonalization 把 GL gauge 变成 O gauge，使 vertical direction 由 skew-symmetric matrices 参数化；这直接把水平投影线性系统维度从 ∑r_k^2 降到 ∑r_k(r_k-1)/2。这个贡献是实质性的，因为它改变了 quotient geometry 的自由度结构。

第二个 insight 是 metric 不变性问题被 orthogonal action 简化了。GL action 下普通局部 metric 通常不会 invariant，必须用 full metric 抵消 gauge 变换；O action 下很多局部/半局部 metric 都能保持 invariant。因此 metric family 本质上是 better inductive bias / preconditioning 的可调版本：full metric 注入更多全局环境信息，局部 metric 保留更低计算成本。实验里 full metric per-iteration 更快下降但 wall-clock 未必占优，说明收益不是单纯 algorithmic dominance，而是 trade-off。

retraction 的贡献更像一个可迁移的几何工程原则：若 retraction 保持表示生成的 full tensor 不变，则 quotient compatibility 自动成立。具体 polar/QR 版本本身并不神秘，可能主要是 engineering；真正值得记住的是把 representation-preserving normalization 变成 quotient retraction 的设计逻辑。

论文没有证明补全统计意义上的更强恢复能力。相对已有 quotient 方法，恢复率基本相当，优势主要来自更小投影系统和 metric 可选性；若声称 reconstruction accuracy 更好，证据并不强。这里的核心能力不是 data coverage、retrieval、scaling 或 test-time compute，而是 latent gauge structure 被更合适地参数化。

Relation To Prior Work

它最接近三条路线：embedded fixed-rank TT manifold optimization、GL quotient TT completion、以及 Tucker/matrix factorization 中的 quotient geometry。和 embedded 方法相比，它显式处理 TT gauge，因此在 ill-conditioned 场景下更接近已有 quotient 方法的鲁棒性。和 Cai 等 GL quotient TT 方法相比，本质差异是 total space 先 left-orthogonalize，quotient group 从 GL 降为 O；这带来 metric family 和 skew-symmetric horizontal projection，而不是单纯重写公式。

看似新的部分中，RGD/RCG、Armijo/BB line search、polar/QR retraction 都是标准 Riemannian optimization 工具的组合；这些不是主要创新。实质创新在两点：第一，系统构造 left-orthogonal TT quotient 上的 d! 个 admissible metrics；第二，把 tensor-preserving orthogonalization 作为 quotient-compatible retraction 的一般原则。它属于“几何建模/预条件化改进”谱系，而不是新的 tensor completion 统计模型。

Dataset / Evaluation

实验主要是 synthetic TT tensors，覆盖了不同 metric、不同 retraction、低 oversampling 和高 condition number。它验证了 proposed geometry 至少能达到已有 quotient 方法的恢复表现，并在某些设置下有类似或略好的成功率；也验证了不同 metric 确实存在 iteration 与 wall-clock 的 trade-off。对核心 claim 中“计算更高效”的理论复杂度部分，实验给了一定支持，但不是大规模压力测试。

评价的明显 limitation 是场景单一：没有真实世界张量、没有噪声/模型失配系统分析、没有高阶大 rank 的实际 scalability 曲线，也没有展示 metric family 在复杂 sampling pattern 下的选择规律。因此实验更像验证几何框架可行，而不是证明其在真实 tensor completion pipeline 中显著优于 state of the art。文中未充分说明这些 MATLAB 小中规模实验能否外推到高 order、高 rank、稀疏观测极端场景。

Limitation

最大前提是 rank 已知且目标确实是低 TT-rank；一旦 rank misspecified，整个 fixed-rank quotient framework 的优势可能下降。第二，scalability 上限仍受 r 的高阶复杂度限制，尤其 full metric 和 horizontal projection 需要形成/求解结构化线性系统；未知量减半不等于复杂度问题解决。第三，metric family 的选择缺少理论准则，当前更像经验调参；full metric、局部 metric、半局部 metric 的优劣依赖 tensor shape 和 core size，增益来源不总是清楚。第四，实验没有处理真实数据、噪声、非均匀采样或 rank adaptation，因此泛化 claim 较弱。第五，和已有 quotient 方法相比，恢复能力增益有限；主要贡献是计算几何更干净、更可调，而不是 completion 能力本身突破。

Takeaway

• 最值得记住的不是 LO-RGD/LO-RCG，而是：选择更小但仍完整的 gauge group 可以同时改善 metric admissibility 和 projection complexity。
• left-orthogonal gauge fixing 不只是数值预处理，它可以改变 quotient geometry 的设计空间。
• 第二，metric 应被看作可调的几何预条件器，而不是固定选择；未来更有价值的是自适应 metric selection。
• 第三，representation-preserving normalization 可以系统转化为 quotient-compatible retraction，这个 insight 可以迁移到 Tucker、HT、matrix factorization 等有 gauge symmetry 的模型。

一句话总结

这篇论文在 TT 张量补全的 quotient-geometry 路线上，用 left-orthogonal gauge 将 GL quotient 收缩为 O quotient，从而获得可调 Riemannian metric family 和更低维水平投影，是一次以几何结构重参数化换取计算可扩展性的实质改进。