精读笔记

Problem Setting

【Scalable Deep Unfolding of Conic Optimizers】（arXiv preprint / 2026）关注的不是“如何设计一个新 conic solver”，而是如何让 full-update ADMM conic solver 可以被 deep-unfolding 训练，并且规模到达机器人中常见的大 SDP/SOCP。前向 COSMO 本身已经能通过 indirect CG matrix-free 地处理大问题；困难在反向传播：一旦 unroll 后训练 penalty policy / warm-start，线性 solve 和 PSD projection 会把原本 sparse/operator-level 的求解过程变成 dense-memory 或数值不稳定的计算图。以前方法卡在两个地方：为了避免 differentiating through solve，会牺牲 full update；保留 implicit differentiation 的方法又通常显式形成 M 或 A^T A；PSD cone 则被标准 eigendecomposition backward 的重复特征值问题击穿。关键矛盾是：DU 想利用固定预算下的轨迹优化能力，但大规模 conic solver 的可扩展性恰恰来自“不显式展开/不显式成矩阵”的 operator structure。

Motivation

已有 learned optimizer/conic-solver 工作缺的不是一个更大的网络，而是一个不破坏 solver 数值结构的 backward。warm-start 学习通常是 open-loop amortization，参数化相对重，且对分布漂移敏感；hyperparameter-policy 更轻，但必须能稳定 BPTT through solver。Xiong 等用线性化 Douglas–Rachford 规避 linear solve backward，本质是把难点从反向中删掉，代价是更多迭代；Saravanos 等的 implicit differentiation 思路对 QP 有效，但显式 dense coefficient/derivative 对 SDP 规模不现实。作者真正抓住的缺口是：前向 COSMO 已经是 matrix-free，backward 也应该 matrix-free；PSD projection 的 forward 是 well-defined 的，但 autograd 的 eigenvector 微分不是适合这个 operator 的微分表示。

Core Idea

核心思想可以概括为：保留 COSMO 的 full ADMM dynamics，只替换训练时的两个反向规则，使 unrolled solver 的 backward 与 forward 一样保持算子化。线性系统部分不把 M=P+σI+A^T D(ρ)A 当 dense matrix，而把它当 linear operator；对 ρ 的梯度通过 adjoint CG 和 A 的两次 matvec 得到。PSD projection 部分不对 eigendecomposition 的 eigenvectors 做 naive backward，而直接对 spectral projection function 使用 Dalečkii–Krein Fréchet derivative。

这与 prior 的本质区别在于，它不是通过弱化 optimizer update 来获得可训练性，而是让完整 optimizer 的反向传播尊重原 solver 的稀疏/谱结构。引入的 inductive bias 也很明确：学习器只控制 ADMM penalty/relaxation 这些轨迹超参数，底层可行性、cone projection、KKT residual 仍由优化算法组织；训练信号沿着真实 full-update ADMM trajectory 回传，而不是沿着一个 surrogate iteration 回传。因此它更像“scalable differentiable numerical linear algebra for DU”，而不是单纯的 learning-to-optimize 架构创新。

Method

方法中真正机制性的部分有三点。第一，linear solve backward 被改写为 matrix-free adjoint rule。它解决的是 BPTT 或 dense implicit differentiation 带来的内存爆炸；必要性来自 M 中的 A^T D(ρ)A 即使 A sparse 也可能 dense。核心变化是对每个 penalty 的梯度不再经由 ∂M/∂ρ 的显式张量，而是化为 (Aλ)_i(Ax)_i。

第二，PSD cone projection 使用 DK backward。它解决的是 repeated / clustered eigenvalues 下 autograd 的 NaN 或梯度爆炸；必要性来自 SDP 训练轨迹中重复特征值不是病态 corner case，而是 covariance/isotropic constraints 等场景的常态。核心变化是把 projection 看作 f(S)=U f(Λ)U^T 的 matrix function，用 Löwner divided differences 直接给 VJP，使 λ_i=λ_j 的奇异性成为可去奇点。

第三，learned policy 只预测 ADMM 的 ρ 和 α，并对 SOC/PSD block 做 cone-wise averaging。这个设计的意义是保持非可分 cone projection 的 scaled ADMM 定义一致，同时让 policy 以 residual feedback 方式闭环调参。这里的新意相对有限，更像把已有 residual-based hyperparameter policy 移植到非可分 cone 的必要适配。

Key Insight / Why It Works

最重要的 insight 是：这篇论文的主要贡献不是“学习”本身，而是让学习不破坏数值优化器的可扩展结构。COSMO 间接模式的可扩展性来自 matrix-free CG；如果 backward 形成 dense A^T A，那么 DU 的训练图就与 solver 的设计哲学冲突。作者的 adjoint rule 恰好恢复了这种结构一致性，所以它的收益是确定性的 scaling gain，不依赖数据或网络 magic。

第二个核心 insight 是 PSD projection 的梯度应该对 projection operator 求，而不是对 eigendecomposition implementation 求。autograd 的 eigenvector backward 在重复特征值处发散，是因为 eigenvectors 本身不唯一；但 PSD projection 作为 spectral function 在许多情况下仍有良好的 Fréchet derivative/subgradient 表达。DK rule 的成功来自 representation alignment：用正确的数学对象承载梯度，而不是给错误对象加 Tikhonov 补丁。

真正提升求解速度的部分大概率主要来自 hyperparameter policy，而不是 warm-start。appendix ablation 已经暗示 warm-start 有时收益有限甚至伤害，policy 因为在轨迹中闭环读取 residual，可以动态改变 ADMM 的局部收敛行为。这里的能力更像 learned controller for solver dynamics，不是学会了优化问题的解。

需要警惕的是，实验中的大 speedup 很可能混合了三类来源：一是 full-update ADMM 相对线性化 unroll 的算法优势；二是 matrix-free backward 使得能训练到这个规模；三是 per-family policy 对固定分布 residual dynamics 的拟合。第三点可能有隐式 memorization / distribution specialization 成分。论文没有证明 policy 学到了可迁移的 ADMM 调参规律；目前更稳妥的判断是：它学到了在给定 problem family、给定尺度、给定 tolerance 下有效的 closed-loop heuristic。

Relation To Prior Work

这篇最接近的谱系是 learned hyperparameters for first-order convex solvers，而不是 OptNet/cvxpylayers 那类 differentiable optimization layer。后者关心解映射对 problem data 的导数，trajectory hyperparameters 在最优性条件下没有梯度；本文关心有限预算内 solver trajectory 的加速，所以必须做 DU。

相对 warm-start 学习，本文的本质差异是从 open-loop amortization 转向 closed-loop residual-feedback control：warm-start 只影响初始点，policy 每步影响 ADMM metric/relaxation，表达力更贴近迭代动力学。相对 DR-GD/linearized unrolling，本文选择不削弱 solver update，而是解决 full solve 的 backward 成本。相对 Saravanos 等 QP setting 的 implicit differentiation，新增的信息是 matrix-free gradient formula 和对非可分 cone/PSD backward 的处理。

看似新的部分中，DK derivative 本身不是新数学，matrix-free adjoint 也不是新思想；实质创新在于把这两者放到 unrolled conic optimizer 的两个实际 failure mode 上，并证明这正好是让 large-scale SDP DU 成立的缺失环节。它是一篇把 differentiable numerical linear algebra、operator-splitting solver、learning-to-optimize 重新对齐的论文。

Dataset / Evaluation

评价覆盖了两类 claim：一类是机制性 claim，即 backward memory 和 PSD gradient stability；另一类是应用性 claim，即 learned COSMO 能在固定低精度 tolerance 下加速多类 conic programs。前者验证得比较直接：线性 solve backward 的内存曲线和 PSD clustered-eigenvalue 实验确实对准了论文的技术痛点。后者覆盖了 covariance steering/SCP、graph SDP、Lyapunov LMI、robust estimation/control，任务范围比单一 toy benchmark 更有说服力。

但 evaluation 仍主要是离线分布内评估。每个 problem family 单独训练，训练/测试来自同一生成器；没有真实机器人闭环部署，没有跨 family transfer，没有显著尺度外 extrapolation。SCP 实验说明 learned solver 可作为 inner subroutine 加速外层，但还不能证明在更复杂非线性系统或安全关键约束下的鲁棒性。benchmark 支持“在训练分布内、低精度、重复求解场景下可加速”，不支持“通用 learned conic optimizer”。

Limitation

最硬的上限是 PSD block size：matrix-free rule 解决的是变量/约束维度上的 dense-memory 问题，但 PSD projection 仍然需要 dense eigendecomposition，O(p^3) 没变。因此这篇的 scalability 是对大 n/m、稀疏 A、较可控 PSD block 的 scalability，不是任意大 SDP block 的 scalability。

第二个限制是目标精度。论文明确工作在 ε≈1e-3 的实时控制/SCP regime；first-order ADMM 在高精度下仍慢，learned policy 不会改变这个基本复杂度。与 Clarabel/IPM 的关系因此是互补而非替代。

第三个限制是泛化。policy per-family 训练，100 个实例左右即可起效这一点很实用，但也意味着核心能力可能主要来自数据覆盖和分布内 residual dynamics 拟合。跨 horizon、跨 graph size、跨 cone composition、跨物理系统是否稳，文中未充分说明。

第四个限制是增益归因。虽然 ablation 指向 hyperparameter policy，但不同问题上的巨大 speedup 可能还受到 baseline residual-balancing heuristic 不适配、CG iteration count 变化、problem distribution 容易被 policy 捕捉等影响。文中没有把 learned ρ/α 与最优手调/更强 classical adaptive ADMM heuristic 做系统比较，因此“学习”相对“更好的工程调参”的净贡献仍有不清晰处。

最后，方法把一部分成本转移到离线训练和 per-family data generation。对于大量同分布重复求解，这很合理；对于一次性 SDP 或分布快速变化的在线任务，amortization 假设未必成立。

Takeaway

• 1. 这篇真正推动的是 scalable DU infrastructure：如果要 unroll 大型优化器，关键不是更复杂的网络，而是 backward 必须和 solver 的 forward 一样 matrix-free / structure-preserving。
• 2. 对 spectral/conic operators，autograd 默认分解级梯度经常不是正确抽象；直接微分 operator/function 本身会更稳定。
• 这一点可迁移到其他含 eig/SVD/projection 的 differentiable optimization layers。
• 3. 在实时控制低精度 regime，learned hyperparameter policy 比 learned warm-start 更值得押注，因为它是闭环作用于 solver dynamics，而不是一次性猜解。

一句话总结

这篇论文在 learned conic optimization 方向里的位置是：它不是提出新求解器，而是通过 matrix-free adjoint 和稳定 PSD spectral backward 补上了 full-update ADMM conic solver 可扩展 deep unfolding 的两个关键数值缺口。