精读笔记
Problem Setting
[Second-order Methods for Multiobjective Composite Optimization: Preconditioning Strategies, Subspace Variants and Inexact Solutions]（arXiv preprint / 2026-06-26）
这篇论文实际解决的是多目标复合优化中的“可用二阶信息”问题：目标函数有多个 smooth + nonsmooth component，smooth 部分可能严重 ill-conditioned，nonsmooth 部分又要求 proximal 结构。传统 proximal gradient 每步便宜但受最坏 Lipschitz / 条件数控制；proximal Newton / quasi-Newton 虽然利用曲率，但在多目标 composite 场景下会引入 objective-wise Hessian 和非对角 metric prox，方向子问题很快变得比原问题还难。
关键矛盾是：多目标算法需要一个对所有目标同时下降的方向，而二阶信息天然是 objective-specific 的；如果保留每个目标自己的 Hessian，模型精确但计算不可扩展；如果退回一阶或对角 scaling，计算简单但无法真正处理变量空间的 ill-conditioning。论文的目标不是提出一个全新 Pareto optimality 框架，而是在这个矛盾里找到一个更可计算的二阶近似。
Motivation
已有路线的缺口很清楚：PGMO / APGMO 的理论速率和实践表现会被最差目标的曲率拖住；scaled proximal gradient 用 objective-wise BB scaling 缓解目标间 imbalance，但它本质仍是一阶模型，对变量空间病态无能为力；proximal Newton / quasi-Newton 则把问题推向昂贵的 metric prox 和多 Hessian 管理。
作者的核心观察是，多目标 composite 问题里不一定需要 objective-wise 二阶矩阵。很多 ill-conditioned 结构在不同目标间有共享几何，至少可以由一个 common preconditioner 捕获；目标间的尺度差异则用 BB 标量补偿。这个想法的缺口在于：即使只有一个公共非对角 metric，prox 仍可能不可闭式求解。因此需要进一步把 full-space metric prox 降维到可解的 subspace model。
Core Idea
论文真正核心的想法是把多目标二阶化拆成两个层次：公共变量空间预条件 + 目标级标量预条件。公共矩阵 B_k 负责“哪里病态、哪些方向需要拉伸/压缩”，objective-wise alpha_i^k 负责“不同目标的曲率尺度如何对齐”。这改变了多目标二阶模型的组织方式：不是给每个目标各自建一个复杂 Hessian 模型，而是先假设存在可共享的局部几何，再在目标维度上做轻量校准。
第二个关键想法是，既然非对角 metric prox 难解，就不要在全空间里解它。论文把方向限制在由当前 proximal-gradient-type 方向和历史投影方向张成的二维子空间中，并用 B_k-共轭基让二次项对角化。这样，曲率信息以低维方式进入模型，而非光滑项只需要沿一维方向处理。这个 inductive bias 很强：算法假设“有用的二阶改进主要位于当前下降方向 + 上一步运动方向的平面内”。在 ill-conditioned quadratic-like 问题上这是合理的，也解释了为什么它比 full proximal Newton 更 scalable。
Method
1. 公共 preconditioned proximal BB 模型：解决 objective-wise Hessian 太重的问题。它用 B_k 近似 aggregated curvature，用 alpha_i^k 做目标级 BB scaling。核心变化是把多目标二阶结构从多个矩阵压缩成一个矩阵加一组标量。
2. Subspace approximation：解决非对角 metric prox 不可闭式的问题。方向不再在 R^n 中直接求，而是在 span{v_k,u_k} 中求，其中 v_k 是 proximal-gradient-type 方向，u_k 是历史方向的可行投影。核心变化是用低维模型承载大部分 curvature benefit。
3. B_k-conjugate basis：解决二维模型中二次项耦合的问题。把 u_k 对 v_k 做 B_k-正交化后，quadratic term 分离，方向计算近似拆成两个一维 nonsmooth 子问题。这个步骤是 subspace 方法能落地的关键，而不是装饰性技巧。
4. Linear-operator-aware preconditioning：解决 g_i(Ax) 的 prox 难题。选择 P 使 AP^{-1}A^T=I 后，dual 子问题中的 prox 变成显式形式。这里方法不是发明新的 primal-dual descent，而是通过 metric 选择把线性算子的困难“规整化”。
5. Inexact descent conditions：解决内层 dual 子问题过贵的问题。论文不要求精确解 dual simplex problem，而用 relaxed descent 条件保证 sufficient descent。实际效率很可能主要来自这个 inexact + warm start 机制。
Key Insight / Why It Works
最核心的有效性来源不是“用了二阶方法”这个表层标签，而是它把二阶信息压缩到一个可计算的共享 metric 中。多目标 composite 优化最怕的是同时出现目标间不平衡和变量空间 ill-conditioning；alpha_i^k 处理前者，B_k/P_k 处理后者。这种分工比单纯 BB scaling 或 objective-wise quasi-Newton 更干净。
subspace 部分的有效性来自 memory reuse + low-dimensional test-time compute。当前 proximal direction 给出可靠下降，历史方向提供类似 conjugate-gradient / momentum 的跨迭代曲率信息；B_k-共轭化让这个二维记忆可以被稳定利用。它不是严格意义上的 full second-order solve，而是把昂贵的 Newton correction 变成一个低维 refinement。对于 ill-conditioned quadratic 问题，这种二维 Krylov-like 修正天然有效。
最可能的核心贡献是“common preconditioner enables decomposable subspace composite model”。如果使用 objective-wise Hessian，dual 中的 Hessian aggregation 随 lambda 变化，无法构造固定共轭基；因此公共 B_k 不只是省计算，它是后续分解成立的结构前提。
可能只是辅助或 engineering 的部分包括：spectral projected gradient 解 simplex dual、warm start、epsilon/delta inexact stopping、finite-difference Hessian-vector approximation。这些很重要，但更像让方法跑得快的实现层机制。实验中内层迭代少于两次的现象说明，部分加速可能来自 warm-started approximate dual solution，而不完全来自更好的二阶模型。
这里没有 retrieval / data coverage / hidden supervision 问题；这是数值优化论文。但存在“增益来源不清”的问题：subspace、BB scaling、inexactness、warm start、合成 quadratic 结构同时出现，文中没有充分拆解每个因素的独立贡献。
Relation To Prior Work
它最接近四条线：PGMO / accelerated PGMO，scaled proximal gradient for MOP，proximal Newton / quasi-Newton for composite MOP，以及单目标 subspace proximal Newton / Yuan-Stoer 式二维子空间方法。论文本质上不是从零开新方向，而是把这些路线重组到 multiobjective composite setting。
和 PGMO 的本质差异是：PGMO 用统一 Euclidean quadratic regularization，本文引入公共 metric 来改变变量空间几何；和 scaled PGMO 的差异是：scaled PGMO 只在目标维度缩放，本文同时做目标尺度和变量空间预条件；和 proximal Newton / quasi-Newton 的差异是：本文拒绝 objective-wise Hessian 的高保真建模，改用公共 preconditioner 以换取可分解性和可扩展性。
看似新的部分中，BB scaling、dual simplex formulation、Danskin gradient、Armijo descent 都是已有工具；实质创新在于把 common preconditioning 与 B-conjugate subspace decomposition 绑定起来，并说明 objective-wise second-order model 一般不具备这种分解。对 g(Ax) 的扩展也不是传统 primal-dual 算法的直接套用，而是通过 P 的构造使 dual prox 显式化，这在 multiobjective composite descent 框架中更有新意。
Dataset / Evaluation
评估覆盖三类问题：标准 l1、structured l1 with linear operator、线性约束。它们都基于 ill-conditioned quadratic smooth objectives，维度最高到 1000，条件数最高到 1e5，主要考察算法面对病态曲率和非光滑结构时的数值行为。这个设置和论文 claim 是对齐的：它确实验证了 subspace preconditioning 对 ill-conditioning 的帮助。
但实验仍然偏 synthetic。所有 smooth 部分都是构造的二次函数，目标数基本是 m=2，A 的结构也由 SVD/随机正交矩阵生成。它验证的是机制在 controlled setting 下有效，而不是复杂真实任务中的鲁棒性。没有和更强的多目标 proximal quasi-Newton、primal-dual multiobjective 变体或高质量工程实现进行充分比较，benchmark 也没有覆盖非二次、非凸复杂地形。
实验支持“subspace variant 比 non-subspace IPPBB 更快”这一点较强；但对“二阶方法整体优于已有路线”的支持较弱，因为 baseline 集合偏窄。purity metric 说明 Pareto front 质量可接受，但主要结果还是迭代数和 CPU time，不能完全说明在真实 Pareto front approximation 任务上的优势。
Limitation
第一，方法强依赖可处理的 convex nonsmooth structure。g_i 需要 proper convex lsc，g_i(Ax) 的扩展依赖 A 的 rank 和 P 的特殊构造；如果 A 不满行秩、prox/dual prox 不简单，所谓 linear-operator-aware 优势会明显变弱。
第二，公共 preconditioner 的假设有上限。如果不同目标的 Hessian 主方向强烈冲突，一个 B_k 很可能无法同时代表所有目标的局部几何，alpha_i^k 只能做标量修正，不能修复方向级冲突。论文的实验没有充分挑战这种目标间 curvature conflict。
第三，subspace 的理论和经验之间还有落差。full-space preconditioned BB 有局部超线性结论，但实际主算法是 inexact subspace method，其理论保证主要是全局 Pareto criticality 和 error-bound 下线性收敛。真正的 subspace 加速更多由实验体现，而不是由强理论刻画。
第四，增益归因不够干净。ISPPBB 同时引入 subspace、inexact dual solve、warm start、finite-difference curvature、BB scaling 和 line-search。文中未充分说明外层迭代减少究竟主要来自 subspace curvature，还是来自更宽松的 inexact stopping 和 warm-start reuse。
第五，scalability 仍可能受限于 dual 子问题和一维 nonsmooth 子问题的结构。虽然实验显示内层迭代很少，但这是在合成问题和宽松 stopping 下；更复杂 g_i 或更大 m 时，simplex dual 的维度和 nonsmooth evaluation 可能成为新瓶颈。
Takeaway
- 1. 多目标 composite 二阶化的关键不是盲目上 objective-wise Hessian，而是找到能共享的变量空间 metric，并把目标差异限制在低维/标量层面。
- 2. common preconditioner 的价值不仅是降成本，更是让 subspace decomposition 成立；这是这篇最值得迁移的 insight。
- 3. 对复杂 prox 的处理可以不在 full space 里硬解，而是通过“可下降方向 + 历史方向”的低维模型吸收曲率收益；这类 subspace proximal idea 值得迁移到 constrained / structured nonsmooth optimization。
- 4. 未来更值得做的是拆分增益来源、处理目标 Hessian 冲突、扩展到更真实的非二次非凸任务，而不是继续堆更多 inexact solver 技巧。
一句话总结
这篇论文把多目标复合优化中的二阶方法从“objective-wise Hessian + 难解 metric prox”推进到“公共预条件 + 目标缩放 + 低维子空间近似”的可计算路线，实质贡献是用结构性近似换取二阶信息的可扩展利用。