精读笔记
Problem Setting
论文《Interactive Pareto navigation for deep multi-task learning》（arXiv preprint / 2026）解决的不是“如何训练一个多任务模型”这个泛问题，而是更具体的后训练 / 训练中导航问题：已经有一个 Pareto-critical 解时，如何根据决策者当前偏好，低成本地移动到相邻 trade-off。
真正困难点是 preference、geometry 和 deep-scale computation 三者不对齐。偏好通常定义在 objective space，但模型参数在高维 decision space；Pareto set 在 smooth 条件下是 m-1 维 manifold，但 DNN 中显式 Hessian 不可承受；而 scalarization weight 与最终 objective value 的映射在非凸 front 上既不唯一也不可控。
以前方法卡在两个极端：weighted sum / Pareto MTL 需要为不同偏好反复求解子问题，且偏好解释弱；传统 interactive MOO 有可解释 steering，但只适合小规模问题。关键矛盾是：用户只需要局部、少量、可控的 Pareto 移动，而现有 deep MTL 方法往往要么全局重训，要么不给用户方向控制。
Motivation
作者的核心观察是：完整 Pareto front 在 deep MTL 中既算不起，也不一定有用；更合理的是让 DM 只探索感兴趣的局部区域。这个观察本身来自 classical interactive MOO，但论文要解决的是把它迁移到 deep learning scale。
已有路线缺的是一个“偏好到 Pareto manifold 局部方向”的桥。MGDA 可以把点拉到 Pareto-critical set，但不知道往哪里走；Krylov-based Pareto exploration 可以算 tangent direction，但方向选择是随机或非交互的；weighted sum 有偏好输入，但不尊重 front geometry。PPE 的动机就是把这三者拼起来：用 Pareto manifold geometry 保证移动合理，用 Krylov 避免 Hessian 显式计算，用 DM preference 决定局部方向。
Core Idea
PPE 的真正核心是把多任务 trade-off 搜索从“重新优化一个带权目标”改写为“沿 Pareto-critical manifold 做局部 continuation”。在当前 Pareto-critical 点处，KKT 条件定义了一个局部 manifold；作者用 tangent space 表征可行的 Pareto 一阶移动方向，然后把用户偏好投影到这个空间里，得到既反映偏好、又不明显离开 Pareto set 的 predictor direction。
这个思路理论上成立的关键是局部 manifold 假设：如果当前点附近 Pareto-critical set 光滑，且 tangent approximation 足够好，那么沿 tangent space 小步移动会接近另一个 Pareto-critical 点。corrector 再用 MGDA 修正局部线性化误差。因此 PPE 的本质不是发明新的 optimizer，而是改变偏好的作用位置：偏好不再定义 loss，而是定义在 Pareto geometry 上的 steering vector。
和 prior 的本质区别在于，PPE 不是寻找一组覆盖 front 的解，也不是把 preference vector 当成 decomposition target，而是允许 DM 在每一步改变方向。这带来的 inductive bias 是局部连续性：相邻 trade-off 可以通过参数空间中的低维 tangent subspace 复用已有模型状态，而不是每次重新学习。
Method
1. Pareto-critical manifold：论文把 KKT 条件写成 x 与 alpha 的联合约束，并用其 kernel 描述 tangent space。它解决的是“什么方向是一阶意义上沿 Pareto set 移动”的问题，是整个方法的几何基础。
2. Krylov / MINRES tangent computation：直接求 scalarized Hessian inverse 不现实，尤其在 DNN 参数空间。作者用 Hessian-vector product 和 MINRES 求解由 beta 诱导的 tangent directions，避免显式 Hessian。核心变化是把高维二阶几何计算压缩成若干 HVP 迭代，成本主要受 objective 数和迭代数控制。
3. Preference direction：DM 选择 objective 子集和 pi 值，负值表示希望降低，正值表示允许变差。论文先构造对所选 objective 的 non-ascending directions，再加权组合。这一步解决的是“偏好如何转成参数空间方向”，但它仍只是原始偏好方向，不保证在 Pareto manifold 上。
4. Tangent projection：将 preference direction 投影到由 Krylov directions 张成的 tangent subspace。这个操作是 PPE 的关键 glue：它让偏好受 Pareto geometry 约束，避免变成普通梯度下降。
5. MGDA corrector：predictor 只是局部线性外推，未必 Pareto-critical；MGDA corrector 把点重新拉回临界集。这里 MGDA 不是主要创新，而是保证 continuation 不漂离 manifold 的修正器。
Key Insight / Why It Works
最重要的 insight 是：在 deep MTL 中，用户真正需要的是 Pareto front 的“可控局部导航”，不是全 front approximation。只要相邻 Pareto solutions 在参数空间中可由连续路径连接，那么从已有 Pareto-critical 点出发做 tangent continuation，比为每个偏好重新训练更自然、更省计算。
PPE 有效的主要原因可能不是某个优化 trick，而是 memory reuse / test-time compute 风格的局部复用：当前模型已经处在某个 compromise 附近，新的 preference 只要求局部 trade-off shift，因此 warm-start + tangent-guided predictor + short corrector 足以产生可接受解。换言之，它把昂贵的全局优化问题转成局部 path-following 问题。
核心贡献最可能是 preference direction 与 Krylov tangent basis 的结合。Krylov tangent computation 本身来自 Ma et al. 2020 一类工作；MGDA corrector 也是已有工具；真正新增的是把 DM preference 映射到 tangent subspace，从而使 Pareto exploration 从“能走”变成“按指定方向走”。
可能只是辅助的部分包括 stopping criteria、具体 step-size recipe、实验中的 warm-start 细节。比较 weighted sum 时，PPE 的优势部分来自 continuation 的计算复用，而 weighted sum baseline 即使用 warm-start，仍是在 scalarized objective 上做较完整优化；因此性能差异不能完全归因于 preference geometry。增益来源不清的一点是：被 PPE 支配的 WS / Pareto MTL 解，究竟因为方法本身更好，还是因为 baseline iteration budget、local minima、normalization / warm-start 路径不同。
这不是 retrieval、数据覆盖或 representation alignment 类方法；它更接近 geometry-aware local control / continuation。所谓“交互性”的技术含量也不在 UI，而在把偏好变成 constrained tangent motion。真正上限取决于局部 front 是否光滑、HVP 是否稳定、corrector 是否回到同一局部 Pareto sheet。
Relation To Prior Work
最接近的谱系有三条：classical interactive MOO / Pareto Navigator / Pareto Explorer，deep MTL 中的 MGDA / Pareto MTL，以及 Krylov-based continuous Pareto exploration。PPE 基本是这三条线的重组，但组合点有实质意义。
相对 weighted sum，PPE 的本质差异是偏好不再作为 scalar loss coefficient，而是作为沿 Pareto manifold 的局部方向。weighted sum 问题在于权重和 front 位置之间关系不透明，尤其非凸 front 会漏解；PPE 至少局部尊重 front geometry。
相对 MGDA，PPE 不只是找一个 Pareto-critical point，而是利用当前点的 tangent structure 决定下一步去哪。MGDA 在这里退化为 corrector，而不是 navigation policy。
相对 Pareto MTL，PPE 不是用一组 preference vectors 分解成多个 constrained subproblems，而是单一路径上交互式移动。Pareto MTL 更像离线采样多个 trade-off region；PPE 更像在线 steering。
相对 Ma et al. 的 Krylov Pareto exploration，PPE 的新增信息是 direction selection：Krylov 解决“怎么便宜地得到 tangent”，PPE 解决“应该沿哪个 tangent 走”。这部分是论文最实质的创新。
Dataset / Evaluation
实验覆盖范围有一定说服力：从可视化 toy problem 到 DTLZ，再到 MultiMNIST 和 UCI Census 3/5 objectives，基本验证了方法能在低维已知 front 和中等规模 deep MTL 上运行。UCI 的 5-objective 设置也回应了 many-objective 场景，但还不是非常强的 real-world deployment 证据。
评估真正支持的是 functionality claim：PPE 可以根据 preference 连续产生不同 objective trade-off，并且比 WS / Pareto MTL 在这些设置下更高效。它没有充分支持更强 claim，例如“在复杂真实多任务系统中稳定找到用户真正想要的 Pareto-optimal solution”。
明显 limitation 是实验主要看 loss/objective 变化和时间，不够系统地量化 preference satisfaction、front coverage、hypervolume、dominance robustness、seed variance、mini-batch stochasticity 对 tangent 的影响。深度实验规模也偏轻量：MultiMNIST 和 Census 更像 controlled benchmark，不足以证明方法在机器人或大规模多模态多任务系统中的部署价值。标签里提到机器人，但正文没有真实机器人实验；若按机器人应用理解，证据是不足的。
Limitation
第一，方法成立依赖局部 Pareto-critical manifold 光滑且 rank condition 合理。DNN 非凸 landscape 中这个假设很强；实际可能存在 disconnected fronts、singular points、flat regions 或 sharp curvature，tangent predictor 会失真。
第二，corrector 可能把 predictor 拉到另一个 local basin，甚至 dominated critical point。论文在 UCI 上承认这一点，并允许 DM 选择接受新 front 或回退。这说明 PPE 没有真正保证沿同一 Pareto manifold 稳定导航，某种程度上把全局非凸问题转移给了 corrector 和人工决策。
第三，scalability 不是对 n 完全免费。虽然不显式形成 Hessian，但每个方向需要 HVP / MINRES；m 增大时要构造 m-1 个方向，目标梯度与 HVP 成本会很高。所谓成本独立于 decision dimension n 只能理解为不存 Hessian，不代表计算不随模型规模增长。
第四，preference semantics 仍不完全透明。pi 是局部方向权重，不等价于最终 objective 改变量，也不保证用户想要的 global trade-off。论文比 weighted sum 更可控，但还没有解决“偏好语言到实际决策效用”的根本问题。
第五，增益归因不清。PPE 的时间优势部分来自局部 continuation 和较少 corrector steps；如果 baseline 使用更强 adaptive warm-start、局部 scalarization continuation 或二阶近似，差距可能缩小。文中未充分说明这些 ablation。
第六，evaluation 没有充分 stress test 高目标数、强冲突任务、噪声梯度、真实部署约束。泛化 claim 应谨慎，当前更像 algorithmic prototype，而不是成熟 deep MTL training paradigm。
Takeaway
- 1. 值得记住的核心不是 predictor-corrector 这个形式，而是“preference should steer local Pareto geometry, not define a new scalar objective”。
- 这个思想可以迁移到任何需要 human-in-the-loop trade-off tuning 的系统。
- 2. PPE 表明 deep MTL 中 Pareto navigation 可以利用 continuation / memory reuse，而不是每个 preference 都重新训练。
- 这是未来可扩展多目标训练系统的重要方向。
一句话总结
这篇论文把 deep multi-task Pareto exploration 从离线采样 / scalarized retraining 推向了基于 Krylov tangent continuation 的交互式局部导航，真正贡献是让用户偏好成为沿 Pareto-critical manifold 的 steering signal。