精读笔记

Problem Setting

论文实际处理的是一类比较窄但在 robotics 中很常见的 MTRL：同一物理系统、同一 state/action space、同一 transition kernel，不同任务只对应不同 reference trajectory/reward。quadrotor tracking 在这里不是重点，重点是任务间有强共享动力学，而标准 SAC 或 task-conditioned policy 没有机制保证学到的共享部分真的是动力学共享结构。

关键矛盾在于：为了跟踪不同轨迹，策略必须强依赖任务变量；但如果 critic/policy 直接把任务变量拼进网络，任务信息会和动力学响应纠缠，导致训练时看似 multi-task，实质上是在记忆若干任务条件下的局部控制律。ID 插值还能靠网络平滑性支撑，OOD 任务则需要重新探索。以前方法卡住的地方正是：共享参数不等于共享可迁移结构，latent task inference 也不等于 dynamics/reward disentanglement。

Motivation

作者的核心观察是：如果任务只改变 reward/reference，而 transition kernel 不变，那么最应该被复用的是 state-action space 中与动力学相关的“技能基”或表示，而不是完整 Q-function 或完整 policy。换句话说，多任务 transfer 的瓶颈不是没有 task conditioning，而是 conditioning 放在了错误的信息层级上。

已有 meta-RL/latent-context 方法缺的是可解释的结构分离：task embedding 往往同时编码目标、动力学、policy occupancy 和训练分布偏差。successor-feature 类方法虽然有 reward-weight decomposition 的味道，但通常依赖特定 policy 下的 occupancy feature，不一定是独立于任务的 dynamics object。作者想填的缺口是：在 SAC 这样的实用连续控制框架里，引入一个显式的 spectral/linear MDP 风格的双线性 Q 参数化，让任务变化只作用于权重，而不是重塑整套 value geometry。

Core Idea

核心思想可以压缩成一句：把多任务 Q-function 的变化限制为共享 feature basis 上的任务相关线性组合。即 Q(s,a;τ)=φ(s,a)^T w(τ)，其中 φ 是任务无关的 state-action representation，w(τ) 是任务相关的组合系数。这不是简单给 SAC 加 task embedding，而是改变了 critic 的建模方式：任务不再任意调制每一层 hidden feature，而只能通过一个低维权重向量选择/组合共享技能。

这个 inductive bias 在该 setting 下很合理：quadrotor 的可行动作效果、状态转移几何、稳定飞行模式跨轨迹共享；不同轨迹主要改变“现在该偏好哪个方向/速度/形状”。如果源任务形成某种 basis，那么 ID 任务的 convex combination 就天然对应 w-space 的组合泛化。与 prior 的本质区别不是用了 spectral loss，而是把 transfer 的单位从 policy/network parameters 改成了 value basis + task weights。

Method

方法中真正有机制意义的是三层约束。

第一，学习 φ(s,a) 作为 task-invariant 表示。作者用 transition density 的 spectral/contrastive objective 近似学习 P(s'|s,a) 的低秩分解。它要解决的是：critic 的共享特征不能完全由某个任务 reward 塑造，否则所谓共享只是 reward-biased representation。虽然文中说 φ 捕获 dynamics，但由于训练中还联合 TD loss，φ 是否纯 dynamics-only 文中未充分说明。

第二，用 w(τ) 参数化任务侧 Q 权重。它解决的是任务差异如何进入 value function：不是让 τ 任意进入 Q 网络，而是让 τ 生成一个组合向量。核心变化是将多任务泛化从高维非线性外推降为共享 basis 上的低维映射学习。

第三，下游 adaptation 冻结 φ，只更新 w 和 policy。它解决的是新任务样本效率问题：如果共享 dynamics basis 已经可用，新任务只需要学习如何组合这些 basis，而不是重新学习控制结构。这里 policy 仍被更新，所以不是纯线性 reward recomposition；快速适配的来源可能同时来自 frozen critic geometry 和 pretrained policy initialization。

SAC 最大熵目标、双 critic、target network 等基本是工程承载。它们让方法可训练，但不是这篇论文的概念贡献。

Key Insight / Why It Works

最可能有效的核心不是“spectral decomposition”这个名词，而是 critic 的低秩任务分解带来的强 inductive bias。对于轨迹跟踪这类任务，reference trajectory 可以被低维 polynomial coefficients 描述，reward 对 reference 的变化也相对平滑；因此 Q 在任务维度上很可能有低有效秩。RepMT 把这个假设硬编码进 Q 结构，减少了 SAC 在多任务条件下需要拟合的函数族复杂度。

ID 泛化成功很可能来自 representation alignment：source tasks 是 Legendre basis，ID tasks 是这些 basis 的组合，RepMT 的 w(τ) 结构正好鼓励线性组合式泛化。这是合理设计，但也意味着 benchmark 与方法假设高度同构。这里的 zero-shot generalization 不应被解读为开放任务泛化，更像是在一个手工构造的任务流形上做结构化插值。

OOD fine-tuning 的收益可能来自三部分混合：一是 φ 提供了稳定的 dynamics-aware feature；二是 task coefficients/future window 提供了强 task supervision；三是下游只训练较小参数子空间，相当于 regularized adaptation。文中没有充分消融这些因素，因此“spectral MDP decomposition”本身贡献多少不清楚。尤其是如果直接用 Legendre coefficients + waypoint window 训练一个强 UVFA-SAC，差距是否仍显著，文中证据不足。

CTRL-SAC 失败反而说明一个重要点：单纯加 contrastive representation learning 不够，关键是 representation 和任务权重之间的结构化接口。换言之，收益更像 better inductive bias + task manifold alignment，而不是 scaling、retrieval 或 test-time compute。它不是在做更深层的 planning，也没有证明长期状态建模能力提升；所谓 adaptation 更接近在已学控制流形上的快速重定位。

Relation To Prior Work

这篇最接近三条线：successor features / generalized policy improvement、linear MDP / spectral representation learning、task-conditioned SAC / meta-RL。

和 successor features 的相似处是都试图把 reward/task 权重和环境 feature 分开；区别在于作者强调 φ 是通过 transition density/spectral objective 学到的 task-invariant dynamics representation，而不是某个 policy occupancy 下的 successor feature。但严格说，文中 TD 联合训练后 φ 是否仍独立于 policy/reward 并不清楚，因此这个区别在实现层面没有完全坐实。

和 PEARL/VariBAD 等 latent-context meta-RL 的区别在于，RepMT 不把 τ 压成一个自由 latent 再让网络自己学解耦，而是显式规定 τ 只能通过 w(τ) 调制 Q 的线性组合。这是更强的结构假设，也带来更好的样本效率，但牺牲了适用范围。

和 CTRL / contrastive linear MDP 方法相比，真正新增的信息是 multi-task factorization：不仅学 φ，还把任务相关部分显式变成 w(τ)。看似新的 spectral MDP multi-task extension 在理论上比较直接，实质创新更多在于把这个结构塞进 SAC 并用于 robotics trajectory family，而不是提出新的 spectral theory。

Dataset / Evaluation

评估集中在 IsaacSim 的 quadrotor trajectory following。任务覆盖是多轨迹、多 polynomial degree，但不是多环境、多动力学、多机器人，也没有真实世界/真机实验。source/ID/OOD 的层级由 Legendre polynomial 构造：source 是 basis，ID 是 span 内组合，OOD 是更高阶或范围外 polynomial。这个设计非常适合检验“任务流形上的组合与外推”，但不等价于检验一般多任务 RL 泛化。

实验支持 RepMT 在该构造任务族上比 SAC 和 CTRL-SAC 更稳定、更容易插值、更快适配 OOD。它没有充分支持更强的 claim，例如鲁棒迁移到动力学变化、未结构化任务描述、复杂 reward family 或 sim2real。OOD 也不是完全开放分布外；它仍属于同一 polynomial trajectory grammar，且下游允许 fine-tuning。增益来源存在归因不清：可能来自结构化 task representation 本身，也可能来自 Legendre basis 与评价任务的强匹配。

Limitation

最核心的前提是所有任务共享 transition kernel。只要任务变化包含 payload、风扰、质量/inertia 变化、 actuator delay 或 contact dynamics，φ(s,a) 固定为 task-invariant dynamics basis 的假设就会变弱，甚至变成错误 bias。

第二，方法依赖任务可被显式、低维、平滑地参数化。这里 τ 是 Legendre coefficients 加未来 waypoint window，本身就是很强的 hidden supervision。对于自然语言任务、稀疏目标、非参数化目标集合或 reward 不可线性组合的任务，w(τ) 是否还能提供有效结构并不清楚。

第三，理论部分的线性 Q 表达有循环假设和表达性缺口。文中从 reward 线性于 φ 推到 Q 线性于同一 φ 的证明并不严谨；一般情况下 Bellman backup 会引入 successor features 或 transition-closed feature condition，不是任意 φ 都能闭合。该点在实验上可能被 neural approximation 掩盖，但作为理论 claim 偏弱。

第四，泛化可能主要来自 benchmark overlap / task manifold alignment。source 是 polynomial basis，ID 是 basis 组合，方法恰好学习 coefficient-conditioned linear composition；这更像在正确坐标系里插值，而不是发现一般可迁移技能。

第五，文中没有足够消融回答：冻结 φ 是否必要、contrastive dynamics loss 是否必要、Legendre coefficient 和 waypoint window 各自贡献多少、只用 structured UVFA-SAC 是否已接近 RepMT。没有这些，增益归因不清。

Takeaway

• 1. 对共享动力学、多 reward 的 robotics MTRL，最有效的 bias 往往不是更大的 meta-RL 模型，而是把 critic 写成“共享控制/动力学 basis + 任务权重”。
• 这个 insight 可迁移到 manipulation skill library、locomotion command following、MPC cost adaptation 等场景。
• 2. 任务表示的坐标系非常关键。
• RepMT 的成功很大程度来自任务空间被 Legendre basis 组织得足够线性；未来更值得做的是自动发现这种 task basis，而不是手工指定 μ_train。

一句话总结

RepMT-SAC 是把 spectral/linear MDP 表示思想工程化到 task-conditioned SAC 中的结构化多任务控制方法，真正贡献在于用共享 state-action basis 与任务权重分解 Q-function，从而在手工低维任务流形上获得稳定插值和快速适配。