精读笔记

Problem Setting

论文实际处理的是一类机器人中非常尴尬的问题：任务层面像 MDP，需要在非凸奖励、障碍、安全约束、长期行为之间做决策；底层又是连续非线性动力系统，不能被简单抽象成离散动作。关键矛盾是：MCTS 需要离散 action/transition graph，而机器人动力学的可行动作集合是连续、高维、强耦合的。

以前方法主要卡在两端。轨迹优化/MPPI/iLQR/SCP 这类方法在局部 basin 内很强，但本质偏 exploitation，遇到 bug-trap、能量补给、目标顺序选择、非凸安全约束时需要外部结构或多初值。采样式 motion planning 能探索，但在 kinodynamic setting 里要么依赖 local planner，要么在状态/动作空间随机采样，覆盖效率很差。连续动作 MCTS/progressive widening 也没有根本解决表示问题，只是延迟扩展高维连续动作。

Motivation

作者的出发点不是“把 MCTS 搬到机器人”，而是发现连续动力系统缺少一种适合 tree search 的离散化。均匀离散动作空间的问题在于它忽略动力学：很多动作方向在短期内几乎不可控，很多状态维度之间又天然耦合。随机采样轨迹的问题则是没有把可控性结构用作 prior，导致大量 rollout 花在低效方向上。

核心缺口是：需要一种在线生成的、动力学相关的、低分支的 motion abstraction。这个 abstraction 不能像传统 motion primitive library 那样离线为具体平台手工设计，也不能要求问题有固定 goal region；它最好直接从当前局部模型中读出“系统现在最自然能做什么”。controllability Gramian 的谱正好给了这样的结构信号。

Core Idea

SETS 的真正核心是把连续规划中的“选控制输入”改成“选局部可达椭球的谱方向”。在每个树节点，系统被局部线性化，controllability Gramian 描述在给定时间段和控制能量约束下哪些终端状态方向更容易到达。Gramian 的特征向量就是可达集合的主轴；沿这些主轴正负方向生成轨迹，相当于自动构造一组动力学对齐的 options。

这改变了建模方式：树的边不再是小时间步的 primitive action，而是跨 H 步的可跟踪轨迹段；树的动作空间不再来自手工网格或随机采样，而来自当前系统局部可控结构。这个 inductive bias 很强：它假设有效探索应优先覆盖可达集合的主方向，而不是均匀覆盖状态/动作空间。直觉上这会更 scalable，因为分支因子从动作维度网格的指数级变为至多 2n 个谱方向，深度也因 temporally extended branch 降低为 K/H。

Method

方法层面最重要的不是伪代码，而是三件事。

第一，spectral expansion 负责把连续可达集合压缩成少量代表性方向。它解决的是连续动作集合不可枚举的问题；核心变化是把 action discretization 变成 reachable-set discretization。这个选择比直接离散 u 更贴近动力学，因为它关注控制序列最终能造成的状态变化。

第二，linear reference + nonlinear feedback tracking 负责把局部线性谱方向变成真实系统可执行的边。Gramian 给出的只是线性系统上的终端方向和最小能量控制，非线性 rollout 会偏离；反馈跟踪是把近似表示和真实动力学连接起来的胶水。这里的控制器不是主要创新，但没有它，谱 expansion 很容易只停留在线性代理问题。

第三，MCTS 负责在这些 options 上做组合搜索。它解决的是非凸奖励和长时规划的问题：单个谱分支只能提供局部运动能力，复杂行为来自多段谱 motion 的拼接。作者使用 polynomial exploration 并给出 deterministic setting 下的 finite-time 收敛分析，理论上支撑 value estimate 收敛到离散化问题的最优值。

值得注意的是，文中还允许加入目标启发式、手动减少模式维度、MPC 滚动执行等。这些对系统表现很重要，但不应和核心贡献混淆；它们更像让方法在真实平台上可用的 engineering layer。

Key Insight / Why It Works

最关键 insight 是：对于动力系统，好的搜索表示应该对齐 controllability，而不是对齐坐标轴或动作参数化。高维连续规划难并不只是维度高，而是很多维度在短 horizon 内不可独立控制；均匀采样会浪费大量预算在不可达或难达方向。Gramian 谱把这种各向异性显式暴露出来，因此 spectral expansion 本质上是 representation alignment。

我认为论文主要贡献在 representation，而不是 MCTS。glider baseline 中 SE-PS 已经表现很好，说明一旦边的生成方式对了，即使用 uniform/predictive sampling 也能拿到大量收益；MCTS 提供的是更好的 test-time compute allocation。换句话说，SETS 的能力更像“better inductive bias + test-time search”，不是新型 RL，也不是单纯 scaling。

理论部分的作用是把这个 intuition 形式化：SE 生成的有限轨迹集合能以有界误差覆盖非线性系统可达集合，MCTS 在有限 action set 上收敛。这个证明框架有价值，但要注意其 claim 的边界。所谓“globally optimal”并不是直接求解原连续非线性最优控制，而是：连续问题被谱离散化后有一个 bounded-equivalent optimal value，MCTS 再收敛到这个离散问题的最优值。误差项随 branch length H、线性化误差、积分步长、discount 等变化。H 越大树越浅、收敛越快，但表示误差越大；这不是细节，而是方法的核心 trade-off。

真正有效的原因可以归纳为三点：一是用可控谱方向减少无效探索；二是 temporal abstraction 降低树深；三是 MCTS 把有限计算集中到高价值谱分支。最可能只是辅助的是 DARE tracking、goal bias heuristic、只选速度/角速度模式等平台相关调参。尤其 quadrotor 实验中加入最近目标投影 heuristic，说明纯谱搜索在小目标/稀疏奖励下可能不够；这部分增益来源不清。

Relation To Prior Work

这篇最接近的谱系不是传统 RL，而是 kinodynamic motion planning + MCTS/options + controllability-based planning 的交叉。

相对轨迹优化，它的本质差异是保留离散搜索和全局探索，不把问题压成单个局部连续优化。相对 RRT/RRT*/SST/DFMT，它不是从状态或控制空间采样点，而是从局部可达集合的主轴生成边。DFMT 也用 Gramian，但更多用于 reachability/cost metric；SETS 把 Gramian 的谱直接变成 expansion operator，这是实质区别。

相对 continuous MCTS / DPW，它不是改进连续动作 bandit 的采样规则，而是换掉动作表示本身。progressive widening 仍然默认动作空间采样是合理的，只是逐步增加样本；SETS 认为应该先把动作空间折叠成动力学自然 motion modes。

相对 motion primitive/options，这篇的新意在于 options 是在线、局部、由动力学谱生成，而不是离线手工库。这个思想不是凭空出现：controllability ellipsoid、minimum-energy control、temporal abstraction 都是已有概念；实质创新在于把它们组织成一个 MCTS expansion operator，并给出 bounded representation + MCTS convergence 的组合论证。

Dataset / Evaluation

评估覆盖面比较强：有空中、地面、空间平台，还有一个用于 ablation 和理论趋势验证的仿真 glider。真机实验不是标准 benchmark，但对 robotics paper 来说有价值，因为它验证了方法能嵌入真实 autonomy stack，并处理模型误差、风场、地形、接触/网绳动力学、人机输入等非干净因素。

实验确实支持一个核心 claim：spectral expansion 是一个跨系统可用的动力学搜索表示。尤其不同平台的 Gramian spectrum 都有可解释结构，这说明它不是只对单一系统调出来的 trick。

但 evaluation 没有完全证明“通用实时全局最优规划”。首先，很多实验没有强基线，更多是 capability demo。其次，真实系统中存在 perception、安全控制、adaptive controller、DNN residual dynamics 等模块，增益归因不完全清楚。第三，glider 是唯一系统性 ablation 的场景，而它是否代表更广泛的 contact-rich / hybrid / high-dimensional robot planning，文中未充分说明。

最有信息量的评估反而是 ablation：SE 表示比 UD/DPW 更关键，MCTS 比 predictive sampling 的增益相对次要。这支持我对论文的判断：核心不是 tree search，而是 controllability-aligned discretization。

Limitation

第一，模型前提很强。方法需要可微动力学和可计算局部线性化；理论假设 deterministic、fully observed、compact state/action、Lipschitz reward。真实机器人中的接触、摩擦突变、感知不确定性、随机扰动会削弱这些条件。航天器网捕和地面车已经接近 hybrid/contact，但理论并没有真正覆盖这类不光滑系统。

第二，全局最优表述容易被过度解读。SETS 收敛到的是谱离散表示的 bounded optimum，误差界含问题相关常数 κ，实际大小未知。若局部线性可达椭球无法覆盖导致关键策略方向被漏掉，MCTS 再强也只能在错误 action set 上搜索。

第三，branch length H 是核心瓶颈。H 小，树深大，收敛慢；H 大，线性化误差和轨迹覆盖误差变大，可能快速收敛到粗糙但次优的策略。这个 trade-off 不是工程调参可以完全消除的，而是 representation compression 的代价。

第四，稀疏奖励和小目标区域下可能仍需启发式。quadrotor 使用最近目标投影 heuristic，说明纯 Gramian mode 未必足以发现小体积 goal region。若任务奖励几乎不沿自然模式提供梯度/信号，搜索仍会困难。

第五，可扩展性不是免费的。分支因子线性于状态维度听起来好，但每个节点要做线性化、Gramian、伪逆、反馈 rollout；对非常高维系统、复杂 learned dynamics、长 horizon、多智能体系统，计算成本可能转移到 expansion 本身。文中未充分说明在几十到上百维系统上的上限。

第六，泛化主要来自在线模型规划，不是学习意义上的泛化。它可以换任务/平台，只要给定可用模型和奖励；但如果模型不准、reward shaping 不好、可控谱误导搜索，所谓 generality 会迅速下降。

Takeaway

• 1. 这篇真正值得记住的是：连续动力系统的 tree search 不应直接采样 action，而应采样 local reachable set 的结构；controllability spectrum 是一个强而通用的 expansion prior。
• 2. MCTS 在机器人里的瓶颈往往不是 UCB 公式，而是动作/边表示。
• 把 representation 对齐动力学，可能比发明更复杂的 continuous bandit 策略更有效。
• 3. temporal abstraction 与 controllability alignment 的结合很有迁移价值：很多 MPC/MPPI/CEM 方法也可以用 Gramian 谱方向替代 Gaussian action noise，减少无效 trajectory samples。

一句话总结

SETS 是把 controllability Gramian 谱作为在线 motion-option 生成器嵌入 MCTS 的动力学对齐规划方法，真正贡献在于用可控性结构重写连续机器人规划的离散搜索表示，而不是单纯改进 MCTS。