精读笔记

Problem Setting

论文标题：Reinforcement Learning Enhanced LQR and Control Lyapunov Functions for Spacecraft Proximity Operations（IEEE Transactions on Robotics / 2025）。

这篇论文实际解决的是：在航天器近距离操作中，如何把 RL 的轨迹优化能力嵌入 LQR/CLF 这类有稳定性结构的控制器，而不是让 RL 直接端到端学推力。任务表面上是 CWH 相对运动下的 docking transfer，深层问题是稳定性保证、推力饱和、时间/燃料最优三者之间的冲突。

困难点不在于 CWH 是不可解的复杂动力学；相反，CWH 很线性、很干净。真正困难是：LQR/CLF 给出的闭环控制通常是稳定但目标不匹配，尤其在推力受限和燃料最优时会明显次优；RL-only 理论上自由度最大，但搜索空间过大、reward 稀疏、稳定性无保证，训练容易学到不成形的控制结构。以前方法卡在两个极端：经典控制器过于刚性，RL-only 过于无结构。

这篇论文的关键矛盾是：CLF 只要求 Lyapunov 减小，但轨迹最优并不要求每一步都最大化 Lyapunov 减小。换言之，稳定控制集合里有很多可行控制，传统 CLF-QP 通常只选一个逐点贪心解，而燃料最优可能需要利用那些“不那么快下降但对未来更好”的方向。

Motivation

已有路线的问题很明确。直接 RL 制导缺稳定性保证，而且在航天器交会这种连续动力学、长时域、稀疏终端约束问题上，reward shaping 很脆弱；经典 LQR/CLF 虽然稳定，但其 objective 与实际 mission objective 不一致，尤其 LQR 的二次无限时域代价和实际时间/燃料最优之间有明显错位。

作者的核心观察是：RL 不一定要生成控制输入本身，它可以只生成控制器的“局部度量”或“选择偏好”。也就是让 RL 决定 Q/R/λ/throttle 等低维变量，把搜索限制在 LQR/CLF 诱导的稳定或近稳定控制族里。这样做的意义不是提升表达上限，而是大幅降低学习问题难度，并注入稳定性 inductive bias。

更关键的 motivation 是针对 CLF 的：CLF 定义的是 admissible control set，而不是唯一控制。已有 CLF-QP 把它退化成逐时刻优化问题，例如最小控制或最大 Lyapunov 下降，这本质上是 myopic control。论文想补的缺口是：能否在不放弃 Lyapunov 稳定约束的情况下，让 RL 在这个可行集合里学习非贪心方向，从而优化整条轨迹的燃料或时间目标。

Core Idea

核心思想可以概括为：把 RL 从“控制器”降级为“控制器结构的调度器”。RL 输出状态相关的 Q、R、λ 和 throttle，随后由 LQR/CLF 机制把这些参数转化为控制方向或可行控制集合。这个重参数化改变了建模方式：原始动作空间是三维连续推力方向和幅值；现在动作空间是经典控制器的局部权重和稳定性参数。信息流从 state → thrust 变成 state → controller metric → constrained thrust。这是本文最重要的 inductive bias。

第二个真正新意在于 CLF 的非贪心控制选择。传统 CLF 方法往往沿着使 Lyapunov 函数最快下降的方向，或者选择满足下降约束的最小范数控制。本文显式构造围绕 greedy CLF direction 的可行锥，在满足 Lyapunov 下降约束的前提下，让 RL 选择平行/正交分量。这实际上把 CLF 从“一个控制律生成器”恢复成“一个稳定可行域约束”，再把长期目标优化交给 RL。

和 prior 的本质区别不在于用了 PPO，也不在于状态相关 LQR 本身，而在于把 CLF 的稳定证书和 RL 的轨迹级 reward 分工：CLF 管 safety/stability feasibility，RL 管 admissible set 内的长期偏好。这比 RL-only 更可训练，也比 greedy CLF 更有轨迹优化空间。

Method

1）状态相关 LQR：解决固定 LQR 权重无法适配不同轨迹阶段的问题。RL 输出 Q/R 后求 Riccati 解得到 K，但实际控制方向取 -Kx，再用 throttle 和推力上限归一化。这一步的核心变化是把固定线性反馈变成状态调度反馈；它不是严格最优控制，而是用 RL 学一个局部变化的二次代价。

2）LQR-derived CLF：解决稳定性结构从哪里来的问题。作者用 LQR 闭环 A-BK 解 Lyapunov 方程得到二次 CLF。这样 CLF 不是单独手工设计，而是由 LQR 反馈诱导出来。机制上，这把“性能权重 Q/R”和“稳定几何 P”绑定起来，让 RL 调 Q/R 时也在调 CLF landscape。

3）贪心 CLF 控制族：解决如何从 CLF 可行集合中选控制的问题。论文比较了最小控制、最接近 LQR、最大化 Vdot 下降、hybrid 等策略。它们本质上都是 point-wise projection：当前状态满足 Lyapunov 下降即可，不考虑未来轨迹后果。这里的价值主要是建立 strong baseline，并显示不同 greedy objective 对时间/燃料目标的偏好不同。

4）非贪心 CLF：解决 greedy CLF 的 myopia。方法不是放松稳定性，而是在满足 Lyapunov 约束的控制锥内引入两个额外自由度，控制偏离 greedy direction 的幅度和方向。核心变化是从“单点解”变成“稳定可行域内的策略选择”。这部分是论文最实质的概念贡献。

5）RL-only 对照：解决归因问题。直接让 RL 输出推力方向和 throttle 的结果较差，说明本文的性能提升主要不是 PPO 算法能力，而是 LQR/CLF 先验显著缩小了搜索空间。

Key Insight / Why It Works

这篇论文有效的根本原因是 better inductive bias，而不是 RL 算法本身。PPO 在这里只是优化器；真正起作用的是把控制问题投影到一个由 LQR/CLF 定义的低维、稳定、物理合理的动作流形上。对于航天器交会这种长时域连续控制，直接搜索推力序列非常难；但搜索 Q/R/λ/f 这类控制器参数，天然会生成平滑、有反馈结构、接近稳定的控制律。

RL-LQR 的提升主要来自状态相关权重。固定 Q/R 的 LQR 用一个全局二次代价解释整条 transfer，显然表达力不足；状态相关 Q/R 等价于给不同轨迹阶段使用不同局部价值度量。这里的“智能”更像 gain scheduling，而不是 RL 学到了深层规划。它可能主要来自 representation alignment：RL 的动作正好对齐了控制理论中最敏感的设计旋钮。

CLF 部分的关键 insight 是：Lyapunov 下降方向不是轨迹最优方向。最大化 Vdot 下降适合快速收敛，因此时间最优下 greedy 方向表现合理；但燃料最优需要利用自然动力学、等待相位、轨道相对运动中的被动漂移，这时过度追求 V 下降会浪费推进剂。hybrid 和非贪心方法有效，是因为它们允许在满足稳定性条件时少推、偏推，甚至局部不沿最快下降方向推。

非贪心控制的贡献应该被理解为“在稳定证书内部恢复控制自由度”。CLF-QP 文献里通常把稳定性约束加一个局部目标就结束了；本文指出局部目标的选取会决定长期最优性上限。它没有求解完整 MPC，也没有显式预测未来，但 RL 的 reward-to-go 可以在训练中把某些偏离 greedy 的方向与最终燃料收益关联起来。因此它更接近 learned selection over feasible controls，而不是 test-time planning。

需要直接判断的是：论文的主要收益不是 scaling，也不是 data coverage，至少在本文设置下不是；它主要来自控制结构先验和动作空间重参数化。非贪心部分是概念上最有迁移价值的贡献，但数值增益相对有限，说明它是在已有强控制先验基础上做精修。状态相关 LQR/CLF 的大幅改善则可能更偏 engineering/gain scheduling：有效，但并不神秘。

Relation To Prior Work

这篇论文处在三条技术谱系的交叉处：RL for spacecraft guidance、safe/stable RL with Lyapunov constraints、以及 classical control parameter tuning/gain scheduling。最接近的不是纯 RL 轨迹优化，而是“用学习调经典控制器”的路线。

和 RL-only 航天器制导相比，本文的本质差异是动作空间定义。RL-only 学控制，本文学控制器参数或 CLF 可行域内的选择。前者表达力更大但训练不稳；后者表达力受限但可训练性和稳定性结构更好。

和传统 LQR/SDRE/gain scheduling 相比，状态相关 Q/R 由 NN 根据状态输出，这本身不是完全新的思想；它更像用 PPO 自动做非线性 gain scheduling。新意不在“状态相关 LQR”这个概念，而在把它与任务级 reward、推力饱和和 CLF 可行控制选择结合起来。

和 CLF-QP / CBF-QP 文献相比，本文真正新增的信息是非贪心 CLF selection。已有方法把 CLF/CBF 约束和一个当前时刻的二次目标绑定，容易形成 myopic controller。本文明确把 admissible control set 参数化出来，让 RL 在集合内部优化长期目标。这一点对 CBF 避障、多机器人安全控制也有迁移价值。

不过，论文中很多组件是已有思想重组：PPO、LQR-Riccati、Lyapunov 方程、CLF-QP、推力饱和归一化都不是创新。实质创新主要是“RL-enhanced CLF feasible-set selection”，尤其是非贪心方向参数化及其在燃料最优中的验证。

Dataset / Evaluation

评估覆盖的是一个相对干净的仿真任务族：CWH 线性相对运动下的单一 docking transfer，分别看时间最优和燃料最优，并与间接最优控制、PSO-tuned fixed controller、RL-only 做比较。任务选择合理，因为它足够简单到能有可信最优控制 benchmark，又足够能暴露 LQR/CLF 在推力受限下的次优性。

实验确实支持几个核心 claim：状态相关 LQR 明显优于固定参数；CLF 稳定约束会牺牲部分时间最优性但有利于燃料节省；非贪心 CLF 对燃料目标有额外收益；RL-only 在同等约束下很难达到可比性能。这些证据对“控制先验缩小 RL 搜索空间”这一结论是有力的。

但 evaluation 的外推性有限。没有真实世界实验，也没有高保真闭环训练。Keplerian propagation 只是把在 CWH 中训练出的控制器拿去传播，发现性能下降但仍可用；这不能证明在非线性动力学、偏心轨道、测量误差、推力执行误差、碰撞约束下依然成立。Monte Carlo 初始扰动也主要围绕训练分布，虽然有稍大扰动测试，但仍不是跨任务泛化。

benchmark 是否验证了非贪心 claim？部分验证。它显示非贪心在燃料最优中能改善 greedy CLF，但改善幅度不大，而且只在特定控制族和任务上成立。文中未充分说明这种收益是否来自真正的长期预测能力，还是来自额外动作自由度带来的局部调参空间。

Limitation

最大理论限制是状态相关 CLF 的稳定性处理不够严格。Q/R 由 NN 随状态变化，P 也随之变化，但推导中忽略了 ∂P/∂x 项，只用慢变化和低频更新来合理化。这意味着所谓 Lyapunov 稳定保证在严格意义上是打折的，尤其当 NN 输出变化剧烈或决策频率提高时，这个假设可能失效。

第二个限制是方法依赖已有 CLF/LQR 结构。它不是一个通用 RL 规划器；它需要系统可线性化、可构造稳定反馈、可定义合适 CLF。对于强非线性、多约束、接触丰富或障碍密集任务，CLF landscape 可能和真实最优目标严重不对齐，此时在可行锥里做非贪心选择的收益上限会很低。

第三，泛化仍主要是局部分布泛化。训练和测试都围绕同一类 docking 场景、同一动力学结构和相似初始扰动。控制器在 Case B 扰动下仍有收敛率，但这更像训练状态访问覆盖带来的局部鲁棒性，而不是跨场景 generalization。

第四，非贪心方法没有形成显式长期状态建模。它不是 MPC，没有在线 rollout，也没有真正的 planner；长期性来自训练 reward 的 policy optimization。因此所谓“考虑整条轨迹”应理解为训练过程中通过回报学习到的偏好，而不是 test-time 的前瞻规划。

第五，增益归因还不完全清楚。状态相关 Q/R、λ、throttle、CLF 约束、非贪心自由度、训练分布、决策频率都会影响结果。文中有对照，但没有彻底分解每个因素的贡献。尤其非贪心 free 与 fixed 的差异可能受训练难度影响，而不是方法本身上限。

Takeaway

• 1）最值得迁移的不是具体航天器模型，而是范式：不要让 RL 直接学控制，优先让 RL 在经典控制器或安全证书定义的低维可行结构中做选择。
• 2）CLF/CBF 不应只被当作 QP 约束加一个 myopic objective；它们定义的是可行控制集合。
• 未来更有价值的是学习如何在这个集合里做长期目标驱动的非贪心选择。
• 3）状态相关 LQR/CLF 本质上是 learned gain scheduling。

一句话总结

这篇论文把航天器 RL 制导从端到端动作学习推进到“在 LQR/CLF 稳定结构内学习状态相关调度与非贪心可行控制选择”，真正贡献是用控制理论先验重塑 RL 搜索空间，并指出 CLF 的稳定可行域比其贪心解更有长期优化价值。