精读笔记
Problem Setting
WaveLander: A Generalizable Hierarchical Control Framework for UAV Landing on Wave-Disturbed Platforms via Reinforcement Learning（arXiv preprint / 2026）。论文实际解决的是波浪扰动平台上的 UAV 垂直触地时机选择问题，而不是完整意义上的海上自主降落系统。它默认横向对准、姿态稳定和低层速度跟踪可以由传统控制器完成，学习只负责决定垂直速度参考。
真正困难点在 touchdown 附近：平台 heave/roll/pitch 让“继续下降”与“等待/退让”之间的最优选择高度依赖相位。以前模型预测控制路线卡在显式预测和在线优化，端到端 RL 路线卡在高维输入、动作粗糙和控制栈难集成。这个任务的关键矛盾是：需要利用波浪运动的时间结构，但又不想承担预测模型和在线优化的脆弱性。
Motivation
作者的核心观察是，海上降落的主要学习负担不应该放在底层飞控，而应该放在高层 touchdown timing。已有 MPC/NMPC 方法把问题建成预测-优化问题，理论上清楚，但对平台运动预测质量高度敏感；已有 RL 方法常把视觉、状态估计、姿态控制和降落决策混在一起，导致训练复杂、解释性差、部署风险高。
因此真正缺的是一个中间层：比手写规则更自适应，比端到端 RL 更可控，比 MPC 更轻。WaveLander 的方向就是用 RL 学一个低维 phase-aware vertical policy，把已有飞控栈当作可靠执行器。
Core Idea
论文最核心的思想是重新划分问题边界：不让 RL 学“怎么飞”，只让它学“什么时候接近、什么时候退让”。策略输入是平台相对的低维状态，输出是一维垂直速度参考；传统控制器继续负责横向和姿态。这种建模把动态平台降落压缩成一个闭环低阶时序决策问题。
这个设计的 inductive bias 很强：策略无法通过复杂机动绕过问题，只能通过改变垂直运动来改变触地相位。它引入的是 representation alignment，而不是更强的 RL 算法。相较于 prior，本质区别在于信息流被重新组织：平台相对几何量直接驱动高层时机决策，低层控制从学习问题中剥离。理论直觉上这会更 scalable，因为跨机体变化主要由低层控制器吸收，高层策略只需要在相似的相对运动空间中泛化。
Method
关键机制不是 PPO 配方，而是三个约束性设计。
第一，层级控制接口解决 sim-to-real 负担：RL 输出 scalar vertical velocity reference，底层 PID/SE(3) 控制器跟踪速度并维持稳定。这把学习空间从全动力学动作空间降到一维相位控制空间。
第二，平台相对观测解决表示复杂度：策略只看 h、h-dot、tilt magnitude、tilt-rate。这些变量直接对应触地质量和短期相位趋势，避免从图像或完整状态中学习无关表征。
第三，连续 reward gate 解决手写切换：当远离平台或平台近似水平时奖励下降；当接近平台且倾角过大时奖励上升/退让。重要的是它没有在部署时显式写阈值状态机，而是在训练中把 descent/hold/retreat 编进同一 reward landscape。
GRU 提供短时记忆，curriculum 和 domain randomization 提供训练覆盖；这些是必要工程，但不是方法的本质创新。
Key Insight / Why It Works
这篇最有效的部分大概率是问题降维和 inductive bias，而不是 RL 本身。把 action 限制成垂直速度后，策略学到的其实是 phase selection：在平台姿态较好或即将变好时下降，在接近且姿态差时等待或退让。由于 reward 直接把近平台倾角和触地速度编码进去，PPO 只需要在一个低维、平滑、相对稳定的闭环系统里拟合这种策略。
所谓“timing-aware”并不意味着形成了显式预测模型。更准确地说，它是短历史记忆 + tilt-rate + 训练分布覆盖下的隐式相位反应。GRU 可能帮助利用局部时间趋势，但文中没有证明策略真的在做长期预测。planner 也没有形成长期状态建模；它更像一个 learned phase-conditioned descent controller。
最可能的核心贡献是 reward-shaped hierarchical RL interface：它把原本需要规则切换或 MPC 窗口选择的部分变成连续策略。可能只是辅助的部分包括 Isaac/MuJoCo/SITL 工程链、PPO 超参数、网络结构和大规模并行训练。增益有一部分可能来自 baseline 较弱：constant descent 是合理下限，但不是强 baseline；如果对比 phase-aware heuristic、预测型 MPC 或优化过的 wait-descend rule，优势大小仍不清楚。
泛化主要来自 data coverage 和接口不变性，而不是抽象推理能力。训练中随机波浪参数、质量扰动、动作延迟、观测噪声使策略覆盖了许多局部相位情况；跨 CF2/X2 的结果说明高层接口有一定机体无关性，但并不能证明对真实海况分布外泛化。
Relation To Prior Work
它最接近两条路线的交叉：一边是 ship/USV landing 中的 MPC/NMPC phase-aware touchdown scheduling，另一边是移动平台降落的 RL 控制。真正不同点不是提出了新 RL 算法，而是把 MPC 中“选择有利触地窗口”的思想改写成低维 learned feedback policy，同时保留传统低层控制。
看似新的地方，如 hierarchical RL、平台相对观测、reward shaping、domain randomization，本身都不是新思想；它们是已有机器人学习套路在海上降落问题上的干净重组。实质创新在于任务分解粒度选得较好：既没有像 MPC 那样要求显式未来轨迹，也没有像端到端 RL 那样学习完整飞行控制。
因此它属于“learning residual/high-level decision over classical controller”的技术谱系，而不是 end-to-end autonomy。新增信息是：对于波浪扰动降落，学习一维垂直速度策略已经能捕获相当多的 touchdown timing 收益。
Dataset / Evaluation
评估覆盖了三层：MuJoCo 随机波浪下的定量比较、Isaac Sim + ArduPilot SITL 的接口迁移、以及一次部署导向真机测试。MuJoCo 结果支持核心 claim 的一部分：在相同横向控制器下，学习垂直策略比固定下降更能把触地推向低倾角窗口。
但 evaluation 的支持范围有限。主要 benchmark 仍是合成波浪模型，且训练和测试的运动生成机制同源；所谓 unseen disturbance 更像参数随机化内的泛化，而不是真实海况分布外泛化。SITL 证明接口能接入现有飞控栈，但不证明策略在更复杂物理中最优。真机测试更像 feasibility demo，样本量和海况覆盖不足，不能支撑 strong real-world robustness claim。
baseline 也偏弱。constant descent 可以隔离垂直 timing 的收益，但不足以说明 WaveLander 优于强规则策略、预测策略或 tuned MPC。实验最能证明的是“学习到的垂直时机策略有用”，而不是“通用海上降落框架已经解决”。
Limitation
方法成立依赖几个强前提：相对位姿估计可靠，低层控制器能稳定跟踪速度，横向误差已足够小，平台运动主要体现为 heave/roll/pitch 且可由低维 tilt statistics 捕获。一旦视觉间歇失效、甲板 yaw/平移显著、风场扰动强、接触动力学复杂，当前问题分解可能不够。
泛化上限受训练分布限制很明显。策略没有显式波浪预测，也没有物理模型约束；因此所谓 generalization 大概率来自随机化覆盖，而不是真正理解海况动力学。遇到训练分布之外的非周期船体响应、突发浪、平台加速度峰值或估计延迟，行为是否安全文中未充分说明。
另一个限制是把难题转移给了 reward 和低层控制。连续 gate 避免部署时阈值切换，但训练 reward 中仍有 soft safe tilt、touchdown scale 等人工偏好；这些参数相当于隐式规则。增益来源不清：是来自 reward 结构、GRU 记忆、curriculum、domain randomization，还是 baseline 弱，没有系统消融。
真实部署证据较弱。一次 moderate wind/wave 条件下的 demonstration 不能说明海上作业可靠性，也没有讨论 abort policy、失败恢复、接触后保持、甲板边界安全等工程关键点。
Takeaway
- 1. 值得记住的是问题分解：对于动态接触类机器人任务，很多“规划”收益可能来自把学习限制在接触时机，而不是端到端控制。
- 2. 低维平台相对接口是可迁移 insight：如果任务关键变量明确，直接对齐 representation 比扩大模型和输入更有效。
- 3. reward-shaped continuous switching 是这篇的实用价值：把 descend/hold/retreat 写成连续策略，比部署时状态机更平滑，也更容易接入现有控制栈。
- 4. 未来真正值得做的是强 baseline 和真实海况验证：与 phase-aware MPC、learned predictor + controller、robust rule-based timing policy 比较，并在有感知丢失、延迟、接触动力学的场景下验证。
一句话总结
WaveLander 是一篇把海上 UAV 降落从端到端控制或显式预测优化，推进到“传统飞控之上的低维 learned touchdown timing”范式的工作，真正贡献在于问题重构和接口设计，而不是 RL 算法本身。