Science Robotics / Research Article

Dynamic robotic tracking of underwater targets using reinforcement learning

作者：I. Masmitja, M. Martin, T. O’Reilly, B. Kieft, N. Palomeras, J. Navarro, K. Katija · 单位：Research and Development, Bioinspiration Lab, Monterey Bay Aquarium Research Institute MBARI, Moss Landing, CA 95062, USA, Barcelona Supercomputing Center (BSC), Barcelona 08034, Spain, Computer vision and Robotics Institute, Universitat de Girona, Girona 17003, Spain · 来源：Science Robotics · 发布日期：2023-07-12 · DOI：10.1126/scirobotics.ade7811

移动机器人水下机器人强化学习机器人

精读笔记

Problem Setting

论文标题：Dynamic robotic tracking of underwater targets using reinforcement learning（Science Robotics / 2023）。

这篇论文不是在做一般意义上的水下目标检测，也不是低层AUV控制，而是在解决一个更具体、更工程真实的问题：水面机器人只有到水下目标的声学距离量测，目标自身GPS不可用，通信可能丢失，海流会扰动平台运动；在这种条件下，机器人如何主动选择轨迹，使 range-only localization 的几何可观测性保持足够好，同时又不离目标太远导致声学链路恶化。

真正困难点在于 tracking 和 localization 在这里是强耦合的。机器人离目标近，有利于通信，但如果运动轨迹几何退化，range-only triangulation 会有歧义；机器人绕目标形成好几何，可以提升估计精度，但目标在动，海流在扰动，通信还会断。以前的解析路径通常依赖静态目标、理想圆形轨迹或较稳定运动假设；预编程轨迹缺少在线适应性。这个任务的关键矛盾是：为了估计目标，机器人必须运动；但机器人怎么运动又依赖当前对目标位置的估计，而这个估计本身不可靠。

Motivation

已有路线不够的核心原因不是没有定位算法，而是缺少一个能在真实海况中主动制造好观测几何的路径规划器。range-only 单信标定位可以很轻量，也适合小型声学标签和现有声学 modem，但它把难题转移到了平台轨迹设计上：传感器在哪里采样，基本决定了估计问题是否可解、是否稳定。

作者的核心观察是：解析最优路径能告诉我们理想情况下“应该绕目标形成某种几何结构”，但真实任务中存在目标运动、洋流、丢包、碰撞约束、平台机动限制和通信距离约束，这些因素组合后很难写成干净的闭式优化。RL 的吸引力在于可以把这些因素放进仿真，把路径选择当成长期回报优化，而不是每一步求解析控制律。

关键缺口是 sim-to-real 的海上验证。海洋机器人领域很多RL工作停留在仿真、湖泊或受控实验，尤其很少有 open-ocean range-only tracking 的长时间实机演示。这篇论文真正想补的是：RL 不只是游戏/仿真控制器，也可以作为海上机器人 guidance layer 的一部分部署。

Core Idea

核心思想是把“最优传感器运动轨迹设计”改写成“高层策略学习”。RL agent 不直接估计目标，也不直接控制推进器，而是根据当前状态、距离量测和估计目标位置，输出下一步航向/航点，使机器人在时间上形成对 range-only localization 有利的采样几何。换句话说，policy 学到的是一种主动感知策略：不是被动接收距离量测，而是通过移动自身改变未来量测的信息结构。

这个建模方式和传统解析路径的本质区别在于：解析方法通常先假设目标/环境较简单，再推导某种最优轨迹；本文则把海流、噪声、丢包、目标运动和安全约束作为训练分布的一部分，让策略学习一个近似鲁棒的闭环行为。它引入的 inductive bias 不是某个新网络结构，而是“高层 guidance + range-only observability shaping”：策略的行为倾向于围绕估计目标形成环绕/接近的轨迹，同时保持足够距离避免碰撞和链路失效。

理论直觉上它可能有效，是因为 range-only localization 的误差高度依赖采样点的空间分布；只要策略学会快速接近目标估计位置，并维持非退化几何，就能提升估计器表现。RL 的可扩展性主要来自它不需要每个复杂场景都重新推导解析优化，而可以通过仿真覆盖更多扰动组合。但这种 generalization 仍是分布内或近分布泛化，不是无条件的。

Method

方法上应关注机制而不是模块名。

1. 估计与规划解耦。系统同时运行 target position estimation 和 path planning。估计器用 range-only 单信标方法，训练阶段用计算便宜的 LS，测试/分析中也用 PF。RL 只决定 agent 如何移动。这一拆分很关键：它避免了端到端学习整个定位-控制链，使真实部署风险显著降低，也使策略能作为 guidance layer 插到不同平台上。

2. 高层航向动作而非低层控制。动作是航向变化/下一步航点，不是推进器力矩或速度闭环。这解决的是 sim-to-real 中最脆弱的部分：低层动力学、执行器延迟、平台控制器差异。核心变化是 RL 学的是任务几何策略，而不是平台动力学控制律。

3. 奖励塑造围绕三个约束：接近目标、降低估计误差、避免过近或过远。接近目标服务于声学链路和快速收敛；估计误差项鼓励形成有利三角测量的轨迹；terminal penalty 避免碰撞和丢失目标。这里的奖励设计其实编码了大部分领域知识，不能把性能完全归功于 SAC。

4. 使用 SAC 及 H-LSTM。SAC 提供连续动作下较稳定的 off-policy 学习和熵正则探索，适合噪声环境。H-LSTM 的作用是给策略一个短期记忆通道，以处理部分可观测性、量测丢失和目标运动延迟。它解决的是单时刻 observation 不足的问题，但文中对 memory 到底学到了什么没有充分解释。

5. 仿真中显式注入噪声、洋流和丢包。这是方法成立的实际基础。策略的鲁棒性主要来自训练环境覆盖了部署时会遇到的一类扰动，而不是网络天然具备海洋泛化能力。

Key Insight / Why It Works

最重要的 insight 是：在 range-only tracking 中，路径规划不是导航附属问题，而是定位可观测性的主动控制问题。只要目标估计器固定，机器人轨迹就是决定估计误差的主要自由度。RL 的价值在于学习一个闭环轨迹生成器，使 agent 在不完美估计下仍能持续制造可用几何。

本文有效的核心贡献更可能是任务分解和抽象层选择，而不是某个深度RL算法本身。把 policy 放在 guidance layer，使它输出可由现有控制系统执行的航点/航向，这是 sim-to-real 成功的关键。很多RL机器人失败在低层控制与真实动力学 mismatch；本文规避了这个坑。这一点比 H-LSTM-SAC 的结构细节更重要。

第二个有效因素是奖励和训练分布中嵌入了强领域先验。奖励显式惩罚估计误差、距离过远和碰撞，环境中加入洋流、噪声、丢包。策略学到的“绕目标走”并不神秘，本质上是在数据驱动地逼近已有解析结果：理想情况下围绕目标形成近似圆形采样；非理想情况下根据估计和通信状态调整接近/环绕行为。因此它更像 learned observability-aware controller，而不是发现了全新的 tracking 原理。

H-LSTM 的增益需要谨慎看待。range-only tracking 是部分可观测问题，记忆当然合理；但文中未充分说明 H-LSTM 到底捕获了目标速度、丢包模式还是只是平滑了 noisy observations。普通 LSTM-SAC 表现不稳定，而 H-LSTM-SAC 更好，可能来自架构稳定性和训练细节，而不一定说明复杂时序推理能力。增益来源不清。

所谓 zero-shot transfer 也要限定：训练目标是常向运动，测试包括 Lévy random walk，策略仍可跟踪，这说明它学到了一些局部几何行为而非单一轨迹模板。但这不是强泛化证据；因为任务结构、速度范围、量测模型和平台约束仍与训练分布高度一致。这里的泛化更像在相同感知-动作闭环中的局部策略复用，而不是跨域迁移。

如果要归因，性能主要来自：better inductive bias（主动塑造观测几何）+ data coverage（仿真扰动覆盖）+ abstraction for deployment（高层guidance）。不是 scaling，不是 test-time compute，也不是复杂 latent reasoning。recurrent memory 是辅助项，SAC 是稳定训练工具，真正的机制是 observability-aware path shaping。

Relation To Prior Work

最接近的 prior 有三条：一是 range-only underwater localization 中的解析最优路径/单信标跟踪；二是海洋机器人中的预设轨迹、MPC、路径跟随和目标搜索；三是RL用于连续控制和目标跟踪的工作，尤其 aerial/land target tracking 以及水面/水下平台的仿真RL控制。

与解析 range-only 路径规划相比，本文不是推翻已有几何结论，而是把解析结论隐式吸收到策略中，并扩展到动态和扰动条件。理想静态目标下，预定义圆形路径仍是强基线；RL 的优势主要出现在移动目标、海流、丢包、通信距离约束等非理想组合场景。

与多数海洋RL工作相比，本文的实质差异在部署层级和实海验证：它不学习低层控制，也不只在仿真中展示路径跟随，而是把RL作为可插拔 guidance policy 上船，在 Monterey Bay 做了较长时间跟踪。这是工程可信度上的推进。

看似新的部分，如 SAC、LSTM、actor-critic，本身都不是创新；H-LSTM-SAC 也是已有 recurrent actor-critic 思路的轻量重组。实质创新在于把 range-only acoustic tracking、主动观测几何、platform-independent guidance 和真实海试组合起来。它属于“learning-based active sensing / informative path planning”的技术谱系，而不是单纯的RL控制论文。

Dataset / Evaluation

评估覆盖了简化仿真、高保真仿真和真实海试，层次比较完整。简化仿真用于比较策略与解析预定义路径，在静态、低速、高速和随机运动目标下观察定位误差与距离保持；高保真仿真用于验证控制架构和通信接口；真实实验用 Wave Glider 跟踪 LRAUV，场景在 Monterey Bay open water，时间超过15小时。这对于海洋机器人RL来说是明显强于常规仿真论文的证据。

但 evaluation 对核心 claim 的支撑有边界。它强力支持“训练出的RL policy 可以部署到真实ASV并完成 range-only tracking”；较弱支持“RL 比传统方法系统性更优”。原因是实海部分没有严格的多 baseline 对比，解析/预定义路径主要在仿真里比；真实场景中目标是LRAUV而非真实动物，目标深度和通信机制也相对可控。

跨场景方面，测试包含不同目标运动模式和洋流/丢包扰动，但仍属于同一任务族。所谓 random Lévy movement 是有用 stress test，但不能代表真实动物行为分布，也不能代表极端海况。benchmark 没有明显 leakage 问题，但存在仿真分布设计主导结果的可能：如果训练环境已经覆盖了大部分测试扰动，那么泛化结论应解释为 robustness within designed distribution。

表格中的数值不应过度解读。RL 相比预设路径的优势在高速度和扰动条件下更明显，但静态理想场景中解析路径仍可达到理论优。更合理的结论是：RL 提供了一个在非理想动态条件下更 flexible 的闭环策略，而不是全面替代解析轨迹。

Limitation

第一，方法成立依赖目标深度已知、agent 自定位可靠、range measurement 可用且误差模型相对稳定。如果声速剖面误差、声学多径、长时间通信中断或目标深度剧烈变化超出模型，策略可能失效。论文没有充分展示这些极端条件。

第二，scalability 上限不清。本文是单tracker-单target。多目标会引入数据关联和资源分配，多机器人会引入通信、协同观测几何和冲突避免；这些都不是简单把policy复制几份能解决的。作者提到 fleet coordination，但本文没有真正验证。

第三，泛化可能主要来自仿真覆盖，而不是策略学到了可解释的高层运动规律。训练时已经随机化目标初始位置、速度、方向、洋流和丢包，这当然会提升鲁棒性。若换到不同平台速度比、不同声学范围、不同目标行为分布，需要多少再训练或 domain randomization，文中未充分说明。

第四，训练用 LS，测试/真实中又涉及 PF 和 DAT，估计器与策略之间存在 mismatch。由于策略输入包含估计目标相对位置，估计器的系统性偏差会直接影响动作。文中没有充分分析不同估计器误差结构如何影响 learned policy。

第五，H-LSTM-SAC 的必要性不够扎实。普通 SAC 已经学到主要行为，H-LSTM 的改善可能来自训练稳定性、超参数、奖励交互或随机种子。文中虽然引用了 reliable evaluation，但对架构差异的因果归因仍不足。

第六，真实海试是强工程证明，但不是强统计证明。15小时海试在海洋机器人里很有价值，但对机器学习意义上的泛化、鲁棒性边界和 failure mode 仍远远不够。尤其缺少多海域、多季节、多平台、多目标行为的系统压力测试。

第七，所谓 planning 不宜理解为长期显式规划。policy 输出局部航向，依赖训练过的闭环反应；它没有显式维护目标运动模型，也没有在线优化未来观测信息增益。这里的“规划”更像 learned reactive informative controller，而不是长时域 belief-space planning。

Takeaway

  • 1. 最值得迁移的不是 SAC，而是把 learning 放在 guidance layer：让学习系统负责高层任务几何，保留传统导航/控制层处理平台动力学。
  • 这是海洋机器人 sim-to-real 的务实路线。
  • 2. 对 range-only / bearing-only / sparse sensing 问题，路径本身就是感知的一部分。
  • 未来很多机器人任务可以从“被动估计 + 手工路径”转向“主动塑造观测几何”的 learned policy。

一句话总结

这篇论文在海洋机器人方向的贡献不是提出新RL算法，而是把深度RL务实地嵌入 range-only underwater tracking 的高层主动感知闭环中，并用真实海试证明 learned observability-aware guidance 可以从仿真走向开放海域部署。