IEEE Transactions on Robotics

On Safety and Liveness Filtering Using Hamilton–Jacobi Reachability Analysis

作者：Javier Borquez, Kaustav Chakraborty, Hao Wang, Somil Bansal · 机构：Department of Electrical and Computer Engineering, University of Southern California, Los Angeles, CA, USA

会议/期刊：IEEE Transactions on Robotics · 发布日期：2024 · 页码：4235-4251

运动规划控制优化安全

精读笔记

Problem Setting

论文标题：On Safety and Liveness Filtering Using Hamilton–Jacobi Reachability Analysis（IEEE Transactions on Robotics / 2024）。

这篇论文实际处理的是 HJ reachability 在 safety/liveness filter 中的“可部署控制律”问题，而不是 reachability 本身的定义问题。已有 HJ 方法能给出 BRT 和保证安全/活性的默认 controller，但这个 controller 往往在控制边界上取极值；作为在线 filter 时，系统在 nominal controller 和 π*_HJ 之间切换，导致 bang-bang、chattering、jerk 大、执行器不友好。

真正困难点在于同时满足三件事：一是保持 HJ 的强鲁棒语义，包括一般非线性动力学、控制约束、扰动；二是保留 nominal controller 的性能目标；三是让在线控制输入平滑且计算可接受。CBF-QP 在第三点上漂亮，但 barrier/CLF 的构造与可行性是硬伤；HJ 在第一点上强，但默认 controller 对真实系统太粗糙。本文的关键矛盾就是“形式保证的可构造性”与“控制输入的可用性”之间的冲突。

Motivation

已有路线不够的地方很明确。传统 reachability-based filter 通常只使用两个信息：BRT 边界和一个默认安全/活性 controller。这样等于把 HJ 解压缩成一个二值判断加一个极端控制动作，浪费了 value function 中关于局部可行控制方向的信息。CBF/CLF-QP 反过来把问题写成平滑投影，但需要一个有效 barrier 或 Lyapunov function；对于带控制饱和、扰动、复杂非线性系统，这个函数很难手工或自动构造。

作者的核心观察是：HJ value function 本身已经是一个 candidate barrier/value certificate。更重要的是，它不仅告诉你“状态是否在可行域内”，还通过梯度告诉你“哪些控制方向不会把状态推出可行域”。因此缺的不是一个新的 reachability solver，而是一个从 value function 到 admissible control set 的接口。本文正是补这个接口。

Core Idea

核心思想是把 HJ reachability filter 从“切换到默认最优控制器”改写为“把 nominal control 投影到 HJ 定义的最大安全/活性控制集合”。这看似只是形式变化，但本质上改变了信息流：以前 HJ 只输出一个极端 action；现在 HJ 输出的是一个约束集合，nominal controller 在这个集合内仍有自由度。

直觉上这会有效，因为默认 HJ controller 只是 admissible set 中最激进的一个点，它最大化/最小化 value function 的下降或上升速度；但保证安全/活性并不要求每一步都最激进，只要求不跨越 BRT 边界。只要控制输入在边界处让 value function 的导数满足不越界条件，递归上就能保持可行性。这个思想与 CBF-QP 很接近，但 barrier 来自 HJ，而不是另行设计。实质区别是：CBF 路线假设你有一个好 barrier；本文用 reachability 构造出带扰动、控制约束语义的 barrier-like value function。

Method

方法的核心机制可以压缩成三个层次。

第一，刻画最大 live/safe control set。对 liveness，系统必须留在 Glive(t) 中；BRT 内部 V<0 时任何控制瞬时都可接受，边界 V=0 时控制必须满足 DtV + ∇V·f(x,u,d*) = 0，外部 V>0 时无解。对 safety，使用收敛 value function 时类似：安全域外 V>0 任意控制可接受，边界要求 ∇V·f(x,u,d*) = 0，unsafe BRT 内部无解。这个集合刻画是全篇最关键的对象。

第二，把 filter 统一成投影问题：选择 U_hat(x,t) ⊆ U_live/safe，然后求离 π_nom 最近的 u。这里的 h 通常取 L2 距离，因此在 control-affine dynamics 下边界约束是线性的，在线问题变成 QP。这个统一形式的意义不是优化技巧，而是把不同 filter 的差异归结为 projection set 的选择。

第三，实例化三类 filter。LR filter 仍然是传统最小干预：内部用 nominal，边界切到 π*_HJ，计算快但不平滑。Smooth LR 在边界不切到 π*_HJ，而是在最大 admissible set 上投影，减少 bang-bang。Smooth blending 用 CBF-like inequality，例如 liveness 中 DtV + ∇V·f ≤ -γV，safety 中 ∇V·f ≥ -γV，让系统接近边界前就逐渐受约束。γ 控制提前干预的强度：小 γ 保守、像默认 HJ；大 γ 更接近 smooth LR。

Key Insight / Why It Works

最重要的 insight 是：HJ 默认 controller 的 bang-bang 不是 safety/liveness guarantee 的必要条件，而是最坏情况最优控制目标的副产物。保证所需的是 set invariance / reachability-preserving condition，而不是每一步都沿 value function 最陡方向运动。本文把这个区别显式化了。

真正有效的部分是 maximal admissible control set 的刻画。它把 HJI 解中的梯度信息转成了局部可行控制约束，使得 nominal controller 可以在保证内最大程度保留自己的性能目标。smooth LR 和 smooth blending 的增益主要来自 better inductive bias：控制器被约束在 reachability certificate 定义的可行锥/超平面中，而不是被迫使用极端 action。不是 scaling，不是 data coverage，也不是更强 planner；它是把已有 value function 的几何结构用得更充分。

smooth blending 本质上是 HJ-derived CBF-QP。它的理论优势是可行性和安全语义来自 HJ，而不是来自一个可能不合法的 handcrafted CBF。这里最有迁移价值：把动态规划/可达性得到的 value function 视为 filter constraint generator，而不是 policy generator。

需要直接指出的是，论文中很多平滑性改善并不是来自新的 reachability 理论，而是来自把控制选择从 singleton 放宽到 convex set projection。LR 到 smooth LR 的提升基本就是“不要用极端点，用集合投影”。smooth blending 的效果还依赖 γ，性能最优点并无理论给出，实验中的增益归因部分依赖调参。DeepReach 用在 6D rocket 上也主要是可达性计算的 scaling workaround，不是本文 filter 理论的核心贡献。

Relation To Prior Work

最接近的谱系有三条：HJ reachability-based least-restrictive control、CBF/CLF-QP filter、以及 MPC/predictive safety filter。本文处在 HJ 与 CBF-QP 的交界处。

相对传统 HJ filter，实质差异是从“BRT + 默认 controller”变成“BRT/value gradient + admissible control set”。传统 least-restrictive HJ 只在边界切换到 π*_HJ；本文说明 π*_HJ 只是 safe/live set 的一个元素，甚至是过激元素。这个重新解释是实质创新。

相对 CBF-QP，形式上非常相似，尤其 smooth blending 几乎就是 CBF constraint；不同点在于 barrier/value function 的来源。CBF 文献的问题是 valid CBF synthesis，尤其在控制约束和扰动下；本文用 HJ reachability 给出一个构造性来源，并且继承 BRT 的 worst-case disturbance 语义。看似新的 smooth blending，其实是 CBF-QP 思想在 HJ value function 上的重组；真正新增的信息是证明这种 HJ-derived projection set 对任意 γ≥0 非空并包含在 live/safe control set 中。

相对 MPC safety filter，本文不做 horizon optimization，也不显式规划未来性能，因此在线计算更轻、保证更直接，但也更局部和 myopic。

Dataset / Evaluation

评估设计更像机制验证，而不是 benchmark 竞赛。rocket landing 用于展示 time-dependent liveness；blimp navigation 用于展示 safety、disturbance/control-bound 语义以及与 CBF-like filter 的关系；Turtlebot 真机用于证明这些 filter 至少能在低维真实机器人上跑起来。

这些实验基本支持核心 claim：默认 HJ controller 控制粗糙；LR 有切换突变；smooth LR 和 smooth blending 能降低控制 jerk/energy，同时保持安全或接近活性目标。真机实验是加分项，因为它暴露了离散时间、有限网格、阈值触发等实际问题。

但 evaluation 没有完全验证“general framework 在复杂系统上可扩展”这个更强 claim。任务维度仍低到中等；6D rocket 借助 DeepReach，但 value approximation 的误差如何影响 filter 保证没有充分量化。实验也没有展示动态障碍、在线目标变化、强模型误差下的表现。benchmark 支持“filter design insight”，不支持“大规模通用 autonomy deployment”。

Limitation

最核心限制是它把难题从 controller synthesis 部分转移到了 value function computation 与 validity 上。只要 HJ value function 准确、可微、模型可信，后续 QP filter 很自然；但这些正是高维真实系统里最难的部分。DeepReach 可以缓解网格维度灾难，但它引入了函数逼近误差、训练覆盖、formal validation 的新负担。文中对这些误差如何进入 safety margin 讨论不足。

第二，理论假设是连续时间反馈；真实部署是离散控制和 zero-order hold。论文自己承认 LR/smooth LR 在边界切换时会因 timestep 造成短暂 violation，需要用 ε margin。这个 margin 本质上是工程补丁，会牺牲最小保守性；如何系统选择 ε 文中未充分说明。

第三，value function 可微性是强假设。HJ viscosity solution 常见 kink，尤其在多条等价逃逸路径、障碍对称、switching surface 附近。论文给 one-sided gradient 和 learning-based smoothing 作为讨论，但没有严格保证。用 NN 平滑 value function 可能掩盖非光滑结构，并引入保守或错误梯度。

第四，smooth blending 的实际性能依赖 γ。作者证明任意 γ≥0 可行/安全，但这并不等于任意 γ 都好用。γ 选择决定保守性、轨迹效率、计算负担，文中没有自动调节机制。这里的性能增益归因不完全清晰，部分来自手调 γ。

第五，filter 是单步 myopic projection。它保证局部不破坏可达性，但不优化长期性能，可能把系统带到未来需要大幅修正的区域。所谓性能保持只是“当前输入接近 nominal”，不是 trajectory-level optimality。

Takeaway

  • 1. 最值得记住的是：HJ value function 不应只用来生成默认极端 controller；它更有价值的用途是定义 admissible control set，作为 filter constraint。
  • 2. Safety/liveness filtering 的一个好抽象是“certificate-derived feasible action set + nominal projection”。
  • 这个抽象能把 HJ、CBF、least-restrictive switching 放到同一张图里，也方便以后组合 MPC 或 learned policy。
  • 3. HJ-derived CBF 是很有迁移性的方向：用 reachability 解决 barrier synthesis，用 QP/projection 解决控制平滑性。

一句话总结

这篇论文把 HJ reachability 从“生成 bang-bang 安全/活性控制器”的工具重构为“生成可投影控制可行集”的工具，是 HJ safety filter 向 CBF-QP 式平滑部署演化的一步实质性整理。