精读笔记
Problem Setting
这篇论文处理的是给定控制策略 π 的 high-dimensional safety value evaluation：学习 Vπ(x)=sup future ℓ(x)，用其符号判断从当前状态是否会在未来违反约束，用其数值估计 safety margin。它不是在直接合成安全控制器，也不是求完整 HJ PDE；它试图在 humanoid 这种高维状态/感知输入下学习一个可用的 reachability-style value function。
真正困难点是 Bellman 结构和学习结构不匹配。原始 safety Bellman 是 V(x)=max{ℓ(x),V(x′)}，没有 discount，因此一般不构成 contraction；直接 TD 学习会缺乏稳定性。已有 discounted safety Bellman 通过 γ<1 获得 contraction，但 target 是 one-step bootstrap。对于 humanoid balance / collision 这类 unsafe event 可能在很多步之后才显现的问题，一步 TD 的信息传播非常慢，而且早期 value approximation error 会沿轨迹被反复 bootstrapped。
关键矛盾是：安全值的语义要求 long-horizon max-over-trajectory，但可训练性要求局部、稳定、可 bootstrap 的 Bellman update。Monte Carlo future max 可以给强监督，但需要完整轨迹，variance 大，不适合在线更新；one-step TD 可训练但太局部。论文就在这个缝隙里提出一个 geometric-horizon operator。
Motivation
作者的核心观察是：discounted safety Bellman 的问题不只是 discount bias，而是它把“稳定学习”与“一步信息传播”绑在了一起。为了 contraction，已有方法使用 discounted one-step operator；但 safety violation 本身通常是稀疏、延迟、trajectory-level 的事件，一步更新对这种信号极不友好。
缺的是一种介于 local HJ self-consistency 和 global invariance / Monte Carlo label 之间的更新机制：它应该能看到若干步后的 unsafe evidence，把 max signal 直接回传到 earlier states；同时又不能完全放弃 bootstrapping，否则只能等完整 episode，且难以在线学习。
因此这篇论文不是要重新定义 safety value，而是要重新设计 safety Bellman estimator：让 target 的 horizon 随机化，让 future max 更早进入监督，同时保留 contraction。这个动机是合理的，尤其对高维 humanoid，因为此类系统中 unsafe 的早期状态和真正 violation 之间往往有较长 predictive horizon。
Core Idea
核心思想是把 fixed one-step safety backup 替换为 geometric mixture of multi-step max backups。给定当前状态，从几何分布采样一个 horizon n，在 t 到 t+n−1 的 safety signal 上取 max；到 t+n 时，不是总是 bootstrapping，而是以概率 δ^n 使用当前 value estimate，否则用一个足够低的 terminal value，使 bootstrap 项事实上消失。
这个设计改变了建模方式：原来 Bellman update 依赖单个 successor 的 value，现在 target 直接包含一段 rollout 内观测到的 worst safety signal。它引入的 inductive bias 是：安全信息应沿时间以 max 操作进行非局部传播，而不是像 reward value 那样逐步折扣累积。λ 控制 expected lookahead horizon，因此越接近 1，target 越像 Monte Carlo max；δ 控制 terminal value 被纳入的概率，因此 contraction 来自 stochastic absorption，而不是显式 value discount。
本质区别在于参数解耦：discounted Bellman 中 γ 同时决定 contraction 强度和对 undiscounted reachability 的近似误差；这里 δ 负责 contraction，λ 负责 horizon / approximation。这个解耦是论文最实质的理论与算法贡献。
Method
方法层面可以压缩为三个机制。
第一，geometric horizon。它解决的是 one-step TD 信息传播慢的问题。unsafe event 一旦在 rollout 后段出现，multi-step max target 可以直接把该 signal 传播到更早状态，而不是训练很多轮才能一步步传回来。几何分布提供了一个 TD(λ)-like 的 horizon mixture，λ 越大，平均 horizon 越长。
第二，stochastic terminal absorption。它解决的是原始 max Bellman 没有 contraction 的问题。如果每个 multi-step target 都无条件使用 V(x_{t+n})，operator 对 value 的 Lipschitz 系数仍可能是 1；通过只以 δ^n 的概率使用 bootstrap value，operator 对 V 的依赖被压低到 E[δ^n]，从而得到 sup-norm contraction。这里 δ 是真正的稳定性旋钮。
第三，max-structured target。它保持 reachability 的语义：target 不是 reward return，也不是 soft aggregation，而是 observed safety signal 与 terminal estimate 的 max。这一点非常关键，因为安全值的符号边界和 margin 都来自 worst-over-time structure。
其余实现细节如 truncated geometric sampling、target networks、double critics、conservative initialization，主要是在神经网络训练中抑制 max backup 的过估计和噪声放大。它们必要但不是概念创新。
Key Insight / Why It Works
这篇论文真正有效的原因不是“用了 TD(λ)”本身，而是把 TD(λ) 的多步信用分配思想改造成适合 reachability 的 max-credit propagation。对于 safety value，最重要的信息往往是未来某个时间点的最大 ℓ，而不是每一步 reward 的累积。one-step TD 在这种问题上天然低效，因为 unsafe signal 必须通过 value function 逐步回传；任何 approximation error 都会在链式 bootstrap 中被反复使用。λ-Reachability 直接把 future max 纳入 target，等价于给 unsafe evidence 开了一条长程回传通道。
最核心的贡献是 δ^n absorption。普通 TD(λ) 的 terminal bootstrap 总是存在；在 max Bellman 下这会让 operator 仍然强依赖 terminal value，contraction 不自然。作者用随机吸收把 terminal value 的影响概率化、随 horizon 衰减化，因此可以一边看长 horizon，一边让 operator 对当前 V 的敏感性保持小于 1。这是比简单 n-step return 更重要的点。
从归因看，实验增益大概率主要来自 better inductive bias / information propagation，而不是 representation learning 或 scaling。它没有引入新的感知结构，也没有做复杂模型预测；value 网络很普通。性能提升说明在这些任务里，target construction 是瓶颈：DPE 的一阶 target 不够把未来 violation 传播回来。
但也要直说：这里的“long-horizon safety reasoning”更像基于离线 rollout segment 的 future max supervision / memory reuse，不是显式 planning，也不是学到了可验证的 invariant certificate。若数据中没有覆盖接近 failure 的轨迹，或者未来 failure 机制在部署分布下变化，multi-step target 也无从产生正确标签。所谓 predictive horizon 很大程度依赖训练 rollout 中存在相似的 pre-failure states。
λ 接近 1 的效果也有双面性：在仿真中它接近 miracle supervised baseline，说明 long horizon max label 很强；但真机平衡任务里较短 horizon 反而更稳，暴露出长 horizon target 对 sim trajectory predictability 的依赖。换言之，高 λ 提升的是 bias，而不是 robustness。
Relation To Prior Work
最接近的路线是 Fisac et al. 的 discounted safety Bellman / HJ-RL bridge，以及后续 reachability estimator / safe RL policy evaluation 工作。这些方法通过 discount 获得 contraction，再用 TD/Q-learning 学 safety value。λ-Reachability 沿用同一问题设定和 Bellman learning 框架，但把一阶 discounted backup 换成 stochastic multi-step max backup，并把 contraction 从 value discount 转移到 terminal absorption probability。
和标准 TD(λ) 的关系是形式启发而非直接套用。TD(λ) 面向 additive reward return，λ 控制 eligibility trace 或 n-step return mixture；这里对象是 max-over-time safety value，因此 target 是 max over observed ℓ plus stochastic bootstrap。更重要的是，TD(λ) 通常总会使用 terminal bootstrap，而本文刻意让 terminal value 随 δ^n 被随机吸收，这是为 max Bellman contraction 服务的新增结构。
和 Monte Carlo / supervised future-max label 的关系也很近。若 s=0 且 horizon 覆盖整段轨迹，它基本退化为 trajectory-level future max supervision。论文的新增信息在于提供了一个可 partial rollout、可 bootstrap、且有 contraction 的中间形式，而不是单纯拟合 empirical future max。
和 CBF / neural barrier learning相比，它没有直接验证 barrier inequality，也不提供连续状态空间证书。它学习的是 policy-conditioned safety value，可作为 monitor 或后续 safe control 的输入。作者把它解释成 CBF global invariance labels 与 HJ local consistency 的桥梁，这个说法有启发性，但不应过度理解为获得了 CBF 级别 guarantee。
因此它属于 HJ reachability × RL policy evaluation × multi-step TD 的技术谱系；实质创新是为 max-type safety Bellman 设计了一个 geometric-horizon stochastic contraction operator。
Dataset / Evaluation
评估覆盖三类 humanoid safety setting：平地平衡、粗糙地形感知、动态障碍碰撞，并且有真机 G1 上的推理结果。这对论文 claim 是有价值的，因为它至少说明方法不是只在低维 toy reachability benchmark 上成立，而能处理高维 proprioception、height scan、obstacle observation 等输入。
实验最能支持的 claim 是：在给定策略、给定 rollout 数据的 offline safety value learning 中，λ-Reachability 比 one-step discounted policy evaluation 更适合学习 future max safety value，尤其在 early warning 和 invariant classification 上。这一点表格和曲线都比较一致，且 ablation 中 λ 降低性能退化，也支持 horizon 是主要因子。
但 evaluation 也有明显边界。首先，所谓 ground truth 是 finite rollout 的 empirical future max 和 forward-invariance indicator，并不是真正 infinite-horizon reachability label。作者也承认如果 episode 安全结束就假设策略之后保持安全，这会带来 label bias。其次，Supervised baseline 被称为 miracle baseline，说明数据中其实已经可构造强 future-max label；λ-Reachability 的优势更多是在不完全依赖完整 label 的训练机制上，而不是证明其能在未覆盖状态上泛化。
真机实验是亮点，但本质是 sim-trained value 在 real rollout 上做 inference，不是闭环安全控制验证。G1Flat 中高 λ 不稳定也说明 sim-to-real shift 会削弱长 horizon target。整体评估支持“better value learning target”，但还不足以支持“real-world safety guarantee”或“generalizable reachability reasoning”。
Limitation
第一，方法依赖 rollout 覆盖。λ-Reachability 只是更有效地利用未来轨迹中的 unsafe evidence；如果数据没有包含足够 failure / near-failure transitions，它不会凭空推断 recoverability boundary。核心能力可能主要来自数据覆盖与多步 max label 的传播，而不是模型内生的安全推理。
第二，finite horizon truncation 是实质偏差源。理论使用 unbounded geometric horizon，并在 λ→1 时恢复 undiscounted objective；实际训练必须截断，且 trajectory 结束后的安全性常被假设。这把 infinite-horizon reachability 问题转移成了 finite rollout label quality 问题。文中未充分量化 truncation bias 与 n_max、λ、failure time distribution 的关系。
第三，λ 存在 bias-robustness tradeoff。λ 越大越接近 Monte Carlo / true objective，但越依赖长时域预测和数据分布一致性；真机结果已经显示长 horizon 在 noisy proprioception 下可能不占优。这个问题不是调参小事，而是决定该方法部署可靠性的核心。
第四，contraction 是 tabular/operator 层面的性质，不等于 neural function approximation 下的收敛保证，也不等于 learned safe set 的形式化 safety certificate。使用 ReLU critic、target network、double critic 后，实际系统仍没有连续状态空间验证。
第五，增益归因并不完全干净。λ-Reachability 同时用了双 critic、target network、conservative initialization、长 horizon target，而 DPE baseline 是相对朴素的一步方法。虽然 ablation 强烈指向 horizon 作用，但一些训练稳定器是否贡献显著，文中未充分拆解。
第六，这篇论文主要是 policy evaluation，不是 safe control。把 value 接入 actor-critic 或 CBF-style controller 的设想合理，但 value scale error、gradient quality、OOD action evaluation 都可能成为新的失败点。
Takeaway
- 1. 对 reachability-style safety value，target design 比网络结构更关键。
- 把 future max 以多步方式直接回传，比在一阶 Bellman 上堆训练更有效。
- 2. 论文最值得迁移的 insight 是“把 contraction 来源和 approximation horizon 解耦”：稳定性不一定只能靠 discount，也可以通过随机吸收 / terminal dependence attenuation 实现。
- 这对其他 non-additive Bellman objective 也有启发。
一句话总结
λ-Reachability 是 HJ-RL safety value learning 中从 one-step discounted backup 走向 stochastic multi-step max backup 的一次实质推进，核心贡献是用 geometric horizon 与 random absorption 解耦长视野安全信息传播和 Bellman contraction。