IEEE Transactions on Robotics

Value Approximation for Two-Player General-Sum Differential Games With State Constraints

作者：Lei Zhang, Mukesh Ghimire, Wenlong Zhang, Zhe Xu, Yi Ren · 机构：Department of Mechanical and Aerospace Engineering, Arizona State University, Tempe, AZ, USA; School of Manufacturing Systems and Networks, Ira A. Fulton Schools of Engineering, Arizona State University, Mesa, AZ, USA

会议/期刊：IEEE Transactions on Robotics · 发布日期：2024 · 页码：4631-4649

运动规划控制安全人机交互

精读笔记

Problem Setting

《Value Approximation for Two-Player General-Sum Differential Games With State Constraints》（IEEE Transactions on Robotics / 2024）处理的是两人 general-sum differential game 在状态约束下的 value approximation，并希望直接用近似 value 的梯度生成 equilibrium feedback control。这里的关键矛盾是：general-sum + state constraint 是 HRI 中更少保守、更接近真实互动的建模方式，但其 HJI value 既高维又会因约束违反惩罚/可行域边界产生不连续；而闭环安全恰恰依赖这些不连续边界附近的 value gradient。

以前方法卡在两个层面。DP / level-set HJI 能给较可靠的解，但维数上限很低；PINN / DeepReach 类方法绕开网格，却默认解足够平滑，面对 discontinuous viscosity solution 时随机采样 residual 会出现不可辨识问题：训练点几乎不会落在真正决定 jump / unsafe boundary 的集合上。纯 BVP/PMP supervised learning 反过来能采到具体 equilibrium 轨迹，但每条数据都要解 shooting/BVP，成本高，且只给低维轨迹上的信息。论文实际要解决的不是“如何更好拟合 value”，而是“如何让 value approximation 学到足以产生安全闭环策略的 co-state landscape”。

Motivation

作者最重要的出发点是：在 state-constrained HJI 中，低 value approximation error 不等价于好的控制策略，因为策略由 value gradient/co-state 决定；而不连续、switching surface、collision boundary 附近的梯度错误会被闭环放大成碰撞。这一点比常见 reachability 论文只报告 value contour 或 reachable set 更贴近 deployment。

已有路线缺的不是一个更大的网络，而是对“零测度但高影响区域”的信息注入机制。vanilla PINN 的 PDE residual 是 Monte Carlo 式的，它在平滑区域很高效，但对 discontinuity 没有稳定识别机制；VH 试图通过 curriculum 让边界逐渐变陡，但高维下每一步仍要学全域结构，计算代价迅速上升；EL 把不连续 value lift 到连续 augmented value，理论上漂亮，但多了一维并且不保证学到可用的 gradient。作者因此选择把 BVP 生成的 equilibrium value/co-state 作为 anchor，再用 PINN residual 做全域约束。

Core Idea

论文真正的核心不是提出三个方法，而是通过比较得出一个清晰判断：对 state-constrained general-sum game，闭环安全的 bottleneck 是 co-state supervision，而不是 value smoothness 本身。Hybrid Learning 的本质是把 PMP/BVP 的 trajectory-level 精确信息嵌入到 HJI/PINN 的 field-level 表示中，使网络既看到安全边界附近的关键样本，又不需要像纯 SL 一样靠大量 BVP 覆盖整个状态时间空间。

这改变了信息流：传统 PINN 从随机 collocation 点和 terminal condition 反推整个 value field；HL 则用 equilibrium trajectory 在 discontinuity / near-collision 区域提供因果路径和梯度方向，再让 PDE residual 填补轨迹之间的空间。它引入的 inductive bias 是“value field 应该同时满足 HJI 局部一致性，并在真实 equilibrium manifold 上匹配 PMP co-state”。这比单纯扩大网络或增加 collocation 点更有效，因为它直接对齐了最终 policy 所用的表示量。

Method

方法上应抓住机制而非训练细节。

1. Hybrid Learning：解决 PINN 对不连续边界不可辨识的问题。BVP/PMP 生成 equilibrium trajectory，提供 value 与 co-state；PINN residual 在随机采样状态上约束 HJI。必要性在于：value supervision 只保证标量场位置，co-state supervision 才直接约束控制律。核心变化是从“只学 PDE solution”变成“学一个被 equilibrium traces 校准过的 PDE field”。

2. Value Hardening：解决 hard constraint penalty 过陡导致训练困难的问题。它先学习平滑 penalty，再逐渐提高 Lipschitz constant。直觉类似 continuation / curriculum，但本质没有解决高维采样稀疏与边界定位问题，只是让优化路径更温和。论文实验中它在 9D/13D 失败，说明 curriculum 不是主要瓶颈的充分解。

3. Epigraphical Learning：解决 value discontinuity 的理论问题。通过增加辅助状态 z，把原始 constrained value 的可行性问题转成 augmented continuous value 的 zero sublevel set 判断。它的机制优势是消除不连续，但代价是升维，并且 learned augmented value 的 gradient 不一定对原始反馈控制友好。论文中 EL 能较好识别 unsafe set，却闭环安全差，正好说明 segmentation-level correctness 不等于 policy-level correctness。

4. Incomplete-information 部分：更像展示用途而非理论贡献。作者用 learned complete-information values 做 type-conditioned policy 和 Bayesian belief update，本质是 best-response approximation；它没有解决 incomplete-information general-sum differential game 的 value characterization。

Key Insight / Why It Works

最核心的 insight 是：安全闭环控制需要的不是全局 value 的平均精度，而是 discontinuity / switching / collision boundary 附近的 co-state 精度。HL 有效的原因很可能是 representation alignment：监督目标直接包含 ∇xV，而 policy 又直接由 ∇xV 通过 Hamiltonian maximization 得到。因此它优化了真正的 downstream quantity，而不是只优化 value residual。

第二个原因是 data coverage 的质量高于数量。BVP trajectories 虽然是低维曲线，但它们经过 equilibrium dynamics 选择，天然穿过最有决策信息的区域，尤其是 collision avoidance 中的 near-boundary cases。PINN collocation 则便宜地提供背景约束，防止纯 supervised 在轨迹外完全自由漂移。换句话说，HL 的增益不是神经 PDE 求解本身，而是“高价值轨迹 supervision + 低成本 PDE regularization”的组合。

第三，co-state loss 是比 value loss 更接近 safety 的训练信号。论文的 ablation 显示去掉 co-state loss 后 HL/EL 安全性明显下降，这一点比 value error 表格更有说服力。可以直接判断：这篇论文的实质贡献不是 VH 或 EL，而是把 PMP co-state 当作 policy-level supervision 加进 PINN，并用闭环安全指标证明其必要性。

哪些部分可能只是辅助：activation function、adaptive activation、boundary norm、hardening schedule 等更多是工程优化；它们影响收敛和性能，但不是机制核心。VH 的思想是已有 continuation/curriculum 的重组，EL 是已有 epigraphical technique 从 zero-sum 到 general-sum 的扩展，理论上有意义但在该实验设置下不是性能来源。

需要警惕的是，HL 的“泛化”很可能主要来自 BVP 数据覆盖了测试分布中的关键交互模式，而不是网络学到了可外推的 game-theoretic reasoning。BVP supervision 也是一种 hidden oracle：它把很难的 equilibrium 求解离线塞进数据里。论文比较用 wall-clock 控制预算是合理的，但不同方法的调参成熟度、EL 使用更强硬件仍表现差、VH 训练预算是否足以代表其上限，都使增益归因不能完全干净。

Relation To Prior Work

这篇处在三条技术谱系的交叉处：HJI/viscosity solution 的 differential game value computation、PINN/DeepReach 式高维 PDE approximation、以及 PMP/BVP trajectory supervision。和 DeepReach 类工作相比，它的关键差异不是把 zero-sum 换成 general-sum，而是指出 state constraints 引起的 discontinuity 会让 PINN 的采样残差训练在安全控制上失效，并用 co-state supervision 修正。

和纯 supervised HJB/HJI 学习相比，HL 的不同在于不试图用 BVP 数据覆盖整个空间，而是把 BVP 当作 sparse but informative anchor，再用 PDE residual 作为结构正则。这是比较实质的工程-理论折中。

和 epigraphical / reachability 文献相比，论文的新意主要是把 epigraphical technique 推到 general-sum setting 并与 PINN 比较，但从实验看 EL 不是最终答案。它说明“把 value 变连续”并不自动解决“梯度可控”问题。这个负结果反而有价值。

和 HRI 中的 online ILQ game / MPC 路线相比，本文走的是 offline value precomputation + fast inference，目标是把实时求解换成网络查询。它牺牲的是在线模型适配和安全证书，换来高频 policy generation。真正新增的信息是：在 general-sum constrained game 中，闭环安全评价必须看 co-state/policy，而不是只看 value / reachable set。

Dataset / Evaluation

实验覆盖了 5D 交叉路口、9D 窄路避障/双车道变换、13D 双无人机避障，包含线性/非线性动力学和 complete / simplified incomplete information 设置。作为仿真 benchmark，它足以支撑“HL 在相同计算预算下比若干 PINN 变体更适合 closed-loop safety”的 claim，尤其是作者没有只报告 value error，而是直接用 learned value gradient 闭环 rollout 看碰撞率。

但 evaluation 仍然是受控仿真，没有真实机器人、没有感知噪声、没有模型失配、没有复杂多主体环境。训练和测试分布虽然有部分 out-of-distribution 扩展，但任务结构高度同质，均围绕 collision avoidance；因此不能证明对真实 HRI 的强泛化。BVP ground truth 本身也是近似的，虽然作者用 DP/VH 做一致性检查，但只在低维 case 较充分。

最有说服力的实验不是大维度数字，而是两个现象：EL 可以分割 unsafe set 但闭环仍不安全；加入 co-state loss 后安全显著改善。这直接验证了论文的核心机制。相反，13D 最大维度更多是 scaling evidence，不应过度解读为解决了高维 HJI。

Limitation

第一，方法把一部分困难转移给 BVP/PMP 数据生成。BVP 只给局部必要条件，多 equilibrium、奇异弧、非凸 Hamiltonian 下全局最优性没有保证。作者用多初值和 Pareto selection 缓解，但这不是理论解决。若 BVP 生成的 equilibrium 错，HL 会稳定地学错。

第二，依赖人工知道 informative trajectories 在哪里。论文明确承认需要 human insight 找到 discontinuous / collision regions。没有主动采样或误差驱动边界发现机制时，数据覆盖仍是上限。核心能力可能主要来自数据覆盖，而不是模型自动发现安全边界。

第三，没有 safety guarantee。闭环安全来自经验 rollout，不是可证 barrier、reachable set certificate 或 NN controller verification。对于 safety-critical HRI，这仍然只能作为 fast policy heuristic 或 MPC warm start，不能直接替代 certifiable controller。

第四，泛化边界不清。测试分布与训练任务共享动力学、reward 结构、约束形式和交互几何；所谓泛化更像在同一 game family 内插值。跨动力学、跨约束拓扑、更多主体、长期 horizon、强不确定 belief dynamics 下是否成立，文中未充分说明。

第五，incomplete-information 部分并没有解决该理论问题。它使用 complete-information value network 做 myopic / best-response belief update，未来 belief dynamics 没有进入 value computation。这里的 reasoning 更像 type-conditioned policy retrieval + Bayesian filtering，而不是完整的 asymmetric-information differential game solution。

第六，VH/EL 的失败结论需谨慎。它们在给定预算和实现下不如 HL，但是否经过同等程度的调参、是否需要不同网络结构/采样策略，文中未充分说明。特别是 EL 的梯度学习问题可能需要专门设计，而不只是套 PINN。

Takeaway

  • 1. 对 constrained HJI value learning，closed-loop safety 应作为一等指标；value MAE 或 unsafe-set segmentation 不能替代 policy-gradient 质量。
  • 2. 最可迁移的 insight 是：如果 PDE solution 的下游用途依赖梯度/控制律，就应直接监督或正则化梯度，而不是只拟合标量 value。
  • co-state supervision 是比更多 collocation points 更有效的 inductive bias。
  • 3. 处理不连续 PDE 时，单纯 smooth lifting 或 curriculum 不一定解决 control problem；它们可能改善 value 表示，却不保证策略相关导数正确。

一句话总结

这篇论文在高维 general-sum constrained differential game 的神经 value approximation 中，把问题重心从“拟合 HJI value”推进到“学习能产生安全闭环策略的 co-state”，其主要贡献是用 PMP/BVP co-state supervision 校准 PINN，而不是单纯扩大 PINN 或平滑不连续解。