精读笔记

Problem Setting

论文实际处理的是有限时域 robust MDP 中的参数化随机策略优化，其中 transition kernel 不确定，并且每个 state-action pair 周围放一个 Wasserstein ball。关键矛盾是：robust Bellman 需要对 worst-case transition 取 inf，而这个 worst-case transition 又依赖当前策略诱导的未来 value；因此策略参数 θ 改变时，不仅 action distribution 变，adversarial model 也变。经典 policy-gradient 默认环境动态固定，或者至少不需要微分一个隐式 worst-case kernel；在这里这个假设失效。以前在 R-contamination 或某些 rectangular uncertainty 中能做，是因为 robust Bellman operator 有闭式形式或内层可控；Wasserstein ambiguity 下最坏分布通常是一个最优传输问题的解，selector 可能非唯一、非光滑、不可微。

Motivation

已有路线的缺口不是“没有 robust RL”，而是没有一个干净的 policy-gradient calculus 能覆盖 Wasserstein transition ambiguity。直接微分 worst-case kernel 技术上很脆弱：需要 selector 唯一、随 θ 光滑、可交换微分和积分，这些在 DRO 中通常不成立。作者抓住的核心观察是 Wasserstein DRO 有强 dual 表示，可以绕开 worst-case measure 本身，把敏感性放到 dual Bellman operator 上。换句话说，这篇不是提出一个新的 robust objective，而是在给 Wasserstein robust MDP 补一套可微分/方向可微分的 actor-critic 语言。

Core Idea

核心思想是：不要把 adversary 看成一个需要反向传播的 transition kernel，而把 robust Bellman 看成一个 envelope。Wasserstein dual 把一阶转移不确定性写成对 λ 的 supremum，以及对 transported next-state y 的点态 minimization；策略参数只通过下一步 value function 进入这个 envelope。于是 policy-gradient 可以通过 Danskin 型方向导数表达为“在 active dual/transport optimizer 上读取下一步 value sensitivity”。

这带来的本质变化是信息流重组：普通 PG 是沿 nominal/worst-case trajectory 传播 return sensitivity；这里则沿 nominal samples 先做 adversarial transport，再在 transported state 上传播 sensitivity。新的 inductive bias 是局部 Wasserstein perturbation 下的保守 value smoothing/erosion：策略更新不是追逐 nominal next state 的价值，而是追逐被 adversary 搬移后的价值。这比直接 worst-case kernel differentiation 更 general，因为它只要求 dual envelope 的方向导数，而不是要求最坏分布可微。

Method

1. 矩形 Wasserstein ambiguity：解决动态规划是否成立的问题。state-action dependent balls 保持 local ambiguity，rectangularity 保证 adversary 可逐步选择 transition，从而 robust Bellman recursion 合法。没有这个结构，整篇的 backward sensitivity recursion 基本不能成立。

2. Wasserstein dual Bellman operator：解决无限维内层分布优化不可微/不可算的问题。通过 Blanchet-Murthy dual，把 inf over distributions 变成 sup over scalar λ，并把 worst-case effect 表达为一个 Moreau-envelope/inf-convolution 型 transport operator。核心变化是从“微分分布选择器”转成“微分值函数 envelope”。

3. 方向 policy-gradient：解决非光滑性问题。由于 λ optimizer 和 y optimizer 可能是集合，作者不强行声称普通 gradient，而是给 one-sided directional derivative：右导数对应 active λ 上的 sup 与 y-set 上的 inf，左导数反过来。这是理论上比较诚实的部分。

4. 唯一性下的向量梯度递归：解决可实现 actor update 的问题。当 dual multiplier 和 transport selector 唯一时，方向导数线性化，得到 ∇θG_t 等于 nominal next-state sample 经 adversarial transport 后的 ∇θV_{t+1} 期望。此时 actor 更新由 policy score term 加 robust sensitivity term 组成。

5. Robust actor-critic：解决连续/大状态空间下 tabular DP 不可用的问题。value critic 近似 robust value，sensitivity critic 近似 ∇θV。需要注意，这主要是工程性 scalability device；理论核心不在网络结构，而在 sensitivity target 的构造。

Key Insight / Why It Works

最核心贡献是把 Wasserstein robust Bellman 的敏感性写成 envelope sensitivity，而不是 worst-case kernel sensitivity。这一点很重要，因为 Wasserstein adversary 的自然对象本来就是 transport plan/dual potential，而不是一个平滑可微的 transition kernel。方法有效的根本原因是 envelope theorem/Danskin 定理：在求最坏分布时，最优 selector 对 θ 的一阶变化不需要显式进入导数；只需要评估 objective 对 value perturbation 的一阶变化。

从机制上看，它像是在 robust Bellman 中插入了一个 adversarial state-relabeling operator：nominal sample X 先被 y*(X) 映射到对当前 value 最坏的位置，然后 sensitivity 从 y*(X) 回传。这比“在 worst-case transition 下采样”更稳定，因为 nominal kernel 仍是外层采样基准，adversarial effect 被封装进 transport argmin。

真正新的是方向导数层面的 Bellman sensitivity recursion，尤其是承认非唯一 optimizer 时只能得到 one-sided derivative，而不是硬凑普通梯度。actor-critic 算法本身相对常规，更多是把理论递归工程化。实验中的收益主要来自 robust objective 的保守性，而不是新的 exploration、representation learning 或 scaling；这里没有证据表明方法在复杂函数逼近下自动泛化。连续 LQ 部分更多证明实现没有崩，并不证明高维 RL scalability。

Relation To Prior Work

这篇最接近三条线：经典 rectangular robust MDP 的 Bellman theory、Wasserstein DRO duality、robust policy-gradient。和 Iyengar/Nilim-El Ghaoui 的差异在于它不只证明 robust DP，而是对参数化随机策略做 sensitivity calculus。和 Wang-Zou 的 R-contamination robust PG 的本质差异在于后者的 robust Bellman operator 有更直接闭式，Wasserstein 下必须处理 dual/transport selector。和 Neufeld-Sester 的 Wasserstein robust Q-learning 相比，这篇从 tabular deterministic/discrete update 转向有限时域 randomized policy-gradient 和 actor-critic。

看似新的 actor-critic pipeline 其实是已有 actor-critic + robust Bellman target 的重组；实质创新在 Wasserstein dual Bellman 的方向可微分析，以及由此得到的 robust policy-gradient recursion。它属于“DRO duality + robust MDP + envelope sensitivity”的技术谱系，而不是深度 RL 架构创新。

Dataset / Evaluation

实验覆盖有限离散问题和一个连续 LQ 控制 sanity check，场景选择是合理的：coin-toss 展示模型错配下的保守性，inventory/bandit 展示 finite-state robust DP 可复现，LQ 展示连续控制中 learned policy 有线性反馈结构。它们支持的 claim 是“推导出的递归可实现，并能产生 Wasserstein robustness 的预期行为”。

但 evaluation 没有真正检验复杂高维环境中的 scalability，也没有真实系统或大规模 benchmark。LQ benchmark 还是 related penalized problem，不是完全同一个 constrained Wasserstein-ball objective；作者也承认它是 structural sanity check。整体实验更像 correctness validation，而不是强 empirical case。没有充分 ablation 说明 sensitivity critic、dual solver、transport selector 各自贡献，也没有展示在函数逼近误差下的稳定性边界。

Limitation

最大限制是理论前提偏强：有限时域、rectangular ambiguity、紧致空间、连续/可测 selector、bounded score、equicontinuity of value difference quotients。许多实际 RL 场景不满足这些条件。论文用紧致性避免了 coercivity/moment/inf-compactness 技术问题，但这也限制了理论外推。

第二个限制是普通向量梯度需要 dual optimizer 和 inner transport minimizer 唯一；否则只有 one-sided directional derivative。实际算法看起来采用了某个 selector 或近似唯一情形，但非唯一时 update 的选择、稳定性和收敛没有充分说明。

第三，方法没有消灭困难，只是把困难从 worst-case kernel differentiation 转移到 dual scalar optimization、pointwise transport argmin 和 sensitivity approximation。高维连续状态下，求 y* 本身可能很贵，且可能非凸；这会成为真正瓶颈。

第四，actor-critic 部分缺少严肃的收敛/误差传播分析。value critic 错误会进入 transport selector，selector 错误又影响 sensitivity critic，误差可能被 backward recursion 放大。文中未充分说明这一点。

第五，实验增益归因较清楚地来自 Wasserstein robustness 的保守 bias，而不是算法学习能力本身。所谓 continuous generalization 主要由 LQ 结构和函数类匹配支撑，不能据此推断复杂控制任务上的泛化。

Takeaway

• 1. 对 Wasserstein robust MDP 做 policy-gradient，正确姿势不是微分 worst-case transition，而是微分 dual Bellman envelope。
• 2. Robust PG 的核心对象应从 trajectory likelihood ratio 扩展为 Bellman sensitivity recursion；adversarial transport selector 决定 sensitivity 在状态空间中的传播路径。
• 3. 非光滑性不是边角问题，而是 Wasserstein robust control 的常态；one-sided directional derivative 比强行写 ∇ 更可信。
• 4. 后续真正值得做的是高维下可稳定求解 transport selector、带函数逼近误差的收敛理论、以及非矩形/轨迹级 ambiguity 的 sensitivity calculus，而不是继续堆 actor-critic benchmark。

一句话总结

这篇论文把 Wasserstein DRO 的 dual envelope 技术系统接入 robust MDP policy-gradient，真正贡献是给“最坏转移随策略变化”这一难点提供方向可微的 Bellman sensitivity 公式，而不是提出新的深度 RL 架构。