精读笔记

Problem Setting

这篇论文实际解决的是：在熵正则 discounted MDP 中，使用 log-linear softmax policy π_θ(da|s) ∝ exp(<θ,g(s,a)>)μ(da)，当 S/A 可以是一般 Polish/连续空间时，vanilla policy gradient gradient flow 是否能全局线性收敛到最优熵正则策略。

真正难点不是 policy gradient theorem，而是 softmax 参数化带来的非凸性和几何退化。tabular 里每个 state-action logit 是独立坐标，很多证明可以利用坐标守恒、最小动作概率、direct parametrization 的结构；一旦换成共享特征 g(s,a)，参数方向不再对应某个动作概率，FIM 可能在某些方向退化，且沿优化轨迹可能越来越接近退化边界。

关键矛盾是：熵正则给策略空间带来 KL 型曲率，但 vanilla PG 是在参数空间走欧氏梯度；策略空间的好几何只有通过特征 induced Fisher geometry 才能传到参数空间。如果 Fisher/covariance 常数退化，PŁ 常数就退化，线性收敛消失。

Motivation

已有 tabular softmax PG 的线性收敛理论已经说明：熵正则可以把非均匀 PŁ 转成沿轨迹的 uniform PŁ。但那套论证严重依赖 tabular direct softmax 的特殊结构，例如每个状态下 logits 的加常数不变性和动作概率下界控制。

作者的核心观察是：在一般 log-linear policy 中，想直接下界每个 action density 很困难；但如果能证明参数轨迹本身留在紧集里，那么 log-density 自动有界，FIM 也不会退化。因此问题从“逐动作概率控制”转成“参数是否会逃向无穷远”。

为什么想到 KL？因为 objective 里唯一可能随 ||θ|| 发散的项是熵正则 KL，cost bounded 本身不能提供 coercivity。于是缺口变成：哪些 feature geometry 能保证 θ → KL(π_θ|μ) 径向无界？这也是论文最有迁移价值的观察。

Core Idea

论文的核心思想是把 vanilla PG 的收敛拆成两个层次：先在任意参数点建立一个非均匀 PŁ inequality，承认 PŁ 常数会依赖 Fisher/covariance 的最小特征值；再用特征几何和 KL coercivity 证明沿 gradient flow 这个常数不会塌缩。换句话说，它不是证明目标函数全局有好曲率，而是证明优化轨迹不会进入坏几何区域。

本质区别于 prior 的地方在于，tabular work 用最小动作概率和坐标结构控制退化；本文用 log-linear density 的 KL 径向无界性作为 Lyapunov barrier。这个 barrier 是连续动作/特征参数化下才有意义的：当参数沿某个方向放大时，Gibbs measure 会向该方向最大化集合集中；如果 maximizer set 是 μ-零测度，那么 KL 必须发散，从而阻止梯度流在下降 objective 的同时逃逸。

Method

1. Q^π_τ-realizability：它解决的是“最优/proximal logit 是否在特征类中”的问题。假设对任意 π，Q^π_τ 可由特征线性表示，即 <θ(π),g>=−Q^π_τ/τ。这样 proximal policy 仍在同一个 log-linear class 中，且 policy gradient 可写成 G^{π_θ}(θ−θ(π_θ))。没有这个假设，参数误差和 Bellman/proximal 改进无法闭合。

2. 非均匀 PŁ：利用 KL sandwich 把 suboptimality 控制到 KL(π_θ || proximal π_θ)，再用 KL-logit inequality 控制到 ||θ−θ(π_θ)||²；另一方面 gradient identity 给出 ||∇V|| 下界为 FIM 最小特征值乘以 ||θ−θ(π_θ)||。组合后得到 PŁ，但常数包含 λ_min(FIM)^{-2} 和 density/occupancy mismatch。

3. KL 径向无界：对 full-affine-span features，任意非零方向 u 下 u^T g(s,a) 非常数且 argmax 为 μ-零测度。于是当 θ=ru, r→∞ 时 Gibbs policy 集中到越来越小的 near-max set；KL 下界趋于无穷。它解决的是参数轨迹紧性。

4. Simplex features 的变体：simplex feature 满足 1^T g=1，因此 θ 沿全 1 方向平移不改变 policy。KL 只能在 θ⊥1 的子空间径向无界。论文用 uncentered covariance E[g g^T] 替代 FIM，绕开 FIM 在常数方向上的零特征值，并利用 1^T θ_t 守恒控制整个参数。

5. 几何下界传播：一旦 log-density 沿轨迹有界，就能把当前 policy 写成初始化 policy 的正比例混合下界，从而通过 variance concavity / covariance PSD ordering 把初始 FIM/covariance 正定性传播到全轨迹。

Key Insight / Why It Works

最关键的 insight 是：entropy regularization 在参数空间是否形成有效 barrier，完全取决于 feature-induced energy landscape 的 maximizer set 是否足够薄。若某个方向 u^Tg 的最大值在正测度集合上取得，Gibbs distribution 可以集中到一个正测度 plateau，此时 KL 只收敛到有限值，参数可以无穷大但策略复杂度不爆炸；hat-function 反例正是说明这一点。因此“零测度 argmax”不是证明技巧，而是整篇论文控制 PG 几何退化的实质条件。

方法真正有效的原因不是熵正则泛泛地“增加 convexity”，而是熵正则 + 合适特征使 parameter level set compact。紧性给出 log-density bound，log-density bound 给出 FIM/covariance lower bound，lower bound 把非均匀 PŁ 变成 uniform PŁ。这条链条中最核心的是 KL coercivity；非均匀 PŁ 更像是把 Mei et al. 的思路搬到一般空间后的必要桥梁。

Q-realizability 是强闭合假设。它确保 proximal policy 和 optimal policy 都在 log-linear class 中，因此没有 approximation error。这个假设让问题变成纯优化几何问题，而不是 RL function approximation 问题。若 realizability 失败，当前机制大概率只能给到 biased convergence 或邻域收敛，文中没有解决。

这里没有 scaling/data/retrieval/test-time compute 的成分；增益完全来自 better geometric inductive bias。所谓 beyond tabular 的实质不是任意函数逼近，而是找到一类特征，使 log-linear exponential family 既能表达 Q 又具有 KL coercivity。

Relation To Prior Work

最接近的是 Mei et al. 2020 的 entropy-regularized tabular softmax PG：同样使用非均匀 PŁ，再证明沿 flow 常数不退化。本文的新增不是 PŁ 框架本身，而是把“最小动作概率控制”替换成“KL 径向无界 + Lyapunov 紧性 + FIM 下界传播”。这是从 tabular 坐标几何到 exponential-family 特征几何的迁移。

和 NPG / mirror descent 线性收敛结果相比，本文研究的是 vanilla PG。NPG/MD 通过 Fisher inverse 或 KL proximal 更新天然避免部分几何退化，因此更容易获得线性收敛；本文的价值在于解释 vanilla PG 何时也不会因为 FIM 退化而慢下来。但代价是更强的特征条件和 realizability。

和 LQR PG 的 uniform PŁ 不同，这里目标没有天然全局 quadratic structure；PŁ 常数来自策略分布几何，且必须沿轨迹控制。和 linear MDP / linear Q realizability 文献相比，本文不是 sample efficiency 结果，而是 exact evaluation 下的连续时间优化理论。

看似新的部分中，performance difference、KL sandwich、softmax gradient identity 都是已有工具重组；实质创新是 KL radial unboundedness 作为 Lyapunov 机制，以及对 full-affine-span/simplex feature regimes 的几何刻画和反例。

Dataset / Evaluation

没有经验实验或 benchmark evaluation。这是理论论文，evaluation 由定理、例子和反例组成。

定理验证了核心 claim：在 exact gradient flow、realizability、合适特征几何和初始非退化下，全局线性收敛成立。Fourier/Bernstein examples 说明条件非空；hat-function 反例说明条件不是任意 basis 都满足。

但这些 evidence 只支持“结构化 log-linear realizable setting 下的优化收敛”，不支持真实连续控制、采样 RL、deep policy gradient 或 actor-critic 中的 practical linear convergence。没有跨任务、真实系统、有限样本或离散时间算法验证。

Limitation

最大的限制是 Q^π_τ-realizability 极强：要求任意 policy 的 regularized Q 都能由同一组特征精确线性表示。这比只要求 Q* realizable 更强，基本把 Bellman dynamics 限制在特征闭包内。真实连续控制里这个假设通常不成立。

第二，结果是 continuous-time gradient flow with exact evaluations。实际算法有步长、采样噪声、critic approximation、projection/regularization、off-policy distribution mismatch，这些都可能破坏 KL level-set 和 FIM lower bound 论证。

第三，线性收敛常数可能很差。常数依赖 τ、γ、log-density bound、occupancy density ratio、初始 FIM/covariance 最小特征值；当 γ→1、τ 小、特征维度高或初始 policy 接近退化时，速率可能理论上线性但数值上不可用。

第四，feature assumptions 有明显选择性。Fourier/Bernstein 满足条件，但很多实际局部基函数、piecewise-linear basis、RBF-like plateau 可能失败。hat-function 反例显示常见有限元特征会产生正测度 maximizer plateau，KL 不再 coercive。

第五，full-affine-span 和 simplex 两种 regime 并未覆盖一般神经特征。文中未充分说明如何在学习特征或 overparameterized neural policy 中维持零测度 argmax 和 covariance 非退化。

第六，结果本质上把难点从 optimization 转移到 representation：只要特征同时满足 Q-realizability 和 KL-coercive geometry，PG 收敛；但如何构造兼具表达力和该几何性质的特征，是未解决的核心问题。

Takeaway

• 1. 对 vanilla softmax PG，线性收敛的瓶颈不是熵正则本身，而是 Fisher geometry 是否沿轨迹退化；控制参数逃逸是控制几何退化的关键。
• 2. KL regularization 可以作为参数空间 Lyapunov barrier，但只有当 feature energy 的 maximizer set 是零测度时才真正 coercive。
• 这个 insight 可迁移到所有 log-linear density / energy-based policy 的收敛分析。
• 3. Tabular softmax 的好性质并不自动推广到线性特征；direct parametrization 的坐标分离被共享特征破坏后，需要完全不同的几何 argument。

一句话总结

这篇论文把熵正则 tabular softmax PG 的线性收敛理论推进到结构化 log-linear 连续空间 setting，其真正贡献是用 KL 径向无界的特征几何来阻止 Fisher 退化，而不是提出新的算法。