精读笔记
Problem Setting
《Deterministic Policy Gradient for Learning Equilibrium in Time-Inconsistent Control Problems》（arXiv preprint / 2026）研究的是连续时间 time-inconsistent stochastic control 中的 model-free equilibrium learning。这里的目标不是学习全局最优 policy，而是学习 subgame-perfect Nash equilibrium：当前 self 与未来 selves 之间没有 infinitesimal deviation incentive。
真正困难点在于：时间不一致问题没有标准 dynamic programming principle，equilibrium 由 extended HJB system 刻画，其中 value function 与 auxiliary functions f,g 强耦合。f 记录不同初始 time-state 参数下的未来 reward evaluation，g 记录 terminal expectation；它们不是普通 critic 的副产品，而是 equilibrium condition 本身的一部分。
以前方法卡在两个地方。PDE 路线需要完整模型且 extended HJB 是高维耦合 PDE family；continuous-time RL 路线多依赖 stochastic policy / entropy regularization，但在时间不一致问题里 exploratory extended HJB 更复杂，Gibbs policy 难采样，entropy 还会改变原始 equilibrium。任务的关键矛盾是：要定义当前可优化的 modified reward 必须知道未来 self-consistency functions；但这些 functions 又只能在 equilibrium policy 下定义。
Motivation
已有连续时间 RL 的主流技术栈基本服务于 time-consistent optimal control：通过 entropy-regularized exploratory formulation 获得 stochastic policy、policy evaluation、q-learning 或 actor-critic 更新。但时间不一致控制中，目标不是 Bellman optimality，而是 game-theoretic equilibrium；直接套 stochastic policy 会引入额外问题：采样 continuous-time stochastic policy 本身困难，entropy temperature 带来不可忽略 approximation bias，且 time-inconsistent equilibrium 下离散采样 policy 是否收敛到 exploratory equilibrium 并不清楚。
作者的核心观察是：这些困难有相当一部分来自把 exploration 直接写进 control formulation。若使用 deterministic policy，把 exploration 降级为学习时的 local perturbation，就可以学习原始 deterministic equilibrium，而不是 entropy-perturbed equilibrium。这样 DPG 的 advantage-rate 机制刚好提供了一个入口：只需知道当前 deterministic action 附近的局部 advantage，而不需要构造完整 stochastic equilibrium distribution。
关键缺口因此变成：如何在没有模型 generator 的情况下学习 extended HJB 中那些 La f、La g、La(G∘g) 项。论文选择用 martingale characterization 把 PDE 残差转成轨迹上的 orthogonality condition，这是连续时间 RL 近年 martingale approach 的自然延伸，但对象从普通 value/q 变成了一组 equilibrium auxiliary objects。
Core Idea
论文真正的核心不是“用神经网络解 extended HJB”，而是重排 equilibrium 的信息流。extended HJB 暗示：如果 f,g 已知，原时间不一致问题可以被看成一个普通 time-consistent control problem，其 running reward 被修正为包含 f,g 及其 generator 项的 modified reward。于是策略学习可以用标准 DPG 完成。反过来，给定策略，f,g 又由该策略下的未来 reward 与 terminal expectation 唯一决定。因此 equilibrium 可被表述为 policy improvement 与 auxiliary-function fixed point 的闭环。
这个建模改变很重要：时间不一致性不再由一个黑箱 policy/value 网络隐式处理，而被显式隔离到 f,g 的 fixed-point layer。相比 stochastic entropy 路线，它没有把目标函数改成 exploratory objective，因此理论上更贴近原始 equilibrium；相比直接 PDE，它不需要知道 b,σ，只需沿轨迹估计 martingale residual。新的 inductive bias 是“equilibrium = time-consistent auxiliary optimization + future-evaluation consistency”，这使得算法具有模块化可迁移性：任何能做 continuous-time deterministic policy gradient 的框架，都可被嵌入第一阶段；任何能做 martingale evaluation 的框架，都可用于第二阶段。
Method
1. 两阶段固定点化：它解决的是 extended HJB 直接不可学习的问题。给定 f,g 后，modified reward 把初始依赖、非线性期望、未来偏好变化等时间不一致因素转换成即时修正项，actor 面对的是常规 time-consistent objective。核心变化是从“解耦合 PDE system”变成“求 policy 与 auxiliary functions 的 fixed point”。
2. Deterministic policy gradient：它解决 stochastic policy 在连续时间 equilibrium learning 中的 sampling 与 entropy bias。DPG 只需要 advantage rate 在当前 deterministic policy 附近的 action derivative；local exploration 是估计工具，不是目标的一部分。核心变化是学习对象回到原始 deterministic equilibrium，而不是 entropy-regularized stochastic equilibrium。
3. Martingale characterization：它解决 model-free 下 generator 项不可观测的问题。value、advantage rate、f、g、La f(t,x,t,x)、La g、La(G∘g) 都通过相应 martingale residual 学习。核心变化是把 PDE operator estimation 转成 trajectory-level orthogonality fitting。
4. Inner FPI convergence：固定 policy mapping 后，论文证明 auxiliary functions 的 inner iterations 收敛到 fixed point。这个理论贡献主要支撑 critic-step 的合法性；但它不等于整个 actor-critic 外循环的收敛保证。
5. Structured parameterization / target networks：这是实验稳定性的重要工程手段。尤其在金融例子中，网络结构大量利用解析解形式。它提升了训练可行性，但也使得算法通用性证据变弱。
Key Insight / Why It Works
方法有效的根本原因是它把 time-inconsistency 的非局部性变成了可递推的 auxiliary state of evaluation。f,g 本质上是未来 self 的预测对象；一旦这些对象被估计出来，当前 self 的问题又恢复成局部 policy improvement。这是一种 latent structure 显式化，而不是单纯 scaling。
最核心贡献应是 two-stage reformulation + martingale learnability 的组合。单独看 two-stage reformulation 在控制理论里并非完全新鲜，单独看 martingale TD / DPG 也来自已有 continuous-time RL；新意在于把 extended HJB 的 auxiliary functions 解释为可用固定点迭代和 martingale residual 学习的 critic family，从而让 equilibrium learning 变成可实现的 actor-critic 流程。
DPG 的作用更像是避免错误建模，而不是带来全新优化能力。它避免 entropy regularization 的目标偏移，也绕开 general Gibbs policy sampling。论文中 deterministic policy 优于 stochastic q-learning 的实验结果符合预期，但这部分增益可能主要来自“少了 entropy-induced approximation / temperature tuning”，而不是 DPG 本身具有更强表达能力。
辅助模块中，target networks、structured architectures、exact-form parameterization 很可能贡献了相当多稳定性。特别是 mean-variance 实验几乎把真解函数族写进参数化里，因此它更多验证 fixed-point learning dynamics，而不是验证通用神经近似能力。第二个 tracking portfolio 也使用半解析结构。若换成无结构高维系统，当前证据不足。
这篇的“scaling”成分不强；它不是通过更大网络或更多数据获得泛化，而是通过更正确的信息分解获得可学性。真正值得迁移的是：对于破坏 Bellman principle 的控制问题，不一定要强行构造新 Bellman equation；可以寻找一个 auxiliary time-consistent surrogate，再用 consistency condition 闭环。
Relation To Prior Work
最接近的谱系有三条。第一是 Björk-Murgoci-Björk et al. 的 extended HJB / equilibrium control 理论；本文直接继承其 equilibrium characterization，但把它改造成 learning-friendly fixed-point procedure。第二是 Jia-Zhou 系列 continuous-time martingale RL；本文复用 martingale orthogonality 的思想，但对象扩展到 time-inconsistent auxiliary functions 和多个 generator correction terms。第三是 Cheng et al. 的 continuous-time deterministic policy gradient；本文把 DPG 从 time-consistent optimal control 推到 equilibrium learning。
和 Dai et al. mean-variance equilibrium learning 相比，本文不局限于某个金融模型或 Gaussian stochastic policy 结构，框架上更一般。和 Huang et al. entropy-regularized policy iteration 相比，本文不依赖 entropy regularization，也不要求通过 Gibbs measure 表征 stochastic equilibrium policy，因此避免了一些理论和采样障碍。
看似新的部分中，actor-critic、target network、martingale TD residual 都是已有思想重组；实质创新在于：识别出 extended HJB 可以被组织为 auxiliary optimal control + auxiliary fixed point，并给出 model-free 学习这些 correction terms 的 martingale route。它属于“continuous-time RL + equilibrium stochastic control”的交叉推进，而不是通用 RL 算法层面的突破。
Dataset / Evaluation
评估集中在两个低维金融应用：mean-variance portfolio 和非指数折扣下的 tracking portfolio。覆盖了两类典型时间不一致来源：非线性期望与非指数折扣。这对于验证理论机制是合理的，因为两者都有解析或半解析 benchmark，可以直接检验 learned equilibrium policy/value。
但 evaluation 的外推能力有限。第一个实验使用 exact functional form parameterization，几乎消除了 approximation difficulty；第二个实验也使用 structured networks 强注入 ansatz。它们证明算法在“解结构已知或近似已知”的 setting 下能稳定学习，不证明在一般 unknown dynamics、高维 state/action、复杂 reward functional 下仍 scalable。
与 stochastic q-learning 的比较支持 deterministic policy route 的实践优势，尤其在 temperature sensitivity 和 exploration robustness 上。但对比并不完全回答核心 claim：优势可能来自 stochastic baseline 的 entropy bias 和 temperature tuning 难，而非 DPG-FPI 对 equilibrium structure 的普适优越性。文中没有真实市场数据或真实 deployment，也没有高维、多资产、多因子场景验证。
Limitation
最大问题是 scalability。f(t,x,s,y) 的输入维度包含当前 time-state 与初始/评价参数 time-state，天然比普通 value function 高一倍；再加上 l,o,h,p 等 advantage-rate correction networks，critic 复杂度会随状态维度快速爆炸。论文没有给出解决这个维度灾难的机制。
理论保证不覆盖最关键的整体算法。Theorem 4.2 证明的是给定 policy map 下 inner FPI 的收敛，并依赖 smoothness、bounded derivatives、policy 对 f,g 的 Lipschitz continuity 等较强条件。outer actor step 与 critic step 交替后是否收敛、是否可能振荡、是否对 approximation error 稳定，文中未充分说明。
方法把“求 extended HJB”转移为“学习多个 martingale residual”。这在 model-free 上更可实现，但误差链条更长：f,g 误差会污染 modified reward，modified reward 误差会污染 advantage q，q 误差又影响 policy gradient，policy 改变后 f,g 需要重新 fixed point。论文没有系统误差分解。
局部探索的覆盖性也是隐含前提。DPG 只识别当前 policy 附近的 advantage derivative；如果 equilibrium basin 小、reward 非凸或 action 对 diffusion 的影响复杂，local perturbation 未必足以找到好 equilibrium。这里学到的是局部稳定策略而非全局意义的均衡选择。
实验中强结构化参数化削弱了 claim。mean-variance 中真解形式几乎已知，tracking 中也显式嵌入二次 ansatz。增益来源不清：是 DPG-FPI 框架本身，还是 analytic inductive bias + 低维系统 + 充足模拟轨迹共同作用。
Takeaway
- 1. 对时间不一致控制，最有价值的建模动作是把 equilibrium 的 self-consistency 显式拆出来，而不是试图用一个普通 critic 吞掉 extended HJB 的所有结构。
- 2. Deterministic policy 在连续时间 equilibrium learning 中不仅是工程选择，更是避免 entropy-induced target mismatch 的建模选择；这一点比“DPG 更新公式”本身更重要。
- 3. Martingale characterization 是连接 model-free RL 与 continuous-time equilibrium PDE 的关键接口。
- 未来真正值得做的是误差传播、outer-loop stability、高维 auxiliary function 压缩，而不是继续堆网络。
一句话总结
这篇论文把连续时间时间不一致控制的 equilibrium learning 从“直接解 extended HJB / entropy stochastic policy”推进到“deterministic policy gradient + auxiliary fixed-point critic”的范式，是一次结构重排型贡献而非单纯算法 scaling。