精读笔记

Problem Setting

[论文标题] Numerical Approximation for Path-Dependent McKean–Vlasov Control with Non-Asymptotic Error Estimates（arXiv preprint / 2026-06-26）。这篇论文实际处理的是路径依赖 MKV 控制的数值可实现性问题：连续时间模型允许 open-loop 控制，drift/cost 依赖整个历史路径及其 law，但算法只能在离散网格和有限粒子上运行。真正困难不是写下 Euler scheme，而是证明离散化没有偷偷改变可控信息结构：连续 open-loop 控制比任何固定历史 feedback 类都大，路径 law 又让每一步的误差通过分布传播。过去路线常卡在 Markovian feedback 或 PDE/master equation 正则性上；这些在路径依赖问题里要么不成立，要么难以实现，要么需要额外假设 feedback 平滑。关键矛盾是既要保留 open-loop 的一般性，又要把优化降到可学习的离散历史策略。

Motivation

已有 MFC 学习/数值方法的缺口在于：它们通常先假设一个可训练的 feedback 类，再证明粒子近似或训练算法；但路径依赖场景下 Markov feedback 本身就不是正确策略类。作者的动机是反过来做：先从连续 open-loop 问题出发，建立一个不会损失值函数的一致离散化，再证明离散 open-loop 可以等价地被 Brownian-increment/history feedback 表示。核心观察是，open-loop 控制的不规则性可以通过 Filippov 型凸性在每个时间小区间内被“平均化”为常值控制，而不需要假设控制过程本身有时间正则性。缺的是一个从理论控制类到 implementable policy class 的误差可控通道。

Core Idea

论文的核心思想是：不要试图在连续时间路径空间上学习或正则化 feedback，而是在离散层面证明 admissible open-loop control 与历史型 feedback 的值等价。这样，神经网络策略不是一个经验性限制，而是由离散 DPP 和可测选择支撑的等价策略类。更关键的是，Euler 离散化不是简单冻结控制，而是借助 Filippov convexity 把区间内的任意 open-loop 控制替换成离散时刻可测的常值控制，保持平均 drift 且不增加 running cost。

这改变了建模方式：路径依赖不再被强行 Markovianize，也不需要无限维 PDE；信息流被重组为“初始条件 + Brownian 增量历史”或“状态路径历史”。这种 inductive bias 很自然：在离散 SDE 中，状态路径本来就是初值和噪声增量的函数，因此 Brownian-history policy 是最小充分信息形式之一。相比 prior 的本质区别在于，它不是假设一个 Lipschitz feedback 然后做 particle approximation，而是先证明在离散问题中这种 feedback 表示不会损失 open-loop value。

Method

第一，Euler 离散化加路径线性插值解决的是连续路径依赖函数无法直接在网格上评价的问题；插值使得 drift/cost 仍可接受路径输入，同时误差用 L2 path norm 控制。第二，Assumption 3.1 是离散化证明的核心结构条件：它保证每个网格区间内连续控制的平均效果可以由一个离散常值动作实现，且 cost 不变差；没有它，open-loop 控制的时间振荡会成为不可控误差。第三，离散 DPP 解决值函数递推和策略拼接问题；它让 path-dependent MKV 的 law dependence 在离散网格上仍能做动态规划。第四，measurable selection 将任意 F_{t_n}-measurable 动作压缩为状态历史的 Borel 函数，从而证明 open-loop 与 history feedback 值等价。第五，粒子系统把真实路径 law 替成经验路径分布；这一步是实现所需，但误差由高维 Wasserstein empirical rate 决定。神经网络 policy-gradient 只是对有限粒子目标的参数化优化，不是理论创新的主要部分。

Key Insight / Why It Works

最重要的技术 insight 是：在 open-loop、路径依赖、MKV 三者同时存在时，真正阻碍数值化的不是路径维度本身，而是控制类与离散 filtration 的不匹配。Filippov 型凸性把这个 mismatch 消掉：连续时间控制在小区间内产生的平均 drift/cost pair 落在可由单个动作实现的凸ified graph 中，因此可以把控制投影到离散 filtration，而不会显著改变状态演化和成本。这是 O(h^{1/4}) 能成立的关键。

O(h^{1/4}) 本身不是很强，来源主要是弱时间正则性、L2 path interpolation、以及状态误差平方根传到 cost 的组合；在 LQ 实验中看到接近一阶并不意外，说明理论界偏保守。粒子误差更像标准 empirical Wasserstein scaling 的搬运，实质新增有限；而神经网络部分主要是 engineering layer。最可能构成核心贡献的是“open-loop continuous problem → discrete piecewise constant controls → history/Brownian feedback equivalence”的闭环，而不是 policy-gradient 算法。若说 scalability，论文并没有真正解决 curse of dimensionality，只是把无限维路径问题降成长度 N 的路径特征问题；当 N 或 d 大时，Wasserstein rate 仍然很差。

Relation To Prior Work

最接近的谱系有三条：path-dependent MFC 的连续时间理论、MFC/MKV 的粒子近似学习、以及 discrete-time mean-field control 的 DPP。相对 Cosso–Gozzi–Kharroubi–Pham–Rosestolato 的路径依赖 MKV 理论，本文新增的是可实现离散近似和非渐近误差；相对 Carmona–Laurière、Soner–Teichmann–Yan 等基于 feedback regularity 的学习理论，本文避免假设 Markov/Lipschitz feedback，而是用 open-loop 加凸性替代。看似新的神经网络策略其实是已有 mean-field particle learning 的自然延伸；真正实质创新在于给这类历史策略一个 open-loop value equivalence 的理论来源。粒子误差部分主要是 Fournier–Guillin Wasserstein empirical rate 的应用，创新性有限。

Dataset / Evaluation

实验覆盖较窄，主要是低维 path-dependent LQ benchmark，另加一个 nonsmooth absolute terminal loss 用来比较 Brownian-history、state-history 和 Markov control。它验证了两个点：在有解析 Riccati 解的结构化问题上，算法能接近理论最优；在路径依赖目标下，Markov control 的信息不足会表现出来，而两类历史策略效果接近。这确实支持论文关于 history feedback 必要性的 claim，但不足以验证一般 path-dependent MKV 的可扩展性。没有真实世界任务，没有高维复杂路径泛化，没有系统比较粒子数 M 对误差的实际影响，也没有训练优化失败模式分析。generalization test 只是换初始分布，且仍在同一 LQ 结构内；泛化证据偏弱，可能主要来自问题线性结构和训练分布附近覆盖。

Limitation

理论上限很明确：Assumption 3.1 很强，本质要求控制对 drift/cost 的可达集合具备 convexification 性质；很多非凸控制、bang-bang、约束复杂或控制进入扩散的模型未必适用。扩散不依赖控制也很关键，否则区间平均控制无法简单保持二阶项。时间离散误差 O(h^{1/4}) 是弱保证，虽然可能可改进，但目前依赖较保守正则性。粒子误差的指数含 (N+1)d，随着网格细化维度上升，理论上存在明显 curse of dimensionality；总误差界在细时间网格和可承受粒子数之间并不乐观。

算法层面，policy-gradient 的优化误差完全没有纳入理论。所谓 fully implementable 更准确说是目标函数可模拟、可自动微分，并不意味着可全局优化。数值部分没有证明在复杂非凸路径成本中仍稳定；增益来源不清，可能主要来自 LQ 结构、低维、网络容量和采样量。文中未充分说明 Brownian-increment feature 在高维长时域下是否比 state-history 更可训练，是否存在 memory bottleneck。

Takeaway

• 第一，路径依赖 MKV 控制的可学习化，关键不是直接设计更复杂网络，而是先找对信息结构：离散 Brownian/history feedback 可以作为 open-loop 问题的等价实现载体。
• 第二，Filippov 型凸性是一个值得迁移的工具：它把无正则 open-loop 控制的时间振荡问题转成区间平均可实现性问题，可用于其他无 feedback regularity 的控制离散化。
• 第三，这篇推动的是“带误差界的 approximation-to-learning pipeline”，而不是新的深度学习算法。
• 第四，未来真正值得做的是降低路径经验分布的维度依赖，把 Wasserstein-on-full-path 替换成问题相关统计、signature、latent state 或低维 sufficient path features。

一句话总结

这篇论文在路径依赖 MKV 控制方向中的位置，是把连续 open-loop 理论通过 Filippov convexification、离散 DPP 和粒子近似连接到可训练历史策略的非渐近数值框架；真正贡献是控制类等价与误差闭环，而不是神经网络算法本身。