精读笔记

Problem Setting

《Particle Methods with Deep Learning for Stochastic Control under Partial Observation》（arXiv preprint / 2026）处理的是连续时间部分观测随机控制的数值求解。这里的核心矛盾是：控制只看得到观测过程，但动态规划的充分状态是隐藏状态的条件分布；这个条件分布是随机测度，导致分离后的问题虽然形式上全观测，却变成无限维控制问题。

传统路线可以写出滤波方程、测度值 DPP 或无限维 HJB，但这些对象对实际计算很不友好。离散时间近似和 RNN path-dependent policy 可以绕开部分理论困难，但前者离连续时间理论仍有距离，后者把历史压进黑盒记忆，没有显式利用“条件分布是充分统计量”这一结构。论文真正要解决的不是一个新控制模型，而是给部分观测控制提供一个可训练、可扩展、且至少在标准设定下有极限保证的有限维 surrogate。

Motivation

作者的出发点很明确：部分观测控制的困难不是信息不够，而是信息状态太大。滤波分布包含了所有必要信息，但直接在测度空间上做数值优化几乎不可行。已有 deep stochastic control 方法可以处理高维状态，但默认状态是可观测的有限维向量；部分观测下如果直接喂 observation history，等于放弃了滤波结构。

关键观察是 reference probability reformulation：换测度后，观测过程成为 Brownian common noise，观测信息通过 likelihood process 进入目标和状态表示。这个形式与 common-noise-adapted mean-field control 非常接近。于是作者不是重新发明一个滤波数值法，而是把部分观测控制嵌入最近的 common-noise MFC 粒子极限框架。这是本文最重要的动机：用已有的 mean-field/control limit theory 来支撑一个面向深度学习的粒子化滤波状态。

Core Idea

论文的核心思想是：用带 likelihood weight 的粒子云替代滤波分布，并把控制写成粒子云的 permutation-invariant feedback。每个粒子代表隐藏状态的一份条件样本，公共观测噪声同时驱动所有粒子，并通过似然权重编码观测对不同粒子的相对可信度。于是条件分布不再作为无限维对象出现，而由有限个加权粒子近似。

这改变了建模方式：从“在 observation history 或 measure-valued state 上控制”转成“在一个可交换粒子系统上控制”。新的 inductive bias 是 permutation invariance。粒子的顺序没有意义，控制应只依赖经验分布/加权经验分布；DeepSets 架构正好匹配这个结构。与普通高维神经网络相比，这不是单纯降维，而是把滤波分布的对称性显式编码进函数类。与 RNN 相比，它把信息流组织成当前粒子滤波状态，而不是长历史记忆。

Method

第一步是换测度。原始观测过程含有隐藏状态相关漂移，控制必须适应其生成的 filtration。reference probability 下，观测变成标准 Brownian common noise，隐藏状态漂移相应修正，likelihood L 进入 cost。这一步的作用是把 partial observation 的信息约束转成 common-noise-adapted 控制问题，使后续粒子极限可用。

第二步是构造 N 粒子系统。每个粒子有隐藏状态 X^k 和似然 L^k；标准控制问题中 cost 使用未归一化权重平均，MFC 扩展中还构造归一化加权经验测度。这个机制解决的是无限维滤波状态不可计算的问题，核心变化是把条件分布近似为有限维加权经验分布。

第三步是时间离散化。Euler-Maruyama 用于状态，likelihood 用指数形式离散以保持正性。这里的重点不是数值格式新颖，而是得到一个时间一致的有限维 Markov 控制问题，允许反馈策略写成粒子状态的函数。

第四步是学习器。direct 方法直接参数化对称反馈控制并最小化 Monte Carlo cost；Deep BSDE 方法在扩散不受控、可逆等条件下学习 BSDE 初值和 Z 过程。两者的机制差异在于：direct 学 policy，BSDE 学 value-gradient-like object。BSDE 分支不是普适求解器，它依赖更强结构，且在高维 Z 输出时更脆弱。

Key Insight / Why It Works

最关键的有效性来源不是“用了深度学习”，而是 representation alignment：部分观测问题的充分统计量是条件分布，而加权粒子系统正是这个对象的有限维随机表示。控制网络看到的是粒子云和权重，等价于看到一个近似滤波状态；这比 RNN 从历史中自行学习滤波器更结构化，也比在测度空间上解 HJB 更可计算。

理论成立的核心来自 common-noise MFC 极限。换测度后，观测噪声成为 common noise，控制适应 common noise，粒子系统条件独立地传播隐藏状态并共享观测噪声。Bouchard–Tan 的极限理论保证在适当条件下 N 粒子控制问题的值收敛到原问题。本文真正的理论贡献更像是把部分观测控制精确对齐到这套极限理论，并补上时间离散到完全离散粒子问题的收敛论证。

深度学习部分的增益主要来自 better inductive bias 和 scaling，而不是新的优化原理。DeepSets 把 permutation invariance 硬编码进网络，使参数规模不随粒子排列结构爆炸；这对粒子方法是必要的。direct 方法表现比 Deep BSDE 更稳定也不意外：它只输出低维控制，而 BSDE 要学习高维 Z，尤其 N 大时输出维度随粒子数增长，优化难度急剧上升。

有些结果可能主要来自 scaling / engineering。LQ 例子中提高 N 和时间步后控制轨迹更准，这本质上验证了粒子/离散化分辨率，而非神经网络学到了更深的结构。MFC 例子 direct 与 BSDE 一致是有价值的 sanity check，但由于没有解析解，也没有严格 MFC 收敛理论，只能说明两个数值 surrogate 互相吻合，不能完全证明其逼近原问题。金融例子更是 heuristic demonstration，理论假设不覆盖，增益来源不清。

Relation To Prior Work

这篇最接近三条线：经典部分观测控制的滤波/测度值 DPP，common-noise mean-field control 的粒子极限，以及 deep stochastic control / Deep BSDE。它的新意不在于单独发明这些组件，而在于把三者拼接成一个针对部分观测控制的可计算 pipeline。

相对于经典分离原理和无限维 HJB，本文的本质差异是放弃直接求解测度空间 PDE，转向粒子化的有限维全观测控制。相对于粒子滤波文献，区别在于这里是控制问题，粒子系统本身受 feedback policy 影响，目标是最优值收敛而不是单纯滤波误差。相对于 RNN/path-dependent control，本文提供了一个显式充分统计量近似，减少了网络从历史中隐式学习滤波器的负担。

看似新的 DeepSets/Deep BSDE 部分其实是已有思想的重组；实质创新更集中在 partial observation → reference probability → common-noise MFC particle approximation → symmetric control learning 这条建模链路。特别是 Proposition/Theorem 层面的价值收敛是本文区别于纯 numerical deep control paper 的地方。

Dataset / Evaluation

评估覆盖面比较合理，但证明力分层明显。LQ benchmark 有解析解，能验证值函数与控制近似，是最可信的部分；不过该例本身违反有界系数、紧控制等理论假设，因此它验证的是数值鲁棒性而不是定理适用性。

非线性部分观测 MFC 例子用于展示扩展能力，direct 与 Deep BSDE 的一致性增强了可信度。但因为 MFC 扩展没有严格收敛证明，也没有外部 ground truth，这个实验只能说明算法内部一致，不能完全支撑“解决部分观测 MFC”的强 claim。

金融 liquidation 和 allocation 更像应用展示。它们体现框架能处理实际感兴趣的 drift uncertainty 问题，但都超出理论范围；allocation 甚至有 controlled common-noise volatility。这里没有真实市场回测，也没有和专门金融数值方法的系统比较，因此不能解读为真实世界部署能力验证。整体 evaluation 支持“这个粒子+对称网络框架可用”，但不足以证明它在复杂真实场景中稳定优于已有方法。

Limitation

最大限制是理论假设与实验应用之间有明显落差。定理要求 compact control、bounded coefficients、σ0 和 h 不受控制、成本有适当连续性；这些条件在金融模型、LQ 模型和部分 MFC 实验中经常被破坏。因此论文的严格保证覆盖的是一个相对规整的子类，而最有说服力的应用场景仍是 heuristic。

第二个限制是维度问题只是被重构，不是被消除。N 粒子状态维度是 N(d+1)，DeepSets 缓解了参数爆炸，但计算量、Monte Carlo 方差、weight degeneracy 和高维 Z 学习仍随 N 增长。特别是 Deep BSDE 在大 N 下表现变差，说明对称结构不足以解决所有高维困难。

第三，likelihood weight 的稳定性没有被充分讨论。长时间、强观测漂移或高维观测下，权重退化会非常严重；文中用指数离散保证正性，但这不等于解决 degeneracy。是否需要 resampling、normalization trick 或 Feynman–Kac particle filter 的稳定化机制，文中未充分说明。

第四，MFC 扩展目前缺少理论闭环。作者给出了自然粒子化方案，但明确没有 convergence result。这里的数值成功可能依赖特定例子的良性结构和网络/训练设置，泛化到一般 partially observed McKean–Vlasov control 仍不清楚。

第五，神经网络优化误差没有进入理论。最终算法的误差来自粒子近似、时间离散、函数逼近、随机优化和 Monte Carlo 估计；定理只覆盖前两类。实际性能很可能受训练 recipe 和 scaling 影响，增益归因不清。

Takeaway

• 1. 最值得记住的是建模变换：partial observation 可以通过 reference probability 被组织成 common-noise-adapted control，再用加权粒子云近似滤波状态。
• 这比直接在 history 上学习控制更结构化。
• 2. 对称性是粒子控制问题的核心 inductive bias。
• 只要状态是经验分布/粒子云，DeepSets 或更强的 permutation-equivariant 架构不是可选项，而是可扩展性的基础。

一句话总结

这篇论文把连续时间部分观测随机控制从无限维滤波状态问题重写为带似然权重的可交换粒子控制问题，并用对称深度网络求解，是一条将经典滤波分离、common-noise MFC 极限理论和 deep stochastic control 结合起来的结构化数值路线。