精读笔记

Problem Setting

[Direct Data-Driven Approximate Optimal Control of Nonlinear Input-Affine Systems]（arXiv preprint / 2026）关注的是连续时间未知非线性 input-affine 系统 \dot x=f(x)+g(x)u 的无限时域近似最优控制。它不是在做普通 data-driven stabilization，也不是在学一个黑盒 policy，而是在问：如果 f,g 未知，但属于已知基函数库张成的类，能否直接从数据构造一个带局部稳定和性能保证的反馈控制器，并绕开 HJB PDE。真正困难点是三者之间的张力：非线性最优控制需要 HJB；HJB 需要模型；直接数据方法通常只能给闭环稳定性，很难给最优性解释。本文的关键矛盾是：想保留 HJB-style performance certificate，但又不显式建模未知动力学。

Motivation

已有路线缺的是一个能同时处理“未知非线性动力学”和“无限时域性能保证”的构造性框架。LTI 的 Willems/Fundamental Lemma 路线给了直接数据表示，但非线性扩展通常强依赖 polynomial/SOS、常输入矩阵或仅做稳定化；model-based algebraic P solutions 能把 HJB 转成代数条件，但默认知道 F(x),g(x)。作者的核心观察是：algebraic P 框架真正需要的不是完整模型，而是闭环向量场 F(x)+g(x)H(x) 在 Lyapunov/HJB 不等式中的作用；如果这个闭环量可以被数据矩阵表示，那么 model-based 证明几乎可以整体移植。缺口正是“面向 algebraic P solution 的 nonlinear data-driven closed-loop representation”。

Core Idea

论文的核心思想可以概括为：用数据表示闭环动力学，用动态扩展表示近似 HJB 解。它先把未知 f,g 写成已知 basis 上的线性组合，通过采样数据构造 X_+= [\tilde F\ G][Z;U]。在 rank 条件下，对某个静态反馈 H(x)，闭环矩阵 F(x)+g(x)H(x) 可以写成 X_+\tilde G(x)，而 H(x) 本身由 Ξ(x)^†U\tilde G(x) 给出。这样一来，所有 model-based algebraic P 条件中的未知动力学项都可以替换为数据项。随后引入 ξ 动态扩展和结构化 V(x,ξ)，把静态代数 P 条件提升为动态反馈控制器。这个 inductive bias 很强：value/Lyapunov 函数不是任意学习出来的，而是被限制在 P(ξ) 与 x-ξ penalty 组成的特定形状中；控制器也不是自由 policy，而是由数据闭环表示和 P 的逆共同决定。和 prior 的本质区别在于，它没有先辨识模型再求控制，也没有用 rollout 优化策略，而是把“模型出现的位置”局部替换成数据矩阵，并保留 algebraic certificate。

Method

方法的必要机制如下。第一，basis-based data representation 解决“未知动力学如何进入控制证明”的问题。Assumption 4 要求 f,g 可由已知库精确展开，这使得数据方程 X_+=\tilde FZ+GU 成立；rank 条件保证任何需要的闭环组合可以由采样列空间重构。核心变化是从辨识 \tilde F,G 转为直接使用 X_+。第二，变量替换 Y(x)=\tilde G(x)\tilde P(x) 解决控制设计中的双线性问题。原本 P(x)(F+gH)+(F+gH)^TP(x)<0 同时含 P 和 H，通过 congruence transform 与 Y 变成 X_+Y+Y^TX_+^T<0，并用 Z(x)\tilde P(x)=ZY(x) 保证表示一致。第三，动态扩展 ξ 解决 HJB/PDE 不可解的问题。控制器不是简单 H(x)x，而是作用在 V_x=P(ξ)x+R(x-ξ) 上，ξ 以 -κV_ξ 方式快速收敛；这个结构让扩展系统中缺失的负定性可以通过大 κ 补上。第四，最优控制条件通过 Schur complement 风格矩阵不等式编码 C^TC+H^TH+P(F+gH)+(F+gH)^TP<0，从而构造一个 Υ>0，使 HJB residual 对 augmented cost 恰好闭合。这里的“最优”是对扩展问题成立，而非原始问题无损成立。

Key Insight / Why It Works

最关键的 insight 是：algebraic P solution 的证明只需要一个可验证的闭环耗散不等式，而不需要完整显式模型。因此，只要数据表示能让 F+gH 在该不等式中被精确替换，整个 model-based stability/performance 证书就能被数据化。换句话说，本文有效不是因为数据中学到了更好的策略，而是因为把控制器参数化得足够受限，使得数据列空间可以直接生成满足证书的闭环向量场。最可能的核心贡献是 Lemma 1 与 Theorem 1 的组合：前者提供适配 general state-dependent input map g(x) 的数据闭环表示，后者把它嵌入 algebraic P/HJB residual 条件。动态扩展 ξ 和大 κ 的角色更像是 certificate repair mechanism：当静态 ansatz 难以直接满足 HJB 时，用额外状态和强收缩方向把 residual 变成可吸收的 Υ。这不是 scaling，也不是 retrieval，更不是泛化意义上的 learning；它是强先验下的 representation alignment。方法的能力主要来自三类覆盖：basis 覆盖真实动力学、数据覆盖所需列空间、P/Y 函数类覆盖可行 certificate。若这三者满足，理论很干净；若任一失败，方法没有明显自恢复机制。文中对 κ 的实际来源和保守性说明不足，增益来源不清；实验中 noisy derivative 仍稳定更像 Lyapunov 构造带来的局部鲁棒性，而不是已解决噪声数据控制问题。

Relation To Prior Work

这篇属于 nonlinear direct data-driven control 与 algebraic approximate optimal control 的交叉谱系。和 De Persis-Tesi 式 LTI data-driven control 的关系在于都用数据列空间表示闭环，但本文需要已知 nonlinear basis，并处理 state-dependent g(x)。和 Guo 等 polynomial/SOS 稳定化工作的关系更近：都把未知 polynomial dynamics 通过数据矩阵和 SOS/LMI 条件消掉；不同在于本文的目标不是单纯稳定化，而是借 Sassano-Astolfi 的 algebraic P framework 给 augmented optimal control 的解释。和 model-based algebraic P solutions 相比，真正新增的信息是把其中的 F,g,H 组合替换为数据可计算对象；理论骨架基本继承自已有工作。看似新的动态反馈构造其实主要是 Sassano et al. 的已有思想迁移；实质创新在于为 unknown input-affine systems 建立了一个能兼容该框架的数据表示，尤其是对非恒定 input map 的处理。它不是一条 end-to-end learning 路线，而是 certificate-preserving data substitution。

Dataset / Evaluation

evaluation 非常轻量：一个 controlled Van der Pol oscillator，二维、已知可由低阶单项式库表示、且存在解析最优控制作参照。这个例子适合展示机制是否闭合，但不能验证论文更宽泛的 claim，例如高维可扩展性、复杂 nonlinear library、state-dependent g(x) 的实际困难、噪声鲁棒性或真实 deployment。数据量极小且系统结构高度匹配 basis，因此结果主要说明在理想可实现条件下方法能工作。有限差分导数导致 cost 变差但仍稳定，只能作为 anecdotal robustness；它没有替代严格 noisy data analysis。没有跨系统、多任务、真实物理实验，也没有和 identification-then-control、ADP/RL、Koopman、SOS robust data-driven 方法做系统比较。因此实验支持“proof-of-concept”，不支持“scalable direct data-driven optimal control”。

Limitation

最核心限制是问题被强先验重塑了。首先，Assumption 4 要求 f,g 的 basis library 已知且精确，这在未知非线性系统中接近半模型知识；所谓不辨识动力学，并不意味着不需要动力学结构。其次，方法需要 \dot x 数据，实践中导数估计通常是噪声放大器，文中未给出严格处理。第三，rank 条件和函数矩阵不等式在高维/高阶 basis 下会迅速变重，scalability 上限大概率由 SOS/semialgebraic feasibility 决定，而不是数据量。第四，保证是局部的，region of attraction 依赖 P,R,κ 和可行解，文中没有给可操作的区域估计。第五，最优性是对 augmented cost \tilde J 的精确最优，原始 cost 的近似误差由 Υ 和 ξ 初始化控制，但其定量可控性在 data-driven 版本中没有充分展开。第六，κ 足够大这一点理论上方便，但实际可能带来 stiffness、输入尖峰或噪声敏感；增益来源不清。最后，方法没有真正解决 basis mismatch、finite sample uncertainty、measurement noise、actuator constraints 等 deployment 问题；它更多是把 HJB 难题转移成了“找一个满足数据代数不等式的 P/Y”的问题。

Takeaway

• 最值得记住的有三点。
• 第一，direct data-driven optimal control 不一定要走 RL/ADP 路线；如果已有强 certificate framework，可以把模型出现的位置替换成数据表示，从而保留解析保证。
• 第二，动态扩展在这里的价值不是增加表达能力本身，而是提供一个吸收 HJB residual 的结构化自由度，使近似最优性可由代数不等式证书化。
• 第三，这类方法未来真正的瓶颈不是理论闭合，而是 basis selection、noise-aware representation、可计算性和 region/cost 误差量化。

一句话总结

这篇论文是把 nonlinear direct data-driven closed-loop representation 嵌入 Sassano-Astolfi algebraic P solutions 的一次干净迁移，真正贡献在于用数据替代 HJB 证书中的模型项，但其能力主要建立在精确 basis、无噪声导数和局部代数可行性这些强前提上。