精读笔记
Problem Setting
A Data-Enabled Primal-Dual Approach for Policy Learning with SDP Formulations（arXiv preprint / 2026-07-02）
这篇论文处理的是未知线性离散系统的在线数据驱动控制：系统在闭环运行中持续产生数据，控制器需要随数据递归更新，并且目标不局限于 LQR，而是任何能写成 SDP/LMI 的线性控制综合问题。真正困难不是“如何从数据构造 SDP”，这在 direct/indirect data-driven control 里已有大量工具；困难在于每次新数据到来都会改变 SDP 系数，而这些数据又由当前策略、探索噪声和真实系统共同生成。
关键矛盾是：完整求解每个新 SDP 太贵、也不适合 warm-start；但只做轻量更新又必须保证不会偏离当前数据诱导的最优解太远，更不能破坏闭环可行性/稳定性。已有 batch data-driven LMI 方法解决的是固定数据集下的 synthesis，在线 policy-learning 方法则多依赖 LQR 的特殊结构。本文的目标是在“通用 SDP 控制规格”和“在线闭环数据”之间建立一个可递归运行的中间层。
Motivation
现有路线的不足很明确：data-driven SDP/LMI 方案表达力强，但通常是 batch；DeePO / policy-gradient adaptive LQR 能在线更新，但目标函数和更新公式强依赖 LQR。对于 H∞、安全约束、鲁棒控制这类 SDP-heavy 规格，手工推导稳定且高效的 policy gradient 并不自然。
作者的核心观察是：许多控制问题的共同结构不是某个特定 policy-gradient 公式，而是它们都可转化为 SDP。于是可以把“学习控制器”转化为“追踪数据诱导 SDP 的时间变化解”。这相当于把方法设计从 controller-space optimization 转移到 conic optimization tracking。缺口在于：普通 online optimization 的时间变化通常是外生的，而这里的 SDP drift 是闭环生成的，因此需要新的量来描述数据变化和噪声误差。
Core Idea
核心思想是：不要在控制器 K 上直接做在线优化，而是在 SDP decision variables 上运行 primal-dual tracking。每个时刻的数据矩阵更新 SDP 约束 F_i(D_t; z)，算法只做一轮或少量 ADMM-like 迭代，然后从当前 z_t 恢复 K_t。这样，策略更新被限制在 SDP 几何和 PSD cone 结构内，而不是无约束地在 controller space 中漂移。
这个建模改变很重要：prior LQR online learning 的 inductive bias 来自 LQR landscape；本文的 inductive bias 来自 SDP relaxation / reformulation 的 convex geometry。它牺牲了 LQR 专用方法的极致轻量性，换来目标规格的可迁移性。理论上可行的原因是，如果数据诱导 SDP 变化足够慢，且每个静态 SDP 在 KKT 点附近强正则，那么单步 primal-dual 迭代可以像 tracking filter 一样追踪移动最优点。
Method
方法保留三个必要机制即可理解。
第一，统一 SDP 表示。direct formulation 用数据协方差直接参数化闭环矩阵，indirect formulation 先做 OLS 估计再代入模型式 SDP。它解决的是“不同控制目标如何放入同一个在线优化接口”的问题。核心变化是把策略学习对象统一成 z，而不是 K。
第二，primal-dual / ADMM tracking。引入 slack S_i，把 F_i(D_t; z) ⪰ 0 写成 equality plus PSD indicator。z-update 是线性系统，S-update 是 PSD projection，dual update 是约束残差积分。它解决的是“每步不重求完整 SDP”的问题。核心变化是从 solver-based synthesis 变成 iterative optimizer tracking。
第三，DOS 和 SRG。DOS = ||A_{1,t}-A_{1,t-1}|| 描述 SDP 系数随新数据的漂移；SRG = ||A_{1,t}-A_{1,t}^{nl}|| 描述 noisy data SDP 与 noiseless data SDP 的差距。它们解决的是“在线优化误差如何和闭环数据质量连接”的问题。DOS 进入递归 tracking error，SRG 进入最终相对真实系统的偏差。
Key Insight / Why It Works
最核心的 insight 是：在线 data-driven control 的难点可以拆成两个误差源——optimization tracking error 和 data-induced modeling error。DOS 控制前者，SRG 控制后者。只要数据协方差更新导致 SDP 缓慢变化，ADMM 的局部收缩就能跟上移动 KKT 点；只要噪声平均掉，noisy SDP 和 noiseless SDP 的差距会下降。这个分解比泛泛说“更多数据带来更好控制器”更有价值。
真正有效的部分大概率是“time-varying SDP tracking”这个视角，而不是某个具体 primal-dual update。ADMM/PSD projection 都是成熟工具，创新在于把它们放进闭环 data-enabled SDP，并明确用 DOS/SRG 表达误差预算。局部线性定理本质上是静态 SDP-ADMM 局部线性收敛、KKT solution map Lipschitz、数据慢变化三者的组合。
哪些可能只是辅助：direct vs indirect 的统一框架更多是组织方式；实验中的 runtime gain 主要来自不反复调用 full SDP solver，是 engineering/scaling 上的合理收益。LQR 上优于 DeePO 的局部表现不应被过度解读，因为 DeePO 是专用轻量方法，且本文方法在 LQR 上反而更慢。真正的 claim 应该放在“能覆盖 SDP constraints beyond LQR”，不是“更强的 LQR learner”。
这不是 retrieval、memory reuse 或 latent representation 方法；它更接近 test-time compute / online optimization tracking。泛化也不是 ML 意义上的 distributional generalization，而是 control-specification generality：同一个 primal-dual skeleton 可迁移到不同 SDP 控制目标。
Relation To Prior Work
它最接近三条谱系的交叉：data-driven LMI/control synthesis、online/time-varying convex optimization、adaptive LQR policy learning。和 Willems fundamental lemma / direct data-driven LMI 的关系是：本文沿用数据参数化控制综合，但把固定数据集上的一次性求解改成在线递归追踪。和 DeePO / policy-gradient LQR 的关系是：都利用在线闭环数据改善策略，但 DeePO 利用 LQR landscape，本文利用 SDP cone geometry。
看似新的部分中，ADMM 求 SDP、PSD projection、direct/indirect data-driven formulation 都不是新思想；真正新增的信息是把 data-induced SDP drift 形式化为 DOS，把 noise/noiseless mismatch 形式化为 SRG，并把二者放进 tracking bound。这个贡献偏框架化和分析化，而不是提出一个全新优化算法。
本质差异是优化对象不同：prior online LQR 通常优化 controller 或 policy parameter；本文优化 SDP decision variables，并通过恢复映射得到 K。这使它更 general，但也更依赖 SDP 正则性和 cone projection 的规模。
Dataset / Evaluation
实验覆盖了 LQR、H∞ 和安全探索，任务选择基本对准论文 claim：不是证明 LQR 上最好，而是证明一个 SDP-based online update skeleton 能跨越不同控制规格。H∞ 和 safe exploration 是更关键的证据，因为这些任务体现了 SDP 约束表达力。
不过 evaluation 仍然偏 simulation，没有真实系统或硬件闭环验证。安全探索部分在高斯无界噪声下只能展示经验安全轨迹，不能构成强 safety guarantee。H∞ 高维实验支持 computational scaling claim，但对真实非线性系统、建模偏差、约束误差累积没有覆盖。
benchmark 没有明显 leakage 问题，但增益归因需要谨慎：runtime improvement 主要来自“少做 SDP solve”，不是 primal-dual 方法本身神奇；控制性能改善主要来自持续数据更新和逐渐降低的 SRG/DOS，而不是某种新的全局学习能力。
Limitation
最硬的限制是理论前提强。局部线性 tracking 要求 warm start 接近当前 KKT 点、DOS 足够小、SDP 满足 strict complementarity 和 primal-dual nondegeneracy，还要求数据保持 PE 和 rank nondegeneracy。这意味着理论主要解释“已经在好区域内时如何稳定追踪”，而不是解释“从差控制器如何安全进入好区域”。
闭环稳定性没有被真正纳入主定理闭环证明。文中提到可由 standard sequential stability arguments 处理，但这里正是自适应控制最敏感的部分：控制器更新、探索噪声、数据协方差、状态有界性彼此循环依赖。文中未充分说明这个循环如何在一般 SDP 规格下闭合。
scalability 上限也清楚：每步虽然避免 full SDP solve，但仍要做 PSD cone projection，cone size 大时 eigen-decomposition 会成为瓶颈。对于大规模系统或复杂安全约束，方法不一定比结构化 first-order / low-rank SDP 方法更可扩展。
constraint tightening 的实用性存疑。理论上可用 ε 补偿 SRG/DOS 导致的约束违反，但常数 C_i、局部半径、SRG/DOS 上界在真实在线部署中未必可估。安全保证可能因此从“可操作设计”退化为“事后解释”。
Takeaway
- 最值得记住的不是算法步骤，而是建模转向：把在线数据驱动控制看成 time-varying conic program tracking，而不是为每个控制目标设计专门 policy optimizer。
- DOS/SRG 是可迁移的分析模板：任何 data-dependent optimization-in-the-loop 系统，都可以尝试把误差分成 problem drift 和 sim-to-real/noise mismatch。
- 这篇真正推动的是 SDP-formulated control objectives 的在线学习接口，而不是 LQR 最优学习速度。
- 未来更值得做的是闭环稳定性闭合、可计算 tightening、结构化 PSD projection，以及从线性系统扩展到带不确定性/非线性近似的场景。
一句话总结
这篇论文把 data-driven adaptive control 从 LQR 专用 policy learning 推向通用 SDP 规格的 online primal-dual tracking 框架，实质贡献是用 DOS/SRG 将闭环数据质量与时间变化优化误差连接起来。