精读笔记

Problem Setting

这篇论文不是在做一般意义上的强化学习控制，而是在解决一个更具体的 adaptive sim-to-real 问题：已知一个相对可靠的四旋翼 nominal dynamics，但部署时存在未知外力残差，这个残差可能随状态、控制和时间非平稳变化。目标不是在线重新学策略，而是让离线策略在测试时通过快速更新环境表征来适配。

真正困难点在于扰动不是一个静态低维参数。载荷、地效、风、气动残差都可以表现为状态/动作相关函数，而且可能切换。只估计当前三维扰动力会丢掉函数结构；用固定 basis 的 adaptive control 又容易 basis mismatch；用神经 encoder 则把适配能力锁死在训练分布里。关键矛盾是：表征越强，在线估计越慢越不稳定；表征越简单，sim-to-real gap 又覆盖不了。

Motivation

作者的动机可以概括为：现有方法缺的是一个“既可离线随机化训练、又可在线反演更新”的环境参数化。Domain randomization/RMA 给了策略条件化能力，但环境 embedding 往往是黑盒、固定、数据驱动，部署时缺少真正可优化的结构；经典 adaptive control 有可优化结构，但 basis 太硬。

核心观察是 bandwidth 不是一个无关紧要的 kernel 超参数，而是扰动函数空间本身的尺度选择。固定 bandwidth 等价于事先承诺了扰动的平滑性/频率范围；面对非平稳扰动，这个承诺很容易错。因此，把 bandwidth 也变成在线估计量，是本文区别于普通 RFF residual learning 的关键缺口填补。

Core Idea

论文的核心思想是把“环境”从一个黑盒 latent vector 改写成一个可微的 kernel disturbance model。RFF 提供有限维随机 basis，coefficients 描述扰动在这些 basis 上的组合，bandwidth 控制 basis 的尺度。策略不是直接从历史中隐式猜环境，而是显式接收当前估计的扰动函数参数，并学习如何基于这些参数调整控制。

这个建模方式的本质变化在于：它把 test-time adaptation 从 neural encoder inference 变成了 model residual fitting。这样做引入了一个很强但合理的 inductive bias：扰动是一个相对平滑、可由 kernel family 近似的函数。这个 bias 比直接三维扰动力估计更有记忆性，比 RMA 的 history encoder 更可控，也比固定 basis adaptive control 更灵活。

Method

方法层面最值得保留的机制有三点。

第一，RFF disturbance representation 解决的是扰动函数如何被低维在线表示的问题。它不是追求神经网络最大表达力，而是用随机特征换取可微、低维、在线可估计。这里的关键变化是把复杂扰动压成 coefficients + bandwidth，使其既能参与仿真反传，也能在硬件上每步更新。

第二，离线策略训练解决的是 policy 如何利用这种环境表征的问题。作者随机采样 coefficients 和 bandwidth 生成扰动族，训练策略在这些参数条件下跟踪轨迹。这里类似 domain randomization，但随机化对象不是物理常数或黑盒 latent，而是一个函数空间参数化。因此策略学到的是对扰动模型参数的条件响应。

第三，在线 least-squares/gradient update 解决的是部署时如何获得环境表征的问题。通过 nominal model residual 计算当前扰动样本，再更新 RFF 参数。重要的是同时更新 bandwidth 和 coefficients：前者改变 basis，后者改变组合。只更新 coefficients 本质上仍是固定 basis adaptive control。

Key Insight / Why It Works

最可能真正有效的部分是“结构化 test-time adaptation”，不是 BPTT 训练快，也不是 MLP 架构。RFF 提供了一个介于固定物理参数和黑盒 neural latent 之间的环境表征：足够线性化、可在线估计，又比三维扰动力有函数记忆。对四旋翼这类动力学较清楚、残差主要表现为外力扰动的系统，这个假设很合适。

Bandwidth 更新是本文最有价值的 insight。固定 RFF coefficients learning 只能在一个预先选定的 RKHS 近似空间里投影扰动；更新 bandwidth 则相当于在线调整扰动的平滑尺度/频率偏置。这解释了为什么在 switching、quadratic-phase、地效这类尺度变化明显的扰动下会优于固定 RFF。它不是简单增加参数量，而是改变了 basis family。

BPTT/differentiable simulation 的作用更像工程加速器：它让策略训练非常快，并且避免 PPO 这类采样式 RL 的高方差。但从方法本质看，训练快不是主要科学贡献；如果换成其他高效策略优化，只要策略能学会利用 RFF 参数，核心机制仍成立。

需要警惕的是，性能提升也可能部分来自 data coverage 和 representation alignment：离线训练时直接随机化同一类 RFF 参数，在线又估计同一类参数，再喂给策略，这形成了训练-测试表征对齐。它确实合理，但也意味着泛化主要发生在这个 kernel 参数空间内部，而不是对任意未知扰动的开放泛化。

Relation To Prior Work

最接近的谱系有三条：经典 adaptive control 的 basis-function residual compensation，RMA/DATT 类 domain-adaptive policy，以及 RFF residual learning + MPC。本文基本是把这三条线重组到一个统一闭环里：用 kernel basis 取代固定手工 basis，用在线 residual fitting 取代冻结 encoder，用 learned policy 取代纯 MPC rollout。

和 DATT/RMA 的本质差异是，环境表征不是由历史 encoder 一次性预测的黑盒 latent，而是一个可在线优化的函数模型参数。和 L1 adaptive 的差异是，它不只是估计当前扰动力，而试图估计扰动作为状态/动作函数的局部结构。和 MPC(RFF) 的差异是，本文把 RFF 参数输入给离线训练好的策略，并且更新 bandwidth；MPC(RFF)更像在固定 kernel 下做 residual model augmentation。

看似新的部分中，RFF、domain randomization、BPTT、online gradient update 都不是新思想；实质创新在于把 bandwidth 也纳入在线环境识别，并让策略在离线阶段见过这种可变 basis 的扰动族，从而形成可部署的 adaptive policy interface。

Dataset / Evaluation

评估覆盖面相对扎实：有高保真仿真，也有 Crazyflie 真机；扰动不只包含静态偏置，还包含气动、切换、风、地效和悬挂载荷。对本文 claim 来说，真机实验很重要，因为方法强调在线实时适配而不是纯仿真 benchmark。

实验确实支持“同时更新 bandwidth 和 coefficients 有用”这一核心论点，尤其 ablation 显示无在线更新会大幅退化，只更新 coefficients 通常不如完整方法。不过 evaluation 仍有边界：轨迹类型较集中，系统是小型四旋翼，扰动仍可被外力残差模型吸收；没有展示强 OOD kernel 参数、极端快速切换或严重模型误差下的行为。baseline 是否完全调到最优也文中未充分说明，特别是 MPC 与学习策略在算力、延迟、动作平滑性上的比较可能不完全等价。

Limitation

最大隐含前提是扰动属于所选 kernel family 的可近似范围，并且在线估计出的参数仍落在策略训练覆盖的区域内。作者也承认没有处理 OOD coefficients/bandwidth。换言之，方法把未知环境泛化问题转化成了 kernel 参数空间覆盖问题；这比黑盒 latent 更可控，但没有消除分布外问题。

第二个前提是 nominal dynamics 足够好，残差可由状态转移误差可靠反推出。硬件中传感噪声、延迟、低层控制器未建模、执行器饱和都会污染 residual label。论文通过较小学习率避免激进更新，但这也说明在线估计和控制闭环之间存在稳定性风险。

第三，bandwidth + coefficients 的联合优化是非凸的，文中只借用了 online gradient descent 的直觉，没有给出非凸闭环稳定或 regret 保证。快速分布变化下可能出现 bursting；没有 persistent excitation 时，估计到的扰动函数可能只是闭环轨迹上的局部拟合，离开该轨迹就未必有效。

最后，增益归因不完全清晰。部分提升可能来自训练-测试表征完全对齐、BPTT 训练效率、动作更平滑、baseline tuning 差异，而不完全来自 kernel bandwidth adaptation 本身。Ablation 支持 bandwidth 有贡献，但还不足以完全隔离所有因素。

Takeaway

• 1. 对机器人自适应控制来说，一个好的环境表征不应只是 low-dimensional latent，而应尽量是 test-time 可优化、和物理残差对齐的结构化对象。
• 2. Kernel/RFF 在这里的价值不是“比神经网络表达力强”，而是提供了在线学习友好的 inductive bias：有限维、可微、可投影、可解释，并能和策略条件化自然连接。
• 3. Bandwidth adaptation 是值得迁移的 insight：很多 adaptive policy 只学 latent value，却不学 latent basis；让 basis 的尺度随部署环境变化，可能比单纯加大 encoder 更有效。
• 4. 未来真正值得做的是把这种结构化环境表征和稳定性/OOD 检测结合起来，否则它仍然是一个效果很好的 adaptive heuristic，而不是带强部署保证的控制方法。

一句话总结

这篇论文把四旋翼 domain-adaptive policy 从冻结 neural encoder 推向了可在线识别的 kernel residual representation，真正贡献在于用可学习 RFF coefficients 与 bandwidth 对齐离线扰动随机化和测试时自适应。