精读笔记

Problem Setting

这篇论文瞄准的是 imitation / VLA policy 在真实部署时的一个经常被忽略的断层：policy 输出的是 action reference，但机器人真正执行的是经低层 controller、servo dynamics、IK、摩擦、阻尼、内部增益共同过滤后的轨迹。对于粗粒度任务，这个 gap 可能被容忍；对 peg insertion 这类毫米级容差任务，几十 mrad 或几 mm 的偏差足以改变接触时机和几何对齐。

真正困难在于这里的对象通常是双黑箱：policy 可能是预训练/封装好的，不能重训 action representation；controller 可能是商业机器人内部闭源伺服，不能改增益、不能接 torque、不能读完整模型。因此问题不是“如何训练更强 policy”，也不是“如何设计更好 controller”，而是在 policy 与 controller 都不可侵入时，能否在二者之间插入一个执行层，使原始 policy intention 被更忠实地实现。

以前方法卡住的地方在于它们默认某一侧可改：trajectory/action-space 方法要求改 policy 输出和训练数据；residual learning 需要额外 rollout 或训练；test-time action smoothing 主要修 chunking/discontinuity，仍隐含假设 low-level tracking 是可靠的。APEX 的关键矛盾是：高层策略输出的信息不足以直接驱动精确执行，但低层控制器又不可访问；唯一可用信号只剩 policy reference 与实时执行状态之间的误差。

Motivation

作者最重要的动机不是“动作要更平滑”，而是：在 expert replay 中，即使 policy prediction error 被完全移除，低层 controller 的不精确执行仍会造成失败。这一点把 failure attribution 从纯 policy learning 拉回到 execution stack。对于当前很多 visuomotor/VLA 工作，这其实是一个刺痛点：大家大量比较 policy architecture，却默认 action 一旦输出就能被机器人实现。

已有路线不够，是因为它们主要在 policy side 处理 reference quality：更好的 chunking、更连续的 spline、更低 jerk 的 post optimization、更稳定的 decoding。这些方法解决的是“policy 输出像不像一条合理轨迹”，而不是“机器人实际有没有跟上这条轨迹”。在封闭控制器上，这两个问题不是一回事。

APEX 的核心缺口判断是：需要一个 fast, local, feedback-driven execution adapter。它不重新规划任务，不理解语言，不改变高层意图，只负责把高层 reference 转换成低层 controller 更可能实现的 command。这个动机很控制论，也很实用：把慢速认知/策略与快速传感反馈分层，而不是让 policy 承担所有执行误差。

Core Idea

APEX 的核心思想是把 policy output 从“直接发给机器人执行的命令”降级为“希望真实轨迹跟踪的目标”，然后在中间层生成另一个 corrected command 发给低层 controller。也就是说，它不要求 a_r = a_pi，而是要求执行 a_r 后得到的真实 a 尽量等于 a_pi。这是建模方式上的关键变化：优化对象从 command fidelity 变成 realized trajectory fidelity。

理论直觉来自 PD tracking：如果目标轨迹有速度、加速度，而 controller 只收到位置目标，那么没有 feedforward 的 PD 必然产生滞后和稳态/动态误差。若已知惯量和 PD 增益，可以解析写出需要给 reference 加上的速度、加速度补偿项；若未知，就用在线 tracking error 自适应估计这些补偿系数。APEX 本质上是在 policy-controller interface 做 inverse closed-loop compensation。

和 prior 的本质区别在于它引入了 execution feedback 作为一等公民。test-time smoothing 只看 policy action stream 的形状，APEX 看 action stream 与实际 robot state 的偏差；residual policy 学的是 task-level residual，APEX 学的是 execution-level residual；改 action representation 是训练时设计，APEX 是部署时适配。这使它更 scalable 到预训练 VLA 和商业机器人，因为它不要求重新采数据或打开控制器。

Method

APEX 的方法不应理解为几个模块的拼接，而应理解为一个闭环 reference transformer。

第一层机制是动态可行化。policy 输出往往是离散位置、joint target 或 end-effector delta，缺少低层 tracking 所需要的 velocity/acceleration 信息。APEX 用 passive filter 或实现中的有限差分构造平滑参考及导数。它解决的是 policy reference 与物理可执行轨迹之间的阶次不匹配；带来的变化是 controller 不再只看到裸的位置跳变，而看到隐含了动态补偿的 reference。

第二层机制是前馈/反馈补偿。由简化单关节模型可知，要让真实轨迹跟踪目标，输入 command 应包含目标加速度项、目标速度项和位置误差项。这里的核心不是公式本身，而是把 controller lag 视为可被 command pre-distortion 抵消的系统性偏差。APEX 发送给控制器的是被“预补偿”的 a_r，而不是 policy 的原始 a_pi。

第三层机制是在线自适应。商业机器人内部 Kp、Kd、惯量、摩擦等通常不可知，且不同 simulator/controller setting 会变。APEX 不做离线系统辨识，而是让补偿系数由 sliding error 驱动在线更新。这种 adaptation 的目标不是估计真实物理参数，而是直接降低闭环 tracking error；因此它更像 control-oriented test-time compute。

理论上，作者给出固定目标下的 boundedness 和 residual convergence。需要注意：真实 policy 输出是时变序列，论文也承认理论只能 interval-wise 解释。这个理论更像稳定性 sanity check，而不是对完整 learned-policy rollout 的严格保证。

Key Insight / Why It Works

这篇最值得记住的 insight 是：很多 manipulation failure 并不是 policy intention 错了，而是 intention 没有被机器人忠实实现。APEX 有效的主要原因，是它把 feedback loop 放在了正确的时间尺度和接口位置上。policy inference 慢、语义重、难以频繁重规划；low-level controller 快但封闭且缺少高阶参考；中间 adapter 正好用实时状态误差做局部修正，填补二者之间的 bandwidth 和 information mismatch。

最核心贡献很可能是 execution-side attribution + adaptive command pre-compensation，而不是 passive filter 本身。滤波/差分只是为了获得可用导数和减少 reference discontinuity，属于必要辅助；真正带来增益的是基于 tracking error 的闭环自适应补偿，尤其是在 controller gains mismatch 或摩擦/惯量变化时。它本质上不是 scaling，不是 retrieval，不是数据覆盖，也不是更强 representation；它是一个 better inductive bias：把低层执行误差视为可在线控制补偿的动态系统误差。

也要直接说，部分收益可能来自很简单的机制：position-error amplification、velocity damping correction、acceleration feedforward 这些经典 servo compensation。如果把它放在控制领域，并不新；新意在于把这些机制包装成可插入 learned policy/VLA 部署栈的 black-box adapter，并用现代 manipulation benchmark 证明该 gap 真实存在。

文中 fixed correction ablation 说明 adaptation 比单一固定系数更好，但增益归因仍不完全干净。实现版 Eq.33 和理论版 Eq.7/8 不完全一致，且 correction clipping、有限差分、滑动变量 bandwidth 这些工程选择可能对稳定性和收益很关键。这里存在一定 engineering 成分。不过这不削弱核心 insight：当前 robot learning pipeline 中，policy-controller interface 是一个低成本但高杠杆的改进点。

Relation To Prior Work

APEX 最接近三条线：adaptive control / closed-architecture robot control、residual correction、test-time action refinement。它的理论骨架明显来自经典 adaptive control，尤其是 unknown dynamics 下用 Lyapunov 设计自适应律；这部分不是新理论。它与 residual RL 的相似处在于都在 base behavior 上加 correction，但 APEX 的 residual 不是通过任务 reward 或数据学习，而是由 tracking error 即时更新，目标也不是提升策略能力，而是让执行更忠实。

和 action representation 改造相比，APEX 不要求 policy 输出 spline、velocity 或 torque，也不改变训练集 action space。这对 VLA 很关键，因为大模型的 action interface 通常被数据集和预训练 pipeline 固定，重新训练成本很高。APEX 的新增信息不是更多 demonstration，而是 deployment-time proprioceptive feedback。

和 test-time chunk refinement 相比，本质差异是误差源不同。chunk refinement 假设 action stream 本身有 temporal artifact；APEX 假设即使 action stream 合理，执行 stack 也可能扭曲它。前者是 policy-side post-processing，后者是 controller-aware execution adaptation。

所以这篇应归入“learning policy + classical control interface repair”的技术谱系。实质创新不是某个滤波器或 adaptive law，而是把 closed-architecture adaptive control 重新定位为 pretrained visuomotor/VLA policy 的 plug-and-play execution layer。

Dataset / Evaluation

实验设计最强的一点是 expert replay benchmark。它把 policy error 去掉，直接问低层 controller 是否能执行专家轨迹；结果显示不能稳定执行，这很好地支撑了论文提出的 execution gap。这个实验比单纯报告 policy success gain 更有诊断价值。

跨 policy 的覆盖也比较合理：ACT、diffusion policy、flow matching、π0.5，覆盖 deterministic/action chunking、generative visuomotor 和 VLA；跨 ManiSkill、LIBERO 和 UR5，说明不是单一 simulator artifact。尤其 π0.5 通过 end-effector delta + IK 后仍有收益，支持了方法不局限于 joint-position policy。

但 evaluation 也有明显边界。真机规模小，每个 task-policy 试验数量有限，且结果并非单调提升：PushBox/FM、PegInsertion/DP 等有退化。这说明 APEX 更适合 execution error 主导的任务，而不是所有 manipulation。benchmark 主要验证“tracking error 可降低并可转化为成功率提升”，但没有充分拆分 policy error、IK error、contact dynamics error 与 controller error 的相对贡献。

另外，APEX 的优势在 controller mismatch 和精密任务中最明显，这既是合理定位，也意味着它可能在高质量低层控制器、低精度任务或策略错误主导任务上收益有限。论文 claim 基本被支持，但泛化到任意商用机器人、任意控制接口、任意 VLA deployment 仍没有被完全证明。

Limitation

最根本的前提是：原始 policy intention 大体正确，只是执行不准。如果 policy 选错物体、语言理解错、contact sequence 错、长时序策略漂移，APEX 无法修。它修的是 tracking，不是 reasoning/planning。因此不能把成功率提升解读为 policy intelligence 提升。

第二个前提是低层系统可由 reference compensation 局部修正。若控制器有强 saturation、未知安全滤波、非线性限速、接触冲击、通信延迟，或者内部 servo 对外部命令做复杂重规划，简单的 error-driven compensation 可能失效甚至引入振荡。文中理论基于单通道 perturbed PD 和固定目标，和真实多关节耦合、IK、接触-rich execution 之间存在距离。

第三，增益调节是实际上限。论文承认 adaptation gains 需要手调；这不是小问题。APEX 作为 plug-and-play layer 的价值取决于能否少调参地部署到新机器人和新任务。否则它可能从“不改 policy/controller”转变为“需要调一个新的中间控制器”。

第四，理论与实现不完全一致。主文为了稳定性使用 passive filter 和自适应律，appendix 实际实验用有限差分、bounded coefficients、clipping。文中未充分说明这些工程改动对性能和稳定性的贡献。某些收益可能主要来自工程上合适的 clipping 与 error feedback，而非完整 adaptive-control 结构。

第五，泛化不是无限的。结果显示在部分真实任务上有负增益，说明当 tracking correction 与 task semantics 或 contact timing 不一致时，APEX 可能把 policy 原本可接受的动作推离成功区域。它把问题从 policy/controller 修改转移到 interface adaptation，并没有消灭部署调试成本。

Takeaway

• 1. Robot learning 评估中应显式测量 policy-commanded trajectory 与 realized trajectory 的 gap；只看 success rate 会把 policy error 和 execution error 混在一起。
• 2. 对 pretrained VLA/visuomotor policy，最可迁移的改进不一定是重训大模型，而可能是在 policy-controller interface 加一个轻量闭环执行层。
• 这对 closed-source robot platform 尤其现实。
• 3. 经典 adaptive control 在现代 robot learning stack 中仍有空间：不是作为替代 policy 的 controller，而是作为 deployment-time adapter，补偿 policy 不建模、controller 不暴露的动态误差。

一句话总结

APEX 是把经典自适应执行补偿插入到 learned policy 与封闭低层控制器之间的 plug-and-play interface repair 方法，它真正贡献的是把 manipulation failure 的一部分从 policy learning 重新归因到 execution gap，并证明用 test-time feedback 可低成本回收这部分性能。