精读笔记

Problem Setting

SPACE 针对的是 cross-robot imitation learning 中 action label 不可比的问题。现有大规模机器人数据集表面上可以合并，因为它们都有图像、语言、末端位姿等观测；但 policy 训练真正吃进去的监督信号是 action，而 action 通常是底层 controller 的输入命令，不是任务空间中的真实运动。困难点不在于“机器人长得不同”这个宏观事实，而在于同一个 task-relevant motion 在不同 controller、不同硬件磨损、不同 gain、不同负载下需要不同 command；因此把 recorded command 当作跨数据集共享标签，本质上是在把机器人动力学差异注入 BC 目标。以前方法常通过 embodiment-specific head、conditioning、latent action 或 fine-tuning 绕开问题，但没有消除 command 与机器人动力学绑定这一根因。关键矛盾是：scaling 需要共享数据，但 command supervision 恰恰是最不共享的部分。

Motivation

作者的核心动机很明确：如果 action command 是跨机器人数据中最脏的部分，就不应该继续让 policy 预测 command。已有 cross-embodiment VLA 路线通常默认 command 是可学习的多模态输出，只是在不同机器人之间加 head、prompt 或 latent bottleneck；这会让模型同时学习任务策略和机器人控制器差异，数据越大，action label 的混杂可能越严重。SPACE 的观察是 demo 里总能从连续状态恢复 achieved motion，而 achieved end-effector displacement 比 command 更接近任务语义，也更少依赖具体 controller。真正缺口是：observation-only / heterogeneous data 可以给出“应该移动到哪里”，但部署机器人仍然需要“该发什么命令”。SPACE 正是把这个缺口显式建模，而不是让 VLA 隐式吸收。

Core Idea

核心思想是把 action 从“控制输入”重新定义为“状态变化”。policy 不再模仿 u_t，而是模仿 Δp_t，即演示中末端执行器实际发生的几何位移。这样一来，跨机器人数据里的共同结构从 controller command 空间转移到 task-space motion 空间；policy 学的是 task-conditioned motion prior，而不是某个硬件上的 inverse dynamics。

这个建模改变引入了一个很强的 inductive bias：可泛化的是几何运动，不可泛化的是把几何运动实现为 command 的局部控制映射。于是信息流被拆成两段：大模型/BC 负责从视觉语言和状态预测 desired motion，小的 adaptive model 负责在目标机器人上执行该 motion。和 prior 的本质区别在于，它不是用更大的模型去平均多个 action convention，也不是通过 latent action 等待目标机器人 fine-tune，而是显式把 shared representation 和 robot-specific execution 分层。这使它更 scalable：新数据只要有 pose trajectory 就能进入训练，新机器人只需要短标定和在线适配。

Method

方法层面真正必要的机制只有三点。第一，Cartesian state delta policy 解决的是监督信号对齐问题：从每条轨迹中计算 p_{t+1}-p_t，让不同机器人、不同 teleop 方式、甚至无 command 的 UMI/kinesthetic 数据共享同一种 action label。它带来的核心变化是把 policy 的学习目标从 controller-dependent command 改成 controller-independent outcome。

第二，Action Adapter 解决的是执行落地问题：直接把 Δp 当 command 会 under-reach 或 over-reach，因为目标机器人 controller 未必精确跟踪。adapter 学的是目标机器人上 Δp 到 command 的局部逆映射；线性形式本身并不复杂，但它把 robot-specific dynamics 从 policy 中剥离出来。

第三，在线 LMS 更新解决的是 rollout 中 dynamics 非平稳问题：同一机器人在不同姿态、接近奇异位形、抓起重物或换 gain 后，离线标定的映射会失准。在线更新不是为了学习任务，而是为了持续校准 command-to-motion mismatch。消融显示离线初值和在线更新都重要，这说明贡献更接近 adaptive execution layer，而不只是换 action label。

Key Insight / Why It Works

最关键 insight 是：跨机器人 BC 失败很大一部分不是 policy architecture 不够强，而是 action label 本身语义不一致。把 command 当 label 会让同一个视觉状态下的“正确动作”随采集机器人而变；这对监督学习是 label noise，甚至是系统性错误标签。Cartesian state delta 把标签投影到 achieved motion 后，相当于做了 representation alignment，去掉了 controller/dynamics 这类 nuisance factor。

SPACE 有效主要来自 better inductive bias + test-time adaptive control，而不是 scaling 本身。π0.5 只是承载 policy 的 backbone；真正增益来自 action space 重新定义和执行端适配。DROID 实验尤其说明，多硬件数据中 command 的混合分布会污染学习，而 state delta 把这种混合压到较统一的几何运动空间。

Action Adapter 是比表面看起来更核心的部分。只预测 Δp 不够，因为机器人执行仍需要 command；如果没有 adapter，论文报告直接执行 state delta 甚至 0% 成功。也就是说，SPACE 不是单纯“用状态差作为 action”，而是“用状态差作为可共享 policy interface，再用在线系统辨识恢复机器人命令”。这本质上是把 imitation learning 和 low-level adaptive control 重新组合。

可能只是 engineering 的部分包括线性回归形式、随机标定轨迹、LMS 更新和具体超参数；这些不是概念创新，但在真机上决定方法是否可用。增益来源中，跨 embodiment 的部分可能同时受益于数据覆盖和 action 对齐，文中没有完全隔离；但 replay tracking 和 adapter ablation 已经比较强地支持 action mismatch 是主要因素之一。

Relation To Prior Work

SPACE 最接近三条路线：cross-embodiment VLA、learning from observations / state-only imitation，以及 faster-than-demonstration execution 中的 reached-state prediction。和 embodiment-specific head / conditioning 的区别是，SPACE 不把每个机器人差异塞进 policy 参数，而是将 policy action 定义在共享几何空间，再在部署端适配。和 latent action 方法的区别是，SPACE 的 action 不是不可解释 latent，而是可直接从轨迹恢复、可跨数据集计算的 physical quantity；因此不需要目标机器人 fine-tune policy 才能解释 latent。

和 BCO/SOIL 等 inverse dynamics labeling 的区别也很关键：那些方法通常用目标机器人的 inverse dynamics 给 observation-only demo 标 command，最终仍训练 command policy；SPACE 则让 policy 直接输出 state delta，把 inverse dynamics 留到 execution adapter。和 SAIL/RACE/UMI/FastUMI 的关系更微妙：state-delta / reached-state prediction 并不是全新思想，SPACE 的新增点在于把它系统化为 cross-robot data learning 的 action interface，并强调跨硬件、controller gain、payload shift 下的 adaptive command execution。实质创新不是某个模块，而是把“共享 action representation”和“目标机器人在线适配”连接成一个可部署范式。

Dataset / Evaluation

evaluation 设计基本围绕核心 claim 展开，而不是泛泛展示 VLA 能力。UR5→FR3 和 UMI→FR3 验证跨 embodiment / 无 command 数据能否被吸收；多 FR3 hardware 和 DROID marker subset 验证同 embodiment 内硬件差异是否足以破坏 command policy；频率、负载、gain shift 验证 adapter 是否真能处理部署时 dynamics drift。全是真机 FR3 部署，这比纯离线 benchmark 更有说服力。

但 evaluation 也有明显边界。任务主要是短程 pick/place、移动、扫布、marker/cup/box 等末端位移主导任务，不能证明在强接触、装配、工具使用、灵巧操作或需要力闭环的任务中同样成立。DROID 只过滤 marker 指令，虽然样本数大，但任务语义窄；它更像证明 multi-hardware command noise 的存在，而不是证明 generalist policy 的全面泛化。跨 embodiment 也主要落在 UR5/FR3/UMI 到 FR3 的部署方向，目标机器人仍有 Cartesian delta controller。整体上，实验很好支持“command 不是好共享标签”，但还不足以支持更宏大的“generalist policies across arbitrary robots”。

Limitation

核心前提是任务可以被 end-effector Cartesian displacement 充分表达。如果任务成功依赖接触力、阻抗、摩擦状态、抓取力或 object dynamics，而相同 Δp 可能对应完全不同的 force interaction，那么 state delta 会丢掉关键控制语义。作者也承认 force-aware manipulation 是未来方向，但这其实是方法上限，不是小扩展。

第二个限制是 adapter 假设目标机器人存在相对平滑、局部近似线性的 Δp→command 映射，并且可以通过短随机标定和 rollout 中的自监督误差更新。对非线性强、延迟大、饱和明显、控制模式不连续或安全约束严格的系统，这个假设可能不成立。线性 adapter 在 FR3 + Cartesian delta controller 上合理，但不代表能直接扩展到 joint torque、mobile manipulation、humanoid 或 dexterous hand。

第三，SPACE 没有消除 embodiment morphology 的高层差异。它对“末端执行器轨迹相似即可完成任务”的场景有效；如果不同机器人 gripper 形状、可达域、自由度、接触方式差异导致可行策略不同，统一 Δp label 可能会变成新的错误监督。泛化可能主要来自任务几何和数据分布重叠，而非真正学到 embodiment-agnostic manipulation reasoning。

第四，增益归因仍有未充分说明之处。性能提升来自 state-delta label alignment、adapter 的在线 test-time compute、额外 calibration data、还是更合适的执行频率/闭环反馈？消融说明 adapter 必要，但没有完全把这些因素拆开。部分结果尤其是 dynamics shift，更像 adaptive control 的收益，而不是 policy 本身泛化能力提升。

Takeaway

• 第一，cross-robot scaling 的瓶颈不只是视觉语言表征，而是 action supervision 的语义对齐；未来机器人 foundation model 可能需要把 action interface 设计放到和数据规模同等重要的位置。
• 第二，把 policy action 定义为 achieved outcome、把 robot-specific execution 交给轻量适配器，是一个可迁移的范式：在其他 embodied domains 中，也应区分 task-level intent 和 actuator-level command。
• 第三，SPACE 提醒我们不要让大模型隐式学习所有低层控制差异；很多所谓跨 embodiment 泛化问题，可能更适合用系统辨识/adaptive control 在部署端解决。
• 第四，下一步真正有价值的问题不是把 Δp policy 做得更大，而是扩展 action interface：把 force、contact mode、compliance、gripper interaction 纳入共享表示，同时保持可标定、可执行。

一句话总结

SPACE 是一篇把 cross-robot imitation learning 的核心瓶颈从模型容量转向 action semantics 的工作：它用 Cartesian state delta 对齐跨机器人监督信号，并用目标机器人自适应执行层补回 command 差异，属于 action representation alignment 与 test-time adaptive control 结合的演化路线。