精读笔记

Problem Setting

论文标题：AxisGuide: Grounding Robot Action Coordinate System in RGB Observations for Robust Visuomotor Manipulation（arXiv preprint / 2026）。

这篇论文解决的不是传统意义上的“机器人看懂场景”问题，而是 RGB observation 到 base-frame Cartesian action 之间的坐标语义对齐问题。当前主流 BC/VLA policy 的输入是像素，输出却是 robot base frame 下的相对 EEF displacement。模型要成功执行动作，必须知道动作向量里的 +x、+y、+z 在当前 camera view 中分别表现为哪个像素方向；这个知识通常没有显式监督，只能从 demonstrations 中隐式拟合。

真正困难点在于，这种映射不是固定 image pattern，而是依赖相机外参、EEF 位姿、wrist camera 运动、透视投影和 robot action convention。已有方法往往假设网络可以从大量数据中自动学到这层几何关系，但 BC 在空间分布 shift 下很容易学成位置-动作 lookup：训练时某个 object cluster 对应某类 action，测试时物体挪到 unseen location，模型仍朝训练分布里的常见方向移动。

关键矛盾是：policy 表面上拥有强语义视觉表征，但低层控制所需的是 action-coordinate semantics。语义理解可以告诉它“目标是碗/葡萄/锅盖”，却不能自动告诉它“为了让 gripper 在图像中朝目标移动，base-frame action 应该增加哪个维度”。这篇论文把这个缺口定义为 action understanding，而不是 perception failure。

Motivation

已有路线不够的原因是它们增强的大多是 scene understanding 或 task intent，而不是 action-frame grounding。比如 VLA 扩展语言和视觉预训练，Trajectory/Trace/Reticle 类方法提供目标轨迹、历史轨迹或 EEF-object 空间关系，camera conditioning 方法提供相机几何上下文；但这些信息仍没有直接把动作维度的语义画到图像中。

作者的核心观察相当具体：即使固定任务、固定物体、固定光照和相机，仅改变目标物位置，模型也会在 unseen locations 上明显退化。这说明失败不是因为不知道任务，也不一定是不认识物体，而是没有稳定地学会如何根据目标位置变化组合新的 base-frame displacement。

这也是为什么方法会走向显式几何 cue：如果 BC 难以从 pixel-action correlation 中恢复坐标变换，那就不要让网络从零学这个变换，而是把动作坐标系在每个 observation 中外显出来。缺的不是更多语义 token，而是一个能 anchor action semantics 的视觉参照系。

Core Idea

AxisGuide 的核心思想很简单但有效：把 robot base-frame 的三个平移轴投影到每个 RGB 视角中，并以额外通道形式输入给 policy。也就是说，模型看到的不再只是场景图像，还能看到“如果执行 +x/+y/+z，EEF 在这个视角里大致会朝哪里移动”。这把原本隐式的 robot-camera-action 三方关系变成显式可读的像素 cue。

它引入的 inductive bias 是几何坐标系对齐：动作维度不再是抽象数值 label，而被 grounded 到当前图像坐标中。相比 prior 的本质区别在于，AxisGuide 不只是告诉模型目标在哪里、相机在哪里或历史怎么走，而是告诉模型 action basis 在当前 observation 中的视觉含义。这个信息对多视角尤其重要，因为 front camera 中 action-image 对应相对稳定，而 wrist camera 中这种对应随 EEF 姿态持续变化。

从 scalability 看，这种方法比让模型通过数据覆盖所有相机/位置组合更经济，因为几何关系由 calibration 和 projection 直接给出，而不是靠 demonstrations 学出来。它不增加推理搜索，也不依赖更大模型；本质是把一个本应由系统几何提供的变量从 latent shortcut 中解耦出来。

Method

方法的关键机制不是网络结构，而是如何把 action coordinate system 变成 observation 的一部分。

第一，AxisGuide 用相机内外参和当前 EEF pose 计算 EEF 投影点，并把 base-frame 中沿 x/y/z 的小单位平移投影到图像上。它解决的是动作维度在像素空间中没有显式语义的问题。核心变化是：policy 不再需要自己从 RGB 中推断 robot base frame 和 camera projection 的关系。

第二，cue 被 anchor 在 EEF 位置，而不是画在图像某个固定位置。这个设计是机制上必要的，因为动作是从当前 gripper state 出发的局部增量；同一个 +x 在图像不同深度/位置处投影效果可能不同。EEF-aligned cue 给的是当前控制点的 action semantics，而不是全局装饰。

第三，cue 以额外三通道拼接到 RGB，而不是 overlay 到原图。这样做的核心意义不是实现细节，而是保持 perception channel 和 geometry cue channel 的解耦：RGB 继续承载外观和物体信息，AxisGuide channel 承载动作坐标信息。overlay 可能遮挡小物体或改变视觉分布。

第四，作者对 projected vectors 做方向归一化。这个选择表明他们真正想提供的是 coordinate direction，而不是把透视尺度、深度变化或相机距离也混入 cue。实验也显示归一化更好，说明主要有效信号大概率是方向语义而非长度。

Key Insight / Why It Works

最重要的 insight 是：很多 visuomotor policy 的空间泛化失败，不是因为缺少更强视觉语义，而是因为动作输出空间的 basis 没有被视觉 grounding。BC 学到的是 p(action | image)，但 action 的每个维度本身没有可见语义；如果没有显式 anchor，网络只能通过训练分布中的相关性去拟合这个 mapping。一旦物体位置或视角变了，相关性失效。

AxisGuide 有效的核心原因是 representation alignment。它把低层控制中最关键的 latent variable——当前 view 下 action basis 的方向——直接暴露给模型。这减少了 policy 需要学习的函数复杂度：从“根据图像同时推断目标、相机几何、动作坐标含义并输出动作”，变成“根据目标相对 EEF 的视觉关系和显式 action basis 选择动作组合”。这对数据效率和分布外位置泛化都有帮助。

最可能的核心贡献是 EEF-centric action-axis rendering，而不是简单增加输入通道。Ablation 也支持这一点：center cue 有效但弱，overlay 有效但不如 concat，未归一化也弱一些。说明真正起作用的是“在动作执行点附近显式提供坐标方向”，不是额外参数或视觉扰动。

这不是 scaling，也不是 retrieval，也不是更强 planner。它更像是把机器人系统中本来已知的 calibration/kinematics 作为 structured prior 注入 policy。换句话说，AxisGuide 是在纠正端到端 BC 过度让网络学习几何常识的问题。

需要注意的是，论文对 rotation action grounding 处理不足。现代动作通常是 6D pose delta，但方法实际可视化的是 +x/+y/+z 平移方向。对于 roll/pitch/yaw 的图像语义，文中没有同等强度的机制说明。因此它对 Flip Pot 等旋转任务的增益可能部分来自更好的 reaching / grasp alignment，而不是完整理解旋转坐标系。这里增益来源不完全清晰。

另一个判断是：novel object location 的成功并不必然证明模型形成了抽象几何推理。更保守地说，AxisGuide 提供了一个强 inductive bias，使得局部视觉 servoing 式的行为更容易被 BC 学到。所谓 action understanding 更像是显式坐标参照下的 representation alignment，而不是高层 reasoning。

Relation To Prior Work

AxisGuide 最接近的技术谱系是 observation augmentation / visual prompting for robot policies，包括 RT-Trajectory、TraceVLA、AimBot、HAMSTER，以及 camera conditioning 类方法 KYC。它们共同点是都不直接改 policy objective，而是通过额外输入改变 policy 可见的信息结构。

和 trajectory/trace/reticle 类方法的本质差异在于，后者通常编码 task intent、历史运动或 object-EEF spatial relation；AxisGuide 编码的是 action space basis 本身。前者回答“目标/路径/关系在哪里”，后者回答“动作维度在当前图像里是什么意思”。这是新增信息，不只是已有 cue 的重组。

和 KYC 这类 camera conditioning 的差异也很关键。KYC 给模型相机参数或 view context，让模型自己学如何使用；AxisGuide 直接把相机几何经过投影变成 image-space action cue。前者是条件变量，后者是已经计算好的几何中间表示。对于 BC，这通常比 raw calibration metadata 更容易利用。

从更大脉络看，这篇论文是对纯端到端 visuomotor learning 的一次“几何回注”。它没有否定大模型或 BC，而是指出某些低层几何结构不应该完全交给网络从数据中学。实质创新在于把 robot action coordinate system 当成需要视觉 grounding 的对象，并用极轻量方式注入。

Dataset / Evaluation

实验覆盖了 LIBERO simulation、真实 UR5e、单视角、多视角、DP 和 SmolVLA，任务包括 pick/place、drawer/stove、flip/close pot，以及多任务 LIBERO suites。这个覆盖面足以支持一个中等强度的 claim：显式 action-coordinate cue 可以稳定改善受控 manipulation setting 下的空间鲁棒性。

最能支撑论文核心 claim 的是 novel object position 实验，因为它有意压低语义、光照、相机等 confound，只测试物体位置变化下 policy 是否能调整动作。AxisGuide 在这里的提升说明 baseline 的确存在 image-action shortcut，而 cue 能缓解这种 shortcut。

多视角实验也比较关键，尤其 wrist camera 的 action-image correspondence 会随 EEF 运动变化；AxisGuide 在这里仍有增益，说明它不是只适用于固定 front camera 的静态坐标提示。

但 evaluation 仍有明显上限。第一，大多数实验仍是桌面、固定机器人、固定 action convention、有限物体和有限任务。第二，novel location 很多更像同一 workspace 内的空间插值/局部外推，不等价于跨环境泛化。第三，真实世界数据量较小，30 rollouts 级别只能说明趋势，无法严肃刻画长尾失败。第四，多任务 LIBERO 结果支持 scaling 到若干任务，但离大规模 DROID/Open X-Embodiment 式混合数据还很远。

总体看，实验验证了“坐标 cue 对当前 benchmark 有效”，但还没有完全验证“generalist visuomotor policy 在开放分布中获得可靠 action understanding”。

Limitation

最核心的前提是 calibration 和 kinematics 必须可用。AxisGuide 把原来由网络隐式学习的坐标映射，转移为由相机内外参、EEF pose 和 robot base frame 定义显式计算。如果这些元数据缺失、不一致或跨数据源定义混乱，方法的可扩展性会受到限制。文中 calibration perturbation 表明小误差下还稳，但这不等于能处理大规模 in-the-wild 数据里的系统性标定偏差。

第二，方法主要 grounding 平移动作轴，对旋转动作语义没有充分建模。论文把问题表述为 6D action understanding，但实际 cue 是 3D translation basis projection。对于需要精细 orientation control 的任务，增益可能来自更好地接近/对齐物体，而非真正理解 roll/pitch/yaw。文中未充分说明 rotation grounding 如何处理，这是概念表述和方法实现之间的缺口。

第三，它不解决 contact-rich manipulation 的核心难题。作者自己也观察到，即使能到达 novel object location，抓取或接触阶段仍会失败。也就是说 AxisGuide 改善的是 reaching / coordinate-consistent motion，而不是 force/contact/dynamics reasoning。

第四，泛化 claim 需要谨慎。当前结果很可能依赖相同 robot、相同 workspace、相同相机体系和相似任务分布。所谓 action understanding 可能仍是带有更好几何 prior 的 BC，而不是可组合、可迁移的动作概念。核心能力可能主要来自数据覆盖加上显式坐标 cue，而非真正形成抽象控制模型。

第五，对 VLA 的适配有工程含量。AxisGuide 需要改第一层输入通道并通常需要 fine-tune vision backbone；在冻结视觉编码器的 VLA 设定中，额外 cue 未必能被有效吸收。文中为公平训练 full model 是合理的，但也让部分增益来源与 fine-tuning recipe 耦合，尽管对照中有 full fine-tuned baseline。

Takeaway

• 1. 对 visuomotor policy 来说，action coordinate system 本身应该被视为需要 grounding 的语义对象；只 grounding 物体、目标和语言是不够的。
• 2. 端到端 BC 不应被迫学习所有已知几何关系。
• 相机投影、EEF pose、robot frame 这类系统变量可以作为 structured observation 注入，往往比扩大模型或数据更直接。
• 3. 这篇论文最可迁移的 insight 是：把 action basis、control frame、task frame 等低层控制结构显式可视化/条件化，可能是提升 generalist robot policy 稳定性的低成本路径。

一句话总结

AxisGuide 是一类几何归纳偏置回注方法：它把 robot base-frame 动作轴显式投影到 RGB observation 中，从而缓解端到端 visuomotor policy 在像素空间与动作坐标空间之间的隐式对齐失败。