精读笔记
Problem Setting
论文实际处理的是 Cartesian visuomotor policy 的 zero-shot cross-embodiment deployment under whole-body constraints。训练阶段只用 end-effector action，因此策略天然可跨机器人、可用 UMI / floating gripper 数据；但部署到具体机械臂时，真实执行变量是 joint trajectory，碰撞、奇异、workspace 边界都发生在 embodiment-specific body space。
真正困难点在于两种表示各自缺一半：Cartesian action 可共享但 body-blind；joint action body-aware 但 morphology-specific。以前跨 embodiment 工作通常解决的是动作语义对齐或 policy conditioning，而不是执行时的几何可行性。于是关键矛盾是：为了 scalable learning 必须抽象掉身体；为了 safe deployment 又必须把身体信息放回来。
Motivation
已有路线不够的原因很直接：训练一个 embodiment-conditioned / joint-space policy 需要机器人相关数据，破坏 UMI-style 数据规模化；而只做 Cartesian policy，则末端轨迹看似迁移成功，手臂中段却可能撞上障碍。作者的核心观察是，跨 embodiment 部署失败不一定来自 policy 没学会 task，而是来自 learned Cartesian intent 无法被目标机器人以安全 joint motion 实现。
因此关键缺口不是“更好的 action token”或“更大的 VLA”，而是一个能在不改变 policy 的前提下，把目标机器人几何约束注入生成过程的接口。这个方向自然指向 inference-time steering：policy 负责 task intent，robot model 负责 feasibility filter / guidance。
Core Idea
EmbodiSteer 的核心思想是把冻结的 Cartesian diffusion policy 当作一个 end-effector trajectory prior，而不是最终 action generator。部署时维护的是目标机器人的 joint trajectory sample；每个 denoising step 先通过 FK 映射成 Cartesian action，让原 denoiser给出“这个末端动作应该往哪里去”；再用 damped Jacobian 把这个 Cartesian residual 转回 joint update。
这改变了建模方式：policy learning 仍然完全 embodiment-agnostic，但 sampling state 变成 embodiment-aware。于是 collision SDF、robot geometry、Jacobian 等本体信息可以在生成过程中直接作用于 sample。和 prior 的本质区别不是用了 CBF 或 diffusion guidance，而是把 guidance 的作用空间从 Cartesian action space 移到 target robot joint space，同时仍保留 Cartesian policy 的共享性。
直觉上它会有效，因为 manipulation task 的语义大多由末端运动定义，而避障/可行性由冗余 joint realization 决定。只要任务存在一定 kinematic redundancy，就可以在不大幅改变末端轨迹的情况下调整肘部、前臂等 link 的路径。
Method
1. Joint-space lifting：解决 Cartesian policy 无法访问 robot body state 的问题。它不是训练一个 joint decoder，而是在 diffusion inference 中把 joint trajectory 作为 latent execution variable。FK 用于查询原 denoiser，Jacobian 用于把 denoising residual 落回 joint space。核心变化是让 frozen policy 的 score / denoising direction 间接定义 joint-space sampling dynamics。
2. Damped Jacobian residual update：解决 repeated IK 太慢且不稳定的问题。这里假设相邻 denoising step 的 Cartesian residual 足够小，因此一阶运动学近似可用。damping 和 clipping 不是创新，但对稳定性关键；它们也暗示方法的有效范围是局部更新，而不是大范围 motion planning。
3. CBF-inspired QP guidance：解决 naive collision-gradient 会破坏末端任务的问题。QP 的目标不是最大化 clearance，而是在满足局部 SDF margin 的方向中选择对 end-effector pose 和 joint sample 改动最小的 correction。它把安全约束变成 per-step local projection。
4. Guidance during denoising：解决 post-hoc correction 太晚的问题。每一步都修 sample，使安全约束参与生成分布的形成，而不是最后把一个已经生成好的 unsafe trajectory 硬拉回来。
Key Insight / Why It Works
最重要的 insight 是：跨 embodiment manipulation 的“可共享部分”和“不可共享部分”可以在时间上分离。训练时只学可共享的 Cartesian task prior；部署时再用目标机器人的解析模型补上不可共享的 embodiment constraints。这比把所有信息塞进一个统一策略更 scalable，因为 robot-specific geometry 不需要进入数据分布。
方法有效的核心贡献很可能不是 diffusion 本身，也不是 CBF 本身，而是 joint-space sampling state + Cartesian denoiser query 这个信息流重组。它让原 policy 的 score 仍然约束末端动作，同时给 collision guidance 一个正确的作用空间。Plain cost-gradient guidance 失败说明：只要 guidance 不显式保护 task-space behavior，避障会和 manipulation precision 冲突。
这本质上属于 test-time compute / constrained generation，而不是 representation learning。它把一部分能力从模型参数转移到推理时的 robot model、SDF query 和 QP solve。增益主要来自 better inductive bias：末端任务先验与全身几何约束解耦，而不是来自 scaling 或数据量。
辅助成分包括 schedule、clipping、smoothmax SDF、damped pseudo-inverse；这些更像 engineering stabilization。没有它们方法可能不稳，但它们不是概念贡献。真实能力上限取决于局部线性化能否找到足够好的避障方向，以及 Cartesian policy 对被 guidance 改变后的状态是否仍有恢复能力。
Relation To Prior Work
它最接近三条谱系：Cartesian cross-embodiment policy、diffusion guidance、safety filter / CBF。和 cross-embodiment policy learning 的区别是，它不试图学习 embodiment alignment 或 latent action decoder，而是把 embodiment-specific feasibility 放到部署时解析处理。和 diffusion guidance 的区别是，guidance 不在原 action space 里加 cost，而是先把 sampling variable lift 到 joint space，使 whole-body SDF 成为可微约束。和 CBF safety filter 的区别是，它不是只在执行前做一次 safety projection，而是嵌入每个 denoising step。
看似新的部分里，CBF-QP、Jacobian IK、SDF collision checking 都是已有工具；实质创新是把这些工具组织成一个对 frozen Cartesian diffusion policy 可插拔的 inference-time embodiment adapter。它属于“foundation / reusable policy + test-time robot-specific optimizer”的技术演化，而不是端到端 generalist robot policy 的路线。
Dataset / Evaluation
仿真覆盖 3 个 tabletop manipulation tasks、9 个机械臂；真实实验覆盖 UR5 和 Panda，使用 UMI handheld gripper demonstrations，无机器人 finetuning。这能较好验证核心 claim 的一部分：在已知障碍、已知 robot model、末端任务为主的场景中，EmbodiSteer 能把 arm-body collision awareness 加到 Cartesian policy 上。
但 evaluation 的边界也很清楚。机器人共享 gripper 和 wrist-camera mounting，减少了 observation/action grounding 的难度；障碍是已知 cuboid，不测试未知环境感知；任务规模有限，不涉及长程规划或复杂接触；真实实验 trial 数不大。benchmark 支持“local whole-body collision-aware deployment”这个 claim，但不足以支持更强的“通用跨 embodiment 安全部署”。
另外，仿真里 obstacle-free 成功率已经很高，说明 base Cartesian policy 本身承担了大部分 task competence；EmbodiSteer主要验证的是在此基础上的 safety recovery，而不是跨 embodiment task learning 能力。
Limitation
最根本限制是它不是 planner。CBF-QP 是局部线性化、单步、clip 后的修正方向，无法保证全局无碰撞，也无法提前选择绕障模式。遇到需要显式 homotopy 选择、必须先远离目标再绕行、或狭窄通道需要长期协调的场景，方法很可能卡住。
第二，方法强依赖解析世界模型：准确 robot geometry、障碍 pose/shape、SDF gradient、calibrated camera/robot frame。文中真实实验把障碍建模为 cuboid，这和开放环境差距明显。未知障碍感知没有解决，只是被移出 scope。
第三，guidance 会改变状态分布。强避障可能把机器人带到 demonstrations 没覆盖的视角、关节姿态或物体相对关系下，冻结的 Cartesian policy 未必能恢复。论文也观察到 precision-critical pick/place 会被 guidance 干扰。
第四，泛化主要是 execution-level 泛化，不是 policy-level embodiment understanding。它证明了同一 Cartesian intent 可由不同机械臂在局部修正下执行得更安全，但没有证明策略本身学到了机器人身体模型。
第五，增益归因仍有 engineering 成分：known obstacle model、cuRobo SDF、careful schedule、clipping、margin tuning 都可能对结果贡献很大。方法思想清楚，但实际 deployment robustness 可能高度依赖这些系统细节。
Takeaway
- 1. 跨 embodiment policy 不一定要在训练时解决所有 embodiment awareness；一个更可扩展的分解是：policy 学 task-space intent，部署时用 robot model 做 constrained realization。
- 2. 对 diffusion policy 来说，改变 sampling variable 比在原 action space 上加 guidance 更关键。
- 只要 guidance 的作用空间错了，whole-body constraint 很难有效表达。
- 3. 安全 guidance 必须 task-aware。
一句话总结
EmbodiSteer 是一类“冻结 Cartesian policy + 推理时 joint-space constrained realization”的方法，把跨 embodiment 学习中的身体无关任务先验和身体相关安全约束解耦，实质贡献在于用 joint-space diffusion steering 为 Cartesian imitation policy 补上目标机器人执行层的 embodiment awareness。