精读笔记
Problem Setting
【Spatially Conditioned Diffusion Policy: Learning Precise and Robust Manipulation with a Single RGB Camera】（arXiv preprint / 2026）
这篇论文的实际问题不是一般意义上的 visual imitation learning，而是更具体的单全局 RGB 视角下的精细 manipulation：在没有 wrist view 的情况下，policy 既要看清局部接触几何，又要从整幅图里过滤掉无关区域。多相机系统中 wrist camera 实际承担了两个功能：局部放大和 task relevance prior。去掉 wrist camera 后，这两个功能必须由模型内部表征补回来。
以前 DP 类方法的问题在于视觉条件通常是固定全局 embedding，或者把图像切成 token 后让 transformer/diffusion 网络自己学相关性。这在数据少、任务接触精细、distractor 多时非常低效。点云路线提供几何，但常常又被压成全局特征；keypoint/VLM/segmentation 路线能选区域，但引入外部 perception assumption。这里的关键矛盾是：单视角图像信息其实可能足够，但 standard policy interface 没有把“该看哪里”结构化出来。
Motivation
作者的动机是补上一个缺失的 inductive bias：task-relevant region 不一定需要由语义模型识别，它可以由动作本身诱导。对于大多数直接接触式 manipulation，末端执行器未来轨迹附近就是 interaction evidence 最密集的位置。这个观察比“用 VLM 找目标物”更贴近控制，因为控制真正需要的是接触局部几何，而不只是 object identity。
已有路线不够的地方在于，它们把 relevance selection 放在视觉前端或 policy 内部隐式完成。全局表征太粗，外部 perception 太重，wrist camera 是硬件 shortcut。SCDP 的方向是把 diffusion policy 生成过程中的 intermediate trajectory 变成视觉查询，让 policy 在生成动作的同时决定应该从图像哪里读取信息。
Core Idea
核心思想可以概括为 action-conditioned visual querying：用正在 denoise 的动作轨迹作为空间注意力锚点，在单张 RGB 的多尺度 feature map 上抽取局部特征，再用这些特征继续 denoise 动作。它改变了原本 imitation policy 的信息流：不是 observation → action 的单向压缩，而是 action hypothesis → visual evidence → refined action hypothesis 的迭代耦合。
这个思想的本质新增信息不是“多尺度 ResNet”或“FiLM 条件化”，而是把动作轨迹显式投影回图像平面，使 action space 和 image space 对齐。它给 diffusion policy 加了一个很强的结构先验：候选动作应该在其将要经过的图像区域中寻找证据。相比 prior，这不是语义选择，而是几何-动作选择；因此可能更适合精细控制，也比依赖 VLM/segmentation 的 pipeline 更轻、更可扩展。
Method
方法的关键机制有三层。
第一，视觉侧保留多尺度 feature map，而不是只取最终 embedding。它解决的是单全局视角中 coarse context 和 fine geometry 的冲突：低层/高分辨率特征保留局部边缘和几何，高层特征提供上下文。这里多尺度不是主要创新，但对精细操作是必要支撑。
第二，空间条件化模块把 intermediate action chunk 转成未来 EE 轨迹，再通过相机内外参投影到图像坐标，在每个尺度上采样 point-wise feature。它解决的是 task relevance selection：不让网络在全图中自由搜索，而是沿当前动作假设对应的空间位置读取视觉信息。
第三，denoising network 用这些局部多尺度特征作为条件，而不是用固定全局 observation embedding。核心变化是视觉条件随 diffusion step 和 action hypothesis 变化，因此同一张图像在不同候选轨迹下会提供不同 conditioning signal。这一点是 SCDP 区别于普通 DP 的机制核心。
Key Insight / Why It Works
我认为最可能真正有效的是“trajectory as attention anchor”这个 inductive bias，而不是 diffusion、ResNet 或 FiLM 本身。它把一个高维、弱监督的视觉相关性学习问题压缩成一个低维几何查询问题。对于直接 manipulation，EE 轨迹天然覆盖 grasp point、insertion region、push contact、handle approach 等关键区域；因此沿轨迹采样到的局部特征比全局 embedding 更容易被 action model 利用。
这本质上不是 scaling，也不是 retrieval；更接近 representation alignment：把控制变量中的未来运动和图像中的局部证据对齐。它也有一点 test-time compute 的味道，因为 diffusion 的中间样本不断产生新的查询位置，模型可以在生成过程中更新“看哪里”。但它没有真正做搜索或 planning，仍然是在 learned denoising prior 内部工作。
多尺度特征是重要辅助，尤其解释了为什么单个 global RGB 能接近 wrist camera：不是图像本身缺信息，而是传统 encoder 在压缩时丢掉了局部细节。SCDP 通过局部采样避免整图 token/embedding 被 distractor 稀释。重建 horizon 的提升也合理：只看当前 EE 点相当于静态 gaze，只看未来轨迹才覆盖即将发生的接触序列。
需要警惕的是，若 benchmark 的任务都属于“末端附近即任务相关”的直接交互范式，这个方法会显得非常强；这不是坏事，但说明它的成功依赖任务族假设。所谓 robustness to distractors 也主要来自避免看 distractor，而不是理解 distractor。
Relation To Prior Work
SCDP 最接近 Diffusion Policy + spatial/keypoint conditioning 的交叉路线。相对 DP，它不是改变 action distribution modeling，而是改变视觉条件接口；diffusion 仍然是标准 action denoising。相对 DP3/RISE，它不试图引入更丰富的 3D observation，而是用已知 robot/camera geometry 在 2D feature map 上做更有针对性的读取。相对 SKIL/OTTER，它不依赖外部分割、semantic keypoint 或 VLM attention，而是让 action hypothesis 自己提供 query。
看似新的部分中，多尺度 feature pyramid、bilinear sampling、FiLM conditioning 都是已有思想重组；实质创新在于把 diffusion 中间动作样本投影为视觉查询，并让 conditioning 随 denoising 迭代变化。这是一个很干净的 inductive bias injection：没有额外标签，没有外部模块，但显式利用了 embodiment geometry。
在技术谱系上，它属于 embodied spatial grounding for visuomotor diffusion policy，而不是 foundation-model policy 或 object-centric planning。它推动的是“policy 内生的空间注意力”，而非更大的模型或更多传感器。
Dataset / Evaluation
评估覆盖了 Meta-World 全套难度分组、DexArt dexterous articulated manipulation，以及多个真机任务，包括插入、抓取、长程 drawer/banana、distractor 和 clutter 设置。这个覆盖面足以说明 SCDP 不是只在单一 toy task 上 work，也较好支撑了“single RGB can be competitive”的 claim。
最能验证核心机制的是 hard/very hard tasks、与 wrist-camera DP 的比较、与 SKIL/OTTER 的比较，以及 reconstruction horizon / multi-scale ablation。这些实验都指向同一个结论：沿未来轨迹采样局部多尺度特征，比全局表征或外部语义注意更适合这些直接接触任务。
但 evaluation 仍有明显 limitation。Meta-World scripted demos、DexArt seen objects、真机 task-specific datasets 都不等价于开放泛化。真实世界实验虽然有 distractor，但更多是局部位姿和背景扰动，不是跨物体类别、跨相机、跨任务语言条件的泛化。文中也没有充分展示在严重遮挡、工具使用、间接接触或目标不在 EE 轨迹附近的反例上会怎样。
Limitation
最大限制是任务相关性假设：视觉信息必须在未来 EE 轨迹附近。如果任务的 causal contact 发生在工具尖端、被操作物另一端、柔性链条、抽屉内部、遮挡区域，或者需要先看远处状态再决定动作，SCDP 的点轨迹查询会漏掉关键信息。它解决的是 direct manipulation 中的 spatial selection，不是一般视觉推理。
第二个限制是它把问题部分转移到了动作先验和标定上。轨迹查询依赖当前 denoising trajectory 足够接近合理动作，也依赖相机外参、机器人状态和 EE reference point 定义准确。若初始 action hypothesis 偏离任务区域，模型采样到的 visual condition 可能没有信息；文中未充分说明这种情况下是否能自我纠正。
第三，泛化上限不清。SCDP 可能主要提升 data efficiency 和 robustness，而不是获得新的 planning/reasoning 能力。长程任务中的成功更像 action chunk imitation 加局部视觉 grounding，不代表形成长期状态建模。增益来源也不是完全单一：多尺度、ResNet locality bias、spatial conditioning 和任务分布匹配共同作用，部分 improvement 可能来自 better engineering，而不是新的算法范式。
Takeaway
- 1. 对单视角精细 manipulation，关键不是盲目加大视觉 backbone，而是让 action hypothesis 主动决定视觉读取位置；embodiment geometry 是比语义模型更贴近控制的 attention prior。
- 2. Wrist camera 的一部分价值可以被“global image + trajectory-conditioned local feature sampling”替代，但只在直接交互、可见、接触区域靠近 EE 的任务族内成立。
- 3. 多尺度局部特征比全局 embedding 更适合 contact-level imitation；未来很多 visuomotor policy 可能会从 fixed observation conditioning 转向 dynamic, action-conditioned observation querying。
- 4. 值得继续做的是把点轨迹扩展成 uncertainty-aware region、tool/contact-point set、object-relative query，或者与 learned keypoints / deformable attention 结合，以突破“只看 EE 附近”的上限。
一句话总结
SCDP 是 Diffusion Policy 系谱中一次有效的空间条件化改造：它用中间动作轨迹作为单目 RGB 上的几何注意力查询，把 wrist-view/外部 perception 提供的 task relevance prior 内化进 policy 的 denoising 过程。