精读笔记
Problem Setting
论文标题：Rethinking Implicit Spatial Representation in Visuomotor Policy Learning（arXiv preprint / 2026）。
这篇论文实际解决的不是 imitation learning 或 generative policy 的动作建模问题，而是视觉条件表示是否适合 manipulation 的问题。当前 diffusion policy / flow matching policy / mean-flow policy 的 action generator 已经能处理多模态动作分布，很多失败并不来自动作分布表达能力不足，而来自 policy conditioning 端丢失了执行动作所需的几何信息。
真正困难点在于 manipulation 的视觉信号不是分类式语义：policy 需要的是 object pose、gripper-object alignment、contact region、tool insertion geometry 这类细粒度空间关系。标准 ResNet encoder 通过 stride、pooling、global aggregation 把空间维度压缩成少量 feature values，这在 recognition 中合理，但对低分辨率、高精度控制会造成不可逆的信息瓶颈。
以前方法卡在两个地方：一是默认使用 ResNet + pooling，把视觉 encoder 当成通用模块，而没有问 pooling 输出到底给 policy 暴露了什么信息；二是即便使用 spatial softmax，也通常只在 final feature map 上做，等 spatial structure 已经被多次下采样削弱后再提取坐标，天然有上限。本文的关键矛盾就是：policy 需要高保真 spatial cues，但 encoder/pooling pipeline 在结构上倾向于消除它们。
Motivation
作者的动机来自一个很具体的观察：SSPool 在 visuomotor policy 中被反复使用，但社区更多把它当作 architectural convention，而不是认真分析它为什么比 AvgPool/MaxPool 更适合 manipulation。论文想补的缺口不是提出一个全新视觉模块，而是重新定义 SSPool 的角色：它不是简单降维，而是在把 channel activation 转换成 coordinate-aware latent variables。
已有路线不够的原因是，强 action generator 并不能弥补视觉条件变量中 spatial structure 的缺失。AvgPool/MaxPool 输出的是 feature presence/value；NoPool 虽然保留更多数值维度，但结构上没有把空间位置组织成 policy 易用的变量。相比之下，SSPool 输出的是每个 channel 对应的期望位置，更接近隐式 keypoints。这个差异解释了为什么更低维的 SSPool 反而可能更好。
进一步的关键观察是：SSPool 本身也会失败，尤其在 low-resolution、geometry-sensitive 任务上，因为 final feature map 太粗。ToolHang 上 final-stage SSPool 表现差，反而提示问题不在 spatial representation，而在 spatial representation 被抽取得太晚。由此引出 PRISM：不要只在最后一层问“在哪里”，而是在多个尺度上保留“在哪里”。
Core Idea
核心思想可以概括为：把 visuomotor conditioning 从语义值向量改造成多尺度坐标结构。SSPool 将每个 feature channel 视为一个 soft spatial detector，并输出其响应中心位置。这等价于构造一组 learned implicit keypoints，但不需要显式 keypoint annotation，也不需要 object pose supervision。它给 policy 的 inductive bias 是：动作预测应更多依赖相对位置、对齐和局部几何，而不是全局语义激活强度。
PRISM 的本质改变是重新组织 encoder 到 policy 的信息流。标准做法是 backbone 先不断压缩空间，再由 pooling head 产生一个全局向量；PRISM 则在压缩过程中不断“截取”空间信息，把浅层高分辨率细节和深层任务语义同时暴露出来。top-down fusion 的直觉是合理的：浅层空间细节多但噪声也多，深层表示语义更强但空间粗，因此让深层 spatial representation 去选择浅层 spatial cues，比简单拼接所有尺度更符合 manipulation 中“用任务上下文筛选几何细节”的需求。
和 prior 的本质区别不是使用 attention 或多尺度特征本身，而是把多尺度机制服务于 implicit spatial representation，而不是服务于语义 feature enrichment。它引入的是 coordinate-structured bottleneck：压缩表示维度的同时保留空间可解释性，使 action generator 接收到更符合控制问题的 latent structure。
Method
方法上应关注机制，而不是模块列表。
第一，implicit spatial vs implicit semantic representation 的划分是论文的基础。AvgPool/MaxPool/NoPool 暴露的是 activation value，告诉 policy 哪些 visual pattern 存在或强弱如何；SSPool 暴露的是 activation location，告诉 policy 这些 pattern 在哪里。这个改变解决的是 representation alignment 问题：让视觉条件变量的形式更贴近 manipulation 所需的空间控制变量。
第二，多尺度 spatial softmax 解决 final-stage spatial collapse。只在 ResNet 最后 3×3 或类似粗 feature map 上做 SSPool，本质上是在已经损失细节之后估计坐标。MS-SSPool 从多个 residual stages 抽取 coordinate-aware features，相当于在不同 receptive field / resolution 下保留空间 anchors。它的必要性在低分辨率高精度任务中更明显。
第三，top-down cross-attention 解决多尺度信息如何被压缩成 policy condition 的问题。早期层空间精细但包含低级纹理噪声，深层层级任务相关但粗糙；TDCA 用深层 spatial code 作为 query 去检索浅层 spatial codes，使融合更像 task-conditioned spatial selection，而不是盲目增加维度。
第四，refinement block 可能主要是工程稳定组件。它可能改善每个 stage 的 feature quality，但从论文证据看，核心不是 refinement，而是“在 spatial collapse 前抽取 coordinate representation + 用高层上下文筛选细节”。
Key Insight / Why It Works
最重要的 insight 是：在 visuomotor policy 中，表示的结构比表示的维度更关键。NoPool 保留最多 feature values，却不一定好；SSPool 维度小很多，但因为输出被组织成 channel-wise coordinates，更容易被 action generator 用来学习 object-relative motion、alignment 和 contact behavior。这说明 policy bottleneck 不是信息量简单不足，而是信息格式不匹配。
SSPool 有效的原因更像 better inductive bias，而不是 scaling。它把卷积 channel 变成软 keypoint detector：每个 channel 负责某类视觉响应，softmax 后的期望坐标给出其空间位置。这种 latent structure 对控制非常友好，因为动作通常是空间误差的函数。saliency 更集中也符合这个解释：如果 representation head 奖励“在哪里”而不是“有多强”，encoder 会被迫学习更可定位的响应。
PRISM 的收益主要来自 representation alignment + multiscale feature reuse。它不是让 policy 变得更会推理，也不是引入 planning；它是在更早阶段保存 spatial variables，减少 encoder 下采样造成的信息不可逆损失。ToolHang 的结果支持这一点：低分辨率、精密对齐任务最能暴露 final-stage SSPool 的上限，多尺度 spatial extraction 才有明显收益。
哪些可能只是辅助？TDCA 的作用大概率是有效的，但不是最根本的创新；简单 multiscale SSPool 已经带来主要提升，attention 更像让尺度融合更干净。参数增加也可能贡献一部分，但从 multiscale pooling 对比看，单纯增加维度/参数并不能解释全部增益，NoPool 和 multiscale NoPool并没有稳定获益。
需要保持怀疑的是，saliency 不是严格机制证明；它只能说明模型关注区域更符合直觉。另一个不清楚的点是 channel semantics 的稳定性：SSPool 假设 channel-wise activation 可对应某种空间 detector，但不同 seed、不同 backbone、不同预训练视觉模型下这种结构是否稳定，文中未充分说明。
Relation To Prior Work
这篇工作最接近三条线：早期 Deep Spatial Autoencoder / spatial softmax visuomotor learning，robomimic / diffusion policy 中的 ResNet+SSPool 实践，以及多尺度视觉特征融合。它的新意不是发明 spatial softmax，也不是发明多尺度 attention，而是把二者重新放在 generative visuomotor policy 的 representation bottleneck 语境下，并通过系统 ablation 证明 pooling head 的信息类型会显著影响 action policy。
和显式 keypoint / pose-based policy 相比，PRISM 不需要人工 keypoint、pose estimator 或 object model，属于 implicit spatial abstraction。它牺牲了一部分可解释性，但保留了端到端训练和任务自适应的优势。和 VLA / language-conditioned policy 路线相比，它并不试图增强语义理解，而是补足底层几何 conditioning；因此更像是可插入现有 policy backbone 的视觉表示改造。
和普通 FPN / feature pyramid 的差别在于，PRISM 不是把 dense multi-scale features 交给后续网络，而是先通过 SSPool 压成 coordinate-like variables，再融合。这一点很重要：它避免了 dense feature 维度膨胀，并把 inductive bias 锁定在空间位置而非 appearance enrichment。
实质创新在于诊断“spatial information collapse”作为 visuomotor encoder-level bottleneck，并提出 multiscale implicit spatial representation 这个设计原则。看似新的 TDCA 属于已有 top-down attention 思想的重组，贡献主要在问题设定和归因，而非 attention 机制本身。
Dataset / Evaluation
实验覆盖了 robomimic 单任务、ToolHang 低分辨率高精度 stress test、不同 generative policy backbone、不同 view/resolution 设置、LIBERO 多任务，以及少量真机。整体上，evaluation 对核心 claim 的支持是比较对位的：如果 claim 是 spatial representation 对 manipulation conditioning 更有效，那么 pooling ablation 和 ToolHang bottleneck analysis 是有说服力的。
最关键的验证其实不是平均成功率提升，而是两个现象：一，SSPool 在短程任务中以低维表示胜过高维 feature-value 表示，说明结构化空间信息比 brute-force feature retention 更重要；二，final-stage SSPool 在 ToolHang 低分辨率下失败，而 truncated/multiscale SSPool 恢复性能，说明问题确实与 spatial compression 相关。
但 evaluation 也有明显边界。真机任务太简单，PRISM 与 baseline 持平，无法验证其在真实 contact-rich、遮挡、多阶段精密装配中的优势。LIBERO 提升很大，但文中没有充分拆解是来自 spatial representation、multi-task data fit、还是具体训练细节/benchmark 偏置。不同 resolution/view 下也不是所有设置都提升，说明 PRISM 不是无条件优于 baseline。
总体看，实验足以支持“multiscale implicit spatial representation 是有用的设计原则”，但还不足以支持“这是通用 robotic visual encoder 解决方案”。
Limitation
第一，方法成立依赖卷积 channel 能形成可定位的 detector。SSPool 的 coordinate 输出只有在 channel activation 具有单峰或可解释 spatial response 时才有意义；如果 activation 多峰、对应多个物体实例或复杂接触区域，期望坐标可能会平均掉关键信息。论文没有充分讨论多实例、多峰空间分布下的失败模式。
第二，PRISM 可能把问题从 final-stage bottleneck 转移到 channel bottleneck。每个 channel 只输出一个坐标，表示能力非常紧凑，这对简单 object-centric manipulation 很合适，但对需要同时表示形状轮廓、遮挡关系、接触面几何的任务可能不够。它保留的是“点状空间信息”，不一定保留完整几何结构。
第三，增益归因仍有混杂。多尺度、额外参数、refinement、attention fusion 同时引入，虽然 ablation 显示 MS-SS 是主因，但 TDCA 和 refinement 的真实边际贡献仍不完全清楚。某些提升可能来自更好的 optimization 或更大的 effective capacity，而不是纯 spatial inductive bias。
第四，泛化证据有限。LIBERO 是有价值的多任务 benchmark，但仍是离线/仿真分布内评估；真机只做了较短任务且没有显示增益。PRISM 是否能跨物体、跨背景、跨相机、跨 embodiment 泛化，文中未充分说明。
第五，它不解决长期规划或状态记忆问题。ToolHang 提升容易被解读为“更强几何推理”，但更准确地说是更好的 instantaneous visual conditioning。policy 是否真正形成长期状态建模并没有被证明；所谓 spatial reasoning 更可能是局部几何 retrieval + action imitation。
Takeaway
- 1. 对 visuomotor policy，视觉表示的 inductive bias 可能比 action generator 的生成范式更先成为瓶颈；继续堆 diffusion/flow 采样技巧，不一定能修复 observation conditioning 的空间失真。
- 2. SSPool 值得被重新看作 implicit keypoint mechanism，而不是 pooling trick。
- 它的价值在于把 dense feature map 转换成 policy 易用的 coordinate-structured latent variables。
- 3. 多尺度不是为了堆特征，而是为了在 spatial collapse 前保存控制相关变量。
一句话总结
这篇论文把 spatial softmax 从一个老的 visuomotor pooling trick 提升为“多尺度隐式空间表示”的设计原则，实质贡献是诊断并缓解生成式 manipulation policy 中被低估的视觉空间信息坍缩瓶颈。