精读笔记
Problem Setting
Fast Enough to Act: Spatio-Temporal Visual Token Merging for Low-Latency Robotic VLMs and VLAs（arXiv preprint / 2026）
这篇论文实际瞄准的是 embodied VLM/VLA 的 latency-resolution trade-off：机器人想用更高分辨率、更连续的视觉输入来保留操作级几何细节，但视觉 token 数量会把 vision encoder 和后续 attention 推到不可实时的延迟区间。真正困难不在于“少算一些 token”本身，而在于压缩发生得足够早、足够便宜，同时不能破坏机器人任务依赖的局部空间结构。
以前方法卡在两个位置：一类在 LLM decoder 或 vision encoder 之后剪 token，省不到 vision encoder 的主要开销；另一类如 ToMe 主要按 feature similarity 合并，在自然图像分类/视频理解里可能可用，但对机器人而言容易把语义相似但空间位置不同的局部结构混掉。机器人控制的关键矛盾是：越需要高频闭环，越不能等大模型慢慢看；越需要精细操作，越不能简单降分辨率或粗暴剪 token。
Motivation
已有路线不够的核心原因是它们没有把“视觉 token 冗余的物理结构”放进压缩过程。视频和机器人视角中的冗余通常来自相邻 patch、相邻帧、静态背景、多视角重复观测，而不是全局任意两个 token 的语义相似。只靠 attention importance 或 embedding similarity，本质是在模型内部表征空间里做压缩，但没有保证压缩后的 token 仍对应一个合理的空间实体。
作者抓住的缺口是：如果要在 vision encoder 早期合并，就必须给 token merge 一个几何约束，否则浅层特征还不够语义稳定，错误合并会向后传播；同时，如果使用 RoPE/多维位置编码，合并 token 后还必须重新定义这个 token 的位置，否则位置编码和视觉内容不再对齐。这个 motivation 是成立的，尤其针对 Qwen2.5-VL 这类有多维 RoPE、视频输入和窗口/全局 attention 混合设计的模型。
Core Idea
ST-Merge 的核心思想是把 token merging 从“feature-space compression”改成“geometry-aware local aggregation”。它不把视觉 token 看成一堆可任意聚类的 embedding，而是看成落在 3D 时空网格上的局部观测单元；只有在时空邻近且特征相似时，两个 token 才被认为是可合并冗余。这相当于给 token reduction 加了一个非常朴素但有效的 inductive bias：机器人视觉里的冗余应当局部连续。
和 prior 的本质区别在于信息流位置和合并约束。它把压缩前移到 vision encoder 浅层，使后续层真正少算；同时用时空坐标和位置修正让压缩后的 token 仍能作为一个几何上合理的视觉单元参与 attention。相比 decoder-side pruning，这更 scalable；相比普通 ToMe，这更适合机器人，因为它显式避免跨空间/跨时间的错误合并；相比纯 temporal merge，它同时处理空间和时间冗余，并考虑 RoPE 位置一致性。
Method
方法的必要机制可以压缩成三层。
第一层是早期合并。ST-Merge 插入 vision encoder 的浅层，目标不是减少最终给 LLM 的 token 数而已，而是让后续视觉层和 multimodal bridge 都在更小 token set 上运行。这是端到端加速的主要来源；如果放在 encoder 后，机器人高分辨率输入的主要瓶颈仍然存在。
第二层是局部几何匹配。它为 token 构造 t-y-x 坐标，用高斯距离权重调制 key similarity，使匹配分数同时反映语义相似和时空邻近。这个机制解决的是普通相似度合并的错配问题：两个背景区域或两个相似物体 patch 可能 embedding 很近，但几何上不该合并。局部 prior 牺牲了一部分全局自由匹配，换来更稳定的空间语义。
第三层是合并后位置重估。对 RoPE 模型，merged token 如果直接继承某个源 token 的位置，会制造内容-位置不一致。作者用源 token 的加权质心重算 sin/cos，再归一化，等价于把 merged token 放回一个几何上合理的位置。这部分是论文里较实质的点，因为它直接处理了 token merging 与 positional encoding 的冲突。
multi-queue parallel matching 的作用更偏工程：它提高单次可合并数量并降低匹配串行开销，服务于低延迟目标。它重要，但更像把 ToMe 式匹配组织成适合大 token 数的近似并行过程，而不是新的表示学习思想。
Key Insight / Why It Works
最关键的有效性来源是 better inductive bias，而不是训练、数据或新模型能力。ST-Merge 没有让 VLM/VLA 变得更会推理；它只是让模型在高分辨率输入下还能及时运行，并尽量不破坏已有视觉表征。其收益来自对冗余结构的正确假设：高分辨率机器人图像中，大量 token 是局部平滑背景、重复纹理、相邻帧近似不变区域。这类 token 被合并后，语义和几何损失很小，但 attention 成本大幅下降。
最可能的核心贡献是“局部时空约束 + RoPE-aware positional correction”的组合。前者降低错误合并概率，后者修复合并后 token 在位置编码空间中的不一致。单独的 token merging 并不新；单独的 queue partitioning 也偏加速技巧；真正让它适合 VLM/VLA 的，是意识到视觉 token reduction 不能只在 feature space 中做，必须维护几何坐标系。
VLA 部分的成功更应被解读为 latency bottleneck relief，而不是策略能力提升。π0.5 的控制能力、任务泛化和动作先验主要来自原模型和 fine-tuning 数据；ST-Merge 只是让高分辨率视觉以可接受延迟进入策略。高分辨率下不掉点，说明被删/合并的大多是冗余；低分辨率下掉点，反而验证了它不是无损压缩，而是在依赖输入冗余。
有些 gain 可能主要来自 scaling：1024 分辨率本身包含更多细节和更多冗余，ST-Merge 让这个输入规模变得可计算，因此效果看起来很强。若 baseline 被迫使用低分辨率，那么 ST-Merge 的优势部分来自“允许模型看更清楚”，而不是 token merge 本身带来更好的表示。文中对这类归因没有完全拆开。
Relation To Prior Work
这篇属于 vision token reduction / token merging 谱系，但它把问题放到了 embodied VLM/VLA 的实时视觉编码瓶颈上。和 FastV、VTW、TopV 等 decoder-side 或 late-stage reduction 相比，核心差异是压缩位置前移；这不是小改动，因为机器人高分辨率输入下 vision encoder 本身就是主要延迟来源。
和 ToMe 最接近。ST-Merge 继承了“合并相似 token 而非剪掉 token”的基本思想，但补上了两个 ToMe 在机器人/VLM 场景里缺的东西：局部时空约束和位置编码修正。换句话说，ST-Merge 不是发明 token merging，而是把 ToMe 式合并改造成适合多帧、高分辨率、位置敏感 VLM 的版本。
和 TempMe/FrameFusion 等视频 token 方法相比，ST-Merge 的差异在于它不只是利用 temporal redundancy，也显式处理空间邻域和 RoPE 一致性；同时它强调在 vision encoder 内部、浅层全局 attention 处部署。实质创新主要在“合并后的 token 仍应有几何位置”这个问题上，而 multi-queue 更像已有匹配思想的高吞吐重组。
Dataset / Evaluation
评估覆盖了三类证据：Qwen2.5-VL 上的视频 QA、LIBERO 上的 VLA 闭环控制、SO-ARM101 上的小规模真实机器人实验。这个组合基本能支持论文的主 claim：ST-Merge 可以在现有 VLM/VLA 上作为 training-free 插件降低延迟，并且在高分辨率冗余充分时不明显伤害性能。
但 evaluation 不能过度解读。视频 QA 使用 mini set，更多验证视觉理解不被压坏，而不是机器人实时控制的全链路稳定性。LIBERO 能说明 closed-loop policy 在模拟任务中可用，但是否覆盖复杂接触、遮挡、快速动态、多物体歧义并不清楚。真实世界任务只有三类桌面操作，每类 20 次测试级别，能证明 demo 可行，不能证明泛化可靠。
最重要的是，VLA 部分涉及 π0.5 base 的 50k step fine-tuning。文中未充分说明不同分辨率模型、训练数据、ST-Merge 插入方式之间的归因隔离。因此 benchmark 支持“加速且大体不掉性能”，但不充分支持“高分辨率实时机器人控制问题被普遍解决”。
Limitation
第一，方法强依赖冗余密度。高分辨率、静态背景、多视角重复输入越多，ST-Merge 越有效；低分辨率或信息密集场景中，每个 token 的边际信息更高，继续合并会直接损伤精度。论文自己低分辨率下降的现象已经暴露了这个边界。
第二，局部平滑假设不总成立。机器人任务中很多关键状态恰恰是小范围、高频、非平滑的：夹爪接触边界、透明物体边缘、细小姿态差、遮挡出现/消失、两个相似物体的相对位置。局部平均可能把这些信号抹掉。文中没有充分评估这类 adversarial 或 high-frequency manipulation case。
第三，合并是不可逆的 test-time representation compression。它降低了 latency，但也把一部分视觉不确定性提前压扁。对于需要长期状态维护或后续重新关注细节的 planner/VLA，早期合并可能把未来需要的信息提前丢掉。论文没有证明它对长时程 memory、失败恢复或主动探索安全。
第四，VLA 结论存在归因不清。π0.5 的真实操作能力主要来自预训练、flow/action head 和 fine-tuning 数据；ST-Merge 只是视觉前端压缩。所谓“高分辨率实时控制”更像是工程上解除了计算瓶颈，而不是产生新的 embodied reasoning 能力。
第五，跨模型泛化未充分说明。Qwen2.5-VL 的 RoPE correction 很合理，但 π0.5/SigLIP 场景又不启用该机制；这意味着方法在不同架构下依赖的核心组件并不一致。哪些部分是通用原则，哪些是针对特定 encoder 的工程适配，仍需更系统的 ablation。
Takeaway
- 1. 机器人 VLM/VLA 的 token reduction 应该优先发生在 vision encoder 内部，而不是等到 decoder；否则无法解决高分辨率闭环控制的主要延迟。
- 2. 对 embodied vision，token compression 不能只看 embedding similarity。
- 空间/时间局部性是非常强的 inductive bias，尤其在浅层视觉特征还不稳定时更重要。
- 3. 合并 token 后的位置语义必须被重新定义。
一句话总结
ST-Merge 是把 ToMe 式视觉 token 合并推进到机器人 VLM/VLA 视觉编码器内部，并用时空局部先验与位置编码修正使其适合高分辨率闭环控制的一类 geometry-aware test-time compression 方法。