精读笔记
Problem Setting
这篇论文真正面对的是 precision manipulation 中一个长期存在但经常被弱化的问题：机器人既要理解任务语义和几何关系，又要在接触发生后以高频闭环处理毫米级甚至亚毫米级误差。GPU/RAM/CPU 插装这类任务的难点不在于“长时程”本身，而在于错误来源跨层级：语义 frame 可能偏、视觉轨迹可能粗、夹持中物体会滑、接触力会突然改变。传统 modular pipeline 可以做到精密控制，但接口和状态估计高度任务特化；VLA/端到端策略看似泛化，但把语义、接触、力反馈混在同一映射里，遇到 out-of-distribution 接触时缺少可解释、可限幅、可高速响应的修正通道。因此关键矛盾是：泛化需要抽象和复用，精密接触需要局部、快速、物理约束强的反馈；现有范式没有把这两者放到同一个可组合控制接口里。
Motivation
作者不满足于把 foundation models 接到 planner 前端，也不相信 monolithic VLA 能靠更多数据自然学出可靠接触控制。核心观察是，不同能力的可靠区域不同：LLM/VLM 擅长语义和目标关系，但不该决定连续接触控制；视频预测能给 motion prior，但不该负责毫米级插入；触觉和力反馈能处理局部扰动，但没有全局语义。缺口在于这些能力通常被串行使用，早期模块一旦输出错误，后面只能执行或失败。CoStream 的动机是把它们改成并行、异步、持续参与的 action streams，让每个行为只贡献一个有限、可审计、可限幅的动作因子。
Core Idea
论文的核心思想是：复杂 manipulation 可以被建模为若干简单行为在共享 SE(3) task space 上的在线组合，而不是一个完整 plan 的执行，也不是一个 end-to-end policy 的直接输出。语义行为给任务坐标系，预测行为给该坐标系下的名义轨迹，反应行为给触觉驱动的局部 residual；最终命令不是某个模块的输出，而是这些因子在每个控制周期重新组合的结果。
这个建模方式引入的 inductive bias 很明确：把全局语义、运动先验和接触修正分别绑定到不同频率、不同 sensing modality、不同控制权限上。它改变的是信息流组织方式——不是 perception → planning → control 的一次性传递，而是多个 stream 持续更新同一个 pose command。理论上这比 pipeline 更不脆，因为 tactile residual 可以在执行时修正滑移；也比 monolithic policy 更可泛化，因为 task frame 吸收对象位姿，轨迹和 residual 变成相对量，可在同类对象和新 pose 上复用。
Method
方法层面真正必要的机制有三点。第一，stage compilation 把长任务拆成带类型的 stage，并用 StageSpec/ComposeSpec 规定目标、frame、guard、recovery、axis ownership 和 residual bounds；这解决的是 contact-rich task 需要显式切换控制语义的问题，但它也暴露了方法对结构化任务描述的依赖。第二，shared SE(3) interface 让语义 anchor、nominal motion 和 tactile residual 都成为同一动作空间中的因子；这带来的核心变化是不同模块不再传递完整状态或完整动作，而只传递自己可信的局部贡献。第三，controller compiler 把 symbolic profile 映射到经过校准的 impedance/admittance、force limit 和 guard；这避免 foundation model 直接生成低层控制参数，是系统可靠性的关键安全阀。
需要注意，semantic behavior、video planner、tactile tracker 本身不是论文最根本的创新。它们更像可替换能力源。真正的机制是：每个能力源都被降维成一个可组合、可限幅、可 fallback 的 SE(3) 成分。
Key Insight / Why It Works
最重要的 insight 是把“泛化”和“精度”分配给不同机制，而不是要求同一个 policy 同时完成。泛化主要来自 object-centric task frame 和相对轨迹/residual 的 SE(3)-equivariance；精度主要来自 tactile residual 和 compliant force loop；长时程执行主要来自 stage/profile/guard 的显式结构。也就是说，系统有效不是因为 foundation model 学会了复杂接触物理，而是因为它被限制在低频语义 grounding，并且接触阶段由专门的反应控制接管。
最可能的核心贡献是 multi-rate SE(3) residual composition：每个 tick 重新从 latched anchor、interpolated trajectory、latest tactile estimate 生成命令，而不是积分执行。这会减少 drift，也允许触觉修正覆盖夹持滑移导致的 frame mismatch。右乘 residual 的选择也很关键，因为它把局部 in-hand slip correction 表达为当前 nominal pose 后的局部变换，适合接触中的小扰动补偿。
哪些可能只是辅助：video world model 生成名义轨迹在这些任务里可能不是主要增益来源，尤其装配任务的成功更像依赖精准 task frame、fixture/template、controller profile 和 tactile correction。文中未充分说明 predictive behavior 相比传统 motion primitive / hand-coded trajectory 带来多少不可替代收益。foundation model 部分也更像 open-vocabulary grounding 和 retrieval/selection，而不是形成了稳定的物理推理。
这篇论文本质上不是 scaling paper，而是 inductive bias paper：通过 representation alignment 和权限隔离，把不同模型的 failure mode 限制在局部。它的 test-time compute 体现在视频 rollout + VLM selection，但核心性能看起来更多来自结构化控制接口和传感闭环，而非更大模型本身。
Relation To Prior Work
它最接近三条线：behavior-based robotics / subsumption architecture、task-frame formalism / hybrid force-position control、以及近年来的 foundation-model robotic planning。看似新的是把 LLM/VLM、video world model、tactile control 放进同一框架；更本质的新增信息是把这些异构能力统一成可右乘组合的 SE(3) action factors，并允许它们异步并行更新。
相对 TAMP 或 classical pipeline，CoStream 不把输出固定成一次性 plan，也不要求每个 stage 完整求解状态估计—规划—控制链条；它让反应行为在执行时持续修改命令。相对 VoxPoser/ReKep 这类视觉-语言约束方法，它补上了接触阶段的高速物理反馈。相对 VLA/π0 系列，它拒绝把接触控制黑箱化，而是用明确的 task frame、axis ownership、force limit 和 residual bound 约束动作空间。
不过，很多思想并非全新：task frame、compliance axis、impedance/admittance、guarded motion、tactile slip compensation 都是经典机器人控制思想。实质创新在于把这些经典结构和 foundation-model grounding/visual prediction 重新组织成一个统一、可复用的 compositional interface。
Dataset / Evaluation
评估的强项是真机、接触丰富、包含 tight-clearance assembly，并且展示了人为扰动恢复；这比大量纯视觉 tabletop benchmark 更接近真实 deployment 中的关键难点。四个 assembly task 对论文 claim 有较强支撑，因为它们确实需要语义 frame、接触修正和力控组合，而不是单纯 pick-place。
但 evaluation 也有明显边界。任务高度结构化，硬件固定，物体类别有限，很多高精度 frame 依赖 calibration、fixture 或 template。所谓 zero-shot transition 更像在同一实验生态下复用 profile 和 object-centric constraints，而不是跨环境、跨硬件、跨大量开放类别的泛化。基线比较也不完全公平：VoxPoser 和 π0.5 没有同等 tactile/force feedback 和 controller profiles，因此失败并不能单独证明 CoStream 的 compositional formulation 优于所有强 modular controllers；它更说明“纯视觉/单体 VLA 在这些接触任务上不够”。ablation 主要验证 reactive behavior 必要，但没有充分拆开 semantic anchor、video trajectory、controller profile、manual stage design 的相对贡献。
Limitation
方法成立依赖几个强前提。第一，任务必须能被拆成明确 stage，并且每个 stage 有可定义的 task frame 和接触/顺应轴；对 ambiguous goal、deformable object、articulated object、dexterous in-hand manipulation，这个接口可能不够表达。第二，泛化依赖 object-centric pose、template、calibrated fixture 和可靠 affordance annotation；如果上游 Scene Summary 错，composition 只是在错误 frame 上精密执行。第三，reactive behavior 的可观测性受 GelSight contact patch 限制，out-of-patch slip 或复杂多点接触无法保证被修正。
更深层的限制是问题可能被转移了：从“训练一个端到端策略”转移到“设计 stage schema、controller profiles、guard/recovery library 和高质量 perception stack”。这在工程上合理，但 scalability 上限取决于这些 profile/template 能否系统性扩展。文中未充分说明 profile library 扩展到更开放任务时的人工成本，也未证明 policy compiler 能可靠地产生新 stage，而不是依赖实验者预设。
增益归因也不完全清晰。装配成功很可能主要来自 calibrated task frames + compliant controller + tactile slip correction，而不是 video planner 或 VLM reasoning。所谓 reasoning 更像从已知 task schema 中选择和参数化模板；如果 benchmark 与模板库高度重合，泛化 claim 会被高估。
Takeaway
- 1. 值得迁移的不是三模块配置，而是“能力分权”：foundation model 只做低频语义，视觉预测只做粗 motion prior，接触控制只做局部 residual，低层 gains 由可审计 profile 管住。
- 2. 对 contact-rich robotics，shared action interface 可能比更大的 VLA 更重要。
- 把异构 sensing 对齐到 SE(3) residual composition，比把所有 observation token 塞进一个 policy 更符合物理控制的时间尺度。
- 3. 未来真正有价值的问题不是继续堆模块，而是学习或自动发现 StageSpec/ComposeSpec、axis ownership、guard/recovery，并证明这些结构能跨任务族扩展，而不是靠人工 profile library。
一句话总结
CoStream 是一篇把 foundation-model grounding、视觉运动先验和触觉/力反馈重新组织为 SE(3) 多速率 residual composition 的机器人论文，真正贡献在于给 contact-rich manipulation 提供了比 pipeline 更在线、比 VLA 更可控的结构化组合范式。