精读笔记

Problem Setting

论文标题：See, feel, act: Hierarchical learning for complex manipulation skills with multisensory fusion（Science Robotics / 2019）。

这篇论文实际在解决的不是“机器人玩 Jenga”这个游戏本身，而是接触丰富操作中一个更窄但很关键的问题：当决定动作成败的物理变量无法由视觉直接观测、只能通过接触逐步揭示时，机器人如何以少量真实交互学习可用于控制的物理表示。

Jenga 的困难点在于 movable / immobile block 在接触前几乎不可区分；真正状态藏在块间摩擦、载荷分布、微小几何误差和当前塔结构里。视觉给的是全局几何，但对 block interaction 几乎无能；力觉给的是局部高分辨率接触证据，但只有在已经冒险触碰后才出现，而且是间歇的、短时的、带噪的。任务的关键矛盾是：为了知道能不能推，必须先推；但推错会破坏整个系统状态。

以前方法卡在两个地方。纯视觉或 pixel-to-action 策略缺少接触内部状态，模型自由 RL 又需要大量交互，而 Jenga 这类任务 reset 成本高、失败代价大。普通 model-based 方法虽然可样本高效，但如果用单一连续动力学模型去拟合接触多模态行为，会在 stuck / easy move / hard move 之间平均化，导致控制时要么保守要么鲁莽。

Motivation

作者真正的动机是：复杂操作的样本效率不应只靠更强的函数逼近，而应靠更合适的物理抽象。人在玩 Jenga 时不会显式求解完整接触动力学，也不会从像素到动作端到端试错；更像是通过触碰建立若干行为概念，例如“没碰到”“卡住”“容易动”“有阻力但可动”，然后在概念层面决定是否继续、换方向、撤回或抽取。

已有路线缺的是一种中间层：低层传感器之上、精细接触动力学之下的 latent behavior representation。视觉 deep learning 提供感知，RL 提供策略学习，mixture model 提供统计分解，但它们通常没有把 tactile signatures、visual motion 和 temporal change 组织成可解释、可被 planner 使用的物理概念。

因此论文的核心缺口不是“如何识别 block pose”或“如何训练控制器”，而是如何把侵入式触觉探索产生的时间序列证据转化为后续控制可复用的 physics mode。

Core Idea

论文的核心思想是先学 coarse latent abstraction，再学 abstraction-conditioned dynamics。也就是说，不直接学习一个统一的状态转移函数，也不让 policy 从所有状态中自行发现模式，而是先在视觉-力觉联合轨迹中聚类出少数宏观行为类型，然后在这些类型条件下学习局部物理模型。在线执行时，机器人根据当前 noisy force/vision observation 推断当前 abstraction，再用该 abstraction 的动力学预测做 MPC。

这改变了建模方式：接触动力学不再被看成一个平滑全局函数，而被看成由少数物理行为 regime 组成的生成过程。引入的 inductive bias 是“接触丰富任务中存在可复用的粗粒度行为概念”，这些概念比完整 dynamic mode 更粗，但比无结构 latent variable 更有控制含义。

和 prior 的本质区别在于，它不是把 latent variable 当作纯预测优化的混合成分，而是把 latent abstraction 放进 perception-inference-control loop 中：它既解释观测，又组织动力学模型，还直接影响 MPC cost。这个信息流重组是论文最有价值的地方。

Method

关键机制可以压缩为三层。

第一，concept / abstraction learning：从探索阶段的 push 轨迹中提取包含 block pose、pose change、force、force change、robot action 的特征，用非参数 mixture / DP-GMM 恢复少数行为簇。它解决的是多模态接触行为无法由单一连续模型稳定表示的问题。必要性在于：如果没有这个层，后续动力学会把 stuck 和 movable 的样本混在一起，预测和控制都会变差。

第二，abstraction-conditioned probabilistic dynamics：用 BNN 学习给定当前状态、动作和 latent abstraction 后的下一步状态分布，状态包含视觉几何和接触力。它解决的是“触觉和视觉如何在同一个物理模型中融合”的问题。核心变化是 fusion 不发生在 feature 拼接后直接出动作，而发生在状态转移概率模型中，因此 force 和 pose 的 temporal consistency 能共同约束 latent state。

第三，online inference + MPC：执行时用观测 buffer 和 learned generative model 对状态与 abstraction 做 posterior inference，再让 MPC roll out 候选动作并惩罚 tower perturbation 与不希望的 no-move belief。它解决的是部分可观测和传感器噪声下如何安全地继续探索/撤退的问题。这里的控制不是学一个完整 policy，而是用 learned physics belief 修正短视域动作选择。

需要注意，extract/place primitive、game loop、failure monitor、supervisory logic 都不是核心学习贡献，而是让系统能在真机上跑起来的结构化工程。

Key Insight / Why It Works

这篇论文有效的主要原因不是 BNN，也不是 MCMC，更不是 Mask R-CNN，而是 coarse latent structure 给接触动力学提供了正确分解。Jenga 的交互在细节上很复杂，但对决策来说，很多细节不重要：最关键的是当前 block 是否可移动、移动时阻力多大、继续推是否会伤塔。把问题压到这几个模式后，样本需求骤降，MPC 也不再需要在完整高维接触空间里搜索。

它本质上是 better inductive bias + latent structure + test-time belief update，而不是 scaling。模型没有通过海量数据学出通用 manipulation policy，而是利用任务中天然存在的低维行为 archetype。这个 bias 在 Jenga 上非常合适：不同 block 的微观原因可能不同，但宏观响应可被少数模式覆盖。

最可能的核心贡献是“抽象先于动力学”的 top-down / bottom-up 分解。普通 mixture of regressions 也有 latent variable，但 latent variable 是为了 likelihood 和预测误差服务；这里的 abstraction 被设计成能被人类解释、能被 posterior tracking、也能进入 controller cost。因此它不是简单 mixture model 替代品，而是把 latent mode 变成 action-relevant belief。

辅助成分包括 BNN 的不确定性建模、MCMC 推断、MPC 控制和视觉系统。这些都重要，但不是决定性 insight。BNN 可以替换成其他概率模型；MCMC 也可能换成 particle filter / amortized inference。真正不能轻易替换的是“先学粗行为概念，再在概念条件下学局部动力学”的问题组织方式。

也要直接说：所谓推理并不是深层物理因果推理，更像是在线模式识别加短期 forward prediction。它能够解释 stuck/easy/hard move，但没有证明能理解更丰富的接触因果结构。planner 也没有形成长期游戏策略，主要是在局部避免损伤并完成抽取。

Relation To Prior Work

这篇工作处在 tactile manipulation、model-based control、latent variable dynamics、cognitive-inspired intuitive physics 的交叉谱系里。和当时主流视觉 RL / visuomotor policy 相比，它不是追求端到端策略，而是强调真实交互样本昂贵时的结构化模型学习。和 model-free RL 的差异很本质：它把数据用于学习可查询的物理生成模型，而不是直接拟合 action value 或 policy。

和普通 model-based learning 的差异在于，它不相信一个全局 dynamics model 足以覆盖接触多模态性。feed-forward NN 在这里的问题不是容量不足，而是缺少 mode separation，容易学出跨模式平均。和 mixture of regressions 的差异更微妙：二者都用 latent decomposition，但 MOR 的 latent component 主要是统计拟合产物，数量和语义由 predictive likelihood 决定；HMA 的 abstraction 更粗、更稳定、更 action-relevant。

看似新的部分里，Bayesian hierarchy、mixture clustering、MPC、visual-tactile fusion 都不是新概念；实质创新是把这些已有思想重组为一个以“行为概念”为中心的 manipulation learning pipeline，并且在真实接触任务上展示了 sample efficiency。它的价值更像系统级建模 insight，而不是单个算法突破。

Dataset / Evaluation

评估覆盖一个主要任务分布：随机生成/搭建的 Jenga tower，固定机器人、固定 end-effector、固定 primitive、固定感知设定。论文有 simulation baseline，也有真实机器人实验，这是强项；尤其真机结果说明该方法不是纯 simulator artifact。

但 evaluation 并没有真正验证“complex manipulation skills”这个广义 claim。任务是单任务、强结构、动作空间被 primitive 大幅约束，抽取/放置不是学习得到。指标是连续成功抽取数或 push/extract/place 成功率，能反映局部物理建模和控制稳定性，但不评估对抗性 Jenga 策略，也不评估跨任务泛化。

simulation 对比支持样本效率 claim：HMA 比 NN、MOR、PPO 更快达到高性能。但这里的 benchmark 对 HMA 的 inductive bias 很友好，因为 ground interaction 确实能被少数宏观模式描述。真机探索前后提升也支持 learned physics 有用，不过增益来源混有 hand-coded supervisor、MPC cost shaping、primitive design 和 perception constraints，消融不够充分。

Limitation

第一，方法依赖强结构化先验。机器人已知 block pose、force、tower perturbation，动作被限制为 push 和 extract/place，game-play 由手写 state machine 组织。这不是开放式 manipulation learning，而是结构化任务内的物理模式学习。

第二，抽象是否可泛化文中未充分说明。DP-GMM 在 Jenga 中恢复四个漂亮 concept，但在更复杂任务中，contact mode 可能更多、更连续、更依赖对象材料和几何。此时 coarse abstraction 可能不足，或者退化成不可解释的大 mixture model。

第三，长期规划能力被高估的风险很大。MPC horizon 很短，cost 主要避免 tower perturbation 和 no-move 行为。系统更像是在局部做安全抽取，而不是学习完整游戏策略或长期结构稳定性模型。

第四，真实世界部署依赖感知边界。实验中 tower rotation/displacement 超过阈值后视觉系统不可靠，failure criterion 也因此调整。这说明 learned physics 的上层表现受 perception pipeline 明显限制。

第五，增益归因不完全清楚。HMA 的优势可能来自 abstraction，也可能部分来自更合适的 cost shaping、显式 no-move penalty、工程化 primitive 和 supervisor。论文没有足够细的 ablation 来定量拆分这些因素。

第六，所谓 multisensory fusion 主要发生在状态估计和动力学模型层面，并非学习到更通用的跨模态表征。它能利用触觉弥补视觉遮挡，但还不能说明获得了可迁移的 visuo-haptic representation。

Takeaway

• 1. 对接触丰富操作，最值得迁移的不是具体 BNN/MCMC 实现，而是“先学 action-relevant coarse physics concept，再学局部 dynamics”的建模范式。
• 2. 触觉的价值不只是额外传感器通道，而是揭示视觉不可见 latent physical state；因此 fusion 应该服务于 belief update 和 dynamics disambiguation，而不只是 feature concatenation。
• 3. 在 reset 昂贵、失败代价高的真实机器人任务中，好的 inductive bias 往往比更大规模 RL 更关键。
• 这篇论文是一个很清楚的反例：不是所有 manipulation 问题都适合端到端 scaling。

一句话总结

这篇论文把 Jenga 作为载体，展示了用视觉-触觉交互学习粗粒度物理行为概念并将其嵌入概率动力学与 MPC 的结构化 model-based manipulation 路线，其真正贡献是 inductive bias 和信息流组织，而不是端到端策略或通用物理推理。