IEEE Transactions on Robotics

RUMI: Rummaging Using Mutual Information

作者：Sheng Zhong, Nima Fazeli, Dmitry Berenson · 机构：Department of Robotics, University of Michigan, Ann Arbor, MI, USA

会议/期刊：IEEE Transactions on Robotics · 发布日期：2025 · 页码：5431-5450

路径规划运动规划控制操作传感器

精读笔记

Problem Setting

论文：RUMI: Rummaging Using Mutual Information（IEEE Transactions on Robotics / 2025）。

这篇论文实际解决的是一个比“触觉位姿估计”更棘手的问题：机器人需要在视觉强遮挡、目标物可移动、只能通过接触获得关键信息的环境中，在线生成动作序列来减少目标物 pose uncertainty。关键不在于给定接触点后如何更新 pose belief，而在于接触动作本身会改变目标状态，甚至把目标推出工作空间。

这个任务的核心矛盾是：最有信息的区域通常在当前不可见、甚至不可达或接触后会被推动的位置；而为了获得信息，机器人必须接触目标，但接触又会改变后续观测几何和可达性。传统 active perception 默认环境静态，next-best-view/next-best-touch 可以把 action 当成无副作用 query；这里 action 是 intervention，观测模型和动力学耦合。

以前方法主要卡在三点：一是视觉或 GPIS 类方法把“不确定”理解为空间未观测，不能利用“已知形状但未知 pose”的结构；二是触觉探索常限制在沿表面滑动或单步 probe，绕开了 make/break contact 和长程动作序列；三是信息论规划通常计算太贵，只能 greedy 或低维动作空间。RUMI 的问题定位是：如何把已知形状诱导的 pose hypothesis disagreement 转成可实时规划的 workspace 信息场，并在移动物体条件下使用它。

Motivation

作者真正抓住的缺口是：已知物体形状时，探索目标不应是“哪里没看过”，而应是“哪里能最大地区分当前仍可能的 pose”。以 mug 为例，视觉看到杯身后，不确定性集中在 handle 方位；高价值区域是 handle 可能出现的带状区域，而不是整个遮挡空间。GP variance 这类空间平滑不确定性会错误地偏向远离观测点的空白区域，因为它没有把 shape prior 作为 pose-conditioned constraint 注入。

另一个动机是 movable object 改变了主动探索的代价结构。只优化信息会倾向于朝高信息区域推，但推的过程可能把目标带离 robot reachability；只优化接触或滑动又可能沿着低判别性区域消耗动作。作者的核心观察是：接触探索必须同时优化“相对目标的信息覆盖”和“未来仍能继续接触的可达性”。这不是普通 exploration bonus 能解决的，而需要把 belief、occupancy semantics、object displacement 和 reachability 放到同一个 MPC loop 里。

Core Idea

RUMI 的核心不是 particle filter，也不是 MPPI，而是把“pose uncertainty”重新投影成一个 dense workspace information field。给定当前 pose particles 和目标 SDF，每个空间点的语义 free / surface / occupied 都由不同 pose hypothesis 给出不同预测；如果在某个点做观测会强烈排除当前高权重假设，那么该点信息高。这样，规划不再直接在 SE(3) belief space 上做昂贵的信息搜索，而是在 workspace 中查表式地优化一张由 pose disagreement 诱导的场。

这个建模引入了很强但合理的 inductive bias：已知形状是全部结构先验，观测的价值来自“形状在不同 pose 下对同一点语义预测的冲突”。相比 GPIS，它不是学习/拟合一个未知 implicit surface，而是把 shape-conditioned pose hypotheses 作为 latent structure；相比 surface sliding，它允许机器人离开表面、重新接触，并规划一段 trajectory sweep。更本质地说，RUMI 把 active tactile exploration 从“探索未知几何”改成“通过体素语义查询做 hypothesis elimination”。这也是它可泛化到新已知物体的原因：不需要训练，只需要 SDF。

Method

1. Pose belief as energy over SDF consistency：方法用 particles 表示 pose posterior，用 free / occupied / surface 几何特征对每个 pose 计算 discrepancy，再通过 Boltzmann form 转成权重。它解决的是多模态 pose belief 和已知形状约束如何统一的问题。关键变化是：所有观测都变成对 pose hypothesis 的软排除，而不是直接拟合局部表面。

2. Mutual-information surrogate as workspace field：真实轨迹级 MI 计算不可行，作者改为对单个 workspace 点的语义变量计算 reverse-KL surrogate，并利用 discrepancy 的可加性，把信息增益近似成对 particles 和 semantic classes 的加权期望。它解决的是信息论规划不可实时的问题。核心变化是：信息增益可以预先在 voxel grid 上并行缓存，MPC rollout 只需查表。

3. Relative-motion corrected information cost：若物体被推着一起走，机器人在世界坐标扫过很多高信息点，但相对物体没有新增接触几何。作者引入预测 object displacement，把机器人轨迹点减去位移后再查询信息场。它解决的是 movable object 下“虚假信息覆盖”的问题。这个修正很关键，否则 planner 会奖励无意义的 sticking push。

4. Reachability shaping：纯信息代价会把物体推向不可达区域，尤其目标高信息区域在远侧时。reachability cost 不是直接奖励当前接触，而是奖励高信息 object-frame 区域在预测位移后落入 robot 可达区域。它解决的是长期可探索性，而不是单步信息量。严格说这是 reward shaping，但在 movable-object rummaging 中很可能是系统成功的必要条件。

5. Stochastic dynamics in MPC：动力学模型用当前 occupancy probability 预测接触和推动，并在 MPPI 中多次 rollout 平均。它不是精确物理模型，更像一个 conservative contact prior：避免 planner 选择明显会卡住或非推动接触的动作。这个模块更多是工程近似，但没有它，信息场无法闭环用于动作序列。

Key Insight / Why It Works

最核心的有效性来源是 better inductive bias，而不是 scaling、数据覆盖或复杂 optimizer。RUMI 明确利用“目标形状已知”这一强先验，把所有不确定性压缩到 pose distribution；因此信息增益天然集中在 pose hypotheses disagreement 的区域。mug handle 例子说明得很清楚：对 GP 来说，handle 区域可能离已观测 mug surface 很近，因此 variance 低；对 RUMI 来说，那里正是不同 yaw hypothesis 预测冲突最大的区域，因此信息高。这是本质差异。

第二个关键是把信息论目标工程化成可查表 field。reverse-KL、丢 normalization constant、conditional independence 这些近似从严格概率角度并不干净，但它们保留了排序上最重要的信号：哪些点会让当前高权重 pose 付出高 discrepancy。对于 planning 来说，绝对 MI 数值不重要，局部排序和空间结构更重要。因此即使 surrogate 不等价于真实 MI，也足够驱动接触探索。

第三个关键是 reachability，不应被看成附属项。论文结果里 InfoOnly 的常见失败是把对象推出可达范围，这说明在 movable-object setting 下，信息最大化本身是不完整目标。RUMI 真正优化的是“可持续获得信息”，不是 myopic information gain。这个思想比具体 reachability voxel 实现更值得迁移。

哪些部分可能只是辅助：KMPPI smoothing、具体 sensor model、resampling heuristic、clutter obstruction cost 的形式，大多是让系统稳定跑起来的 engineering。它们重要但不是 conceptual contribution。随机 dynamics model 也更像一个启发式 test-time simulator，而不是可泛化的接触动力学模型。

需要保持怀疑的是：planner 的 long-horizon reasoning 可能被高估。Horizon 并不长，且作者也承认更长 horizon 反而变差；很多成功来自 dense information field + receding horizon + reachability shaping 的局部反馈，而不是形成了复杂长期策略。这里的“规划”更像在线优化一个结构很好的势场，而不是解决一般接触 POMDP。

Relation To Prior Work

RUMI 属于 active tactile / interactive perception 和 belief-space planning 的交叉谱系，最接近的是基于 occupancy / GPIS 的 active exploration、next-best-touch、以及作者前作 CHSEL 的 pose hypothesis elimination。它的新意不是提出 particle filter 或 MI，而是把 CHSEL-style SDF discrepancy 的可加性用于实时信息场构造，再把这个信息场接到 movable-object MPC。

相对 GPIS / GP variance reduction，根本差异是 latent variable 不同。GPIS 估计的是未知表面函数，uncertainty 是函数空间不确定性；RUMI 估计的是已知形状的 pose，uncertainty 是 SE(3) hypothesis uncertainty。前者在已知形状但未知 pose 的场景中表达能力反而错位，因为它很难把完整 mesh prior 条件化进去。RUMI 的强项正来自这个问题重参数化。

相对 next-best-view / next-best-touch，RUMI 不是选择单个 probe 点，而是评估整段机器人 swept volume 的信息覆盖，并考虑接触导致的目标位移。相对 surface sliding，它不把动作空间限制在物体表面，而允许 make/break contact；这使其更 general，但也要求引入粗糙动力学和可达性代价。

看似新的部分里，MI、occupancy grid independence、particle approximation、MPPI 都是已有思想重组；实质创新在于：shape-conditioned semantic disagreement field、object-relative trajectory information cost、以及 movable-object reachability shaping 这三者的组合。

Dataset / Evaluation

评估设计总体是有说服力的，因为它覆盖了仿真和真机、不同几何复杂度物体、SE(2) 与 SE(3) pose、初始视觉可见与不可见、以及未知 clutter。尤其真机 mug/box 和 clutter 任务能证明该方法不是纯仿真 artifact。

实验支持的核心 claim 是：在已知目标形状、准静态接触、外部初始感知可产生语义点云的设定下，RUMI 比 GP variance、滑动启发式、单独信息/可达性 ablation 更稳定。它也支持一个更具体的判断：shape-aware information field 比 generic spatial uncertainty 更适合 pose disambiguation。

但 evaluation 的边界也很清楚。任务规模仍是 tabletop / shelf-like quasi-static rummaging；真实 clutter 只在仿真中系统评估；目标形状已知且可分割/聚类；box 真机中还使用 ground-truth pose change 以绕开位移估计问题。NLL 指标依赖 ground-truth pose 和作者自己的 sensor likelihood 模型，虽然合理，但与实际下游 manipulation success 之间还有距离。

消融能说明 reachability 和 information 都有用，但增益归因仍不是完全干净：GPVR baseline 被迫依赖同一套 pose particles 做 shape augmentation，已经不是纯 GPIS；而 RUMI 的优势可能部分来自更合适的 representation，而非 MI objective 本身。换句话说，论文验证了“pose-hypothesis semantic field 好”，但没有完全隔离“MI surrogate”相对其他 disagreement metric 的必要性。

Limitation

最大前提是目标 SDF 已知且几何足够可区分。若目标形状未知、类别内形变大、或 clutter 与目标几何相似，belief construction 和信息场都会失效。论文讨论了 shape particle 的可能方向，但当前方法并未解决。

第二个前提是接触动力学足够温和：对象不翻倒、不滚动、不发生复杂多体接触，机器人动作慢且 quasi-static。RUMI 的 dynamics model 是启发式的 pushing/contact predictor，不是物理一致的 contact planner。遇到薄壁、摩擦不确定、多点接触、nontarget object chain reaction 时，planner 的 rollout 可信度会迅速下降。

第三个限制是计算和表示规模。信息场计算依赖 workspace voxel × pose particles；MPC 又乘上 action samples 和 stochastic rollouts。论文中 1Hz 对 rummaging 够用，但这不是无代价 scalable。全 SE(3)、更高分辨率触觉、更大 workspace、多对象 belief 同时维护都会显著放大成本。

第四个限制是观测语义假设。方法要求传感器输出可转成 free / surface / occupied 点，并且位置基本准确，只把不确定性放在 semantics 上。这在真实软触觉、遮挡视觉、机器人自遮挡下并不总成立。文中未充分说明严重误检、漏检、接触 patch 偏移对 posterior energy 的系统性影响。

第五个限制是 termination 和 correctness。APC convergence 作为 NLL proxy 在 SE(2) 上相关性强，但 SE(3) box 上弱一些。粒子收敛可能是错误收敛，尤其在对称物体、贫观测、错误动力学更新后。这里存在 hidden failure mode：belief 看似确定，但真实 pose 不在 particle support 内。

Takeaway

  • 1. 对已知形状物体，active tactile exploration 的关键表示不是局部 surface uncertainty，而是 pose hypotheses 对 workspace semantics 的 disagreement。
  • 这个表示选择比 planner 本身更重要。
  • 2. 在可移动目标上，信息增益必须写成 object-relative；否则 trajectory sweep 会奖励物体被推着一起走产生的假覆盖。
  • 这一点可迁移到其他 interactive perception / manipulation-as-sensing 问题。

一句话总结

RUMI 是一篇把已知形状物体的接触式主动位姿估计从“探索未知空间”重构为“用语义体素查询做 pose hypothesis elimination”的系统论文，真正贡献在于 shape-conditioned information field 与 movable-object reachability-aware MPC 的结合。