Awesome World Models / OpenReview

Mobile Manipulation with Active Inference for Long-Horizon Rearrangement Tasks

作者：作者信息待提取 · 单位：VERSES AI Research Lab · 来源：World Models for Embodied AI · 发布日期：2025 · 分类：2. World Models for Manipulation

具身智能机器人操作

精读笔记

Problem Setting

论文标题：Mobile Manipulation with Active Inference for Long-Horizon Rearrangement Tasks（Awesome World Models / 2025）。

这篇论文真正处理的是长时程 household rearrangement 中的分层闭环控制问题：机器人需要在多个房间、多个物体、多个容器/抽屉/冰箱交互之间连续切换，并且每一步失败都会污染后续状态。困难不在于 task graph 本身有多复杂，而在于每个 symbolic subgoal 到连续物理执行之间存在很大的接口不确定性。

以前方法主要卡在两端：端到端 RL 的 horizon 太长、探索太稀疏、reward shaping 过重；分层 RL / skill chaining 虽然把任务拆短，但低层 skill 是在有限状态分布上训练出来的，一旦上一个 skill 的终止状态偏离训练分布，下一个 skill 就容易失效。TAMP 则依赖较准确的世界模型、几何状态和采样规划，算力与感知假设都偏重。

这篇的关键矛盾是：长时程 rearrangement 需要离散层面的任务组合，但成功率主要由连续层面的误差吸收能力决定。换句话说，高层计划通常不难，难的是每个计划步骤都必须能在实际几何状态偏差下被重新解释和修正。

Motivation

作者的动机不是再训练一个更强 skill policy，而是质疑 learned skill chaining 的接口形式：如果低层 policy 被看作一个从观测到动作的黑盒，那么 skill 之间只能通过状态分布对齐来组合；一旦 distribution mismatch 出现，就需要更多数据、更强训练或更复杂 reset。

active inference 提供的缺口填补在于：把目标写成 prior/preference，把控制写成 prediction error minimization。这样 skill 的执行不再是“调用一个固定 policy”，而是“给连续 generative model 一个目标，让它在线消除误差”。这个视角天然适合处理执行过程中的小偏差、障碍和目标变化。

关键缺口是：此前 active inference 多停留在 2D toy task、眼动/手写或简单 manipulator 控制，没有在 Habitat 这类标准长时程移动操作 benchmark 上证明过可比 SOTA。论文想证明的不是一个新 benchmark，而是 active inference 能否从低维控制扩展到实际 embodied AI task stack。

Core Idea

核心思想是把长时程 mobile manipulation 重新组织成一个层级 generative model：上层在离散任务状态中选择 skill，下层把这些 skill 解释为连续目标/偏好，并通过全身 active inference 控制器实时最小化预测误差。信息流的关键变化是：高层 action 不直接等价于 motor command，而是成为下层 generative model 的 preference；下层执行反馈又能改变高层 belief，使 retry 和 skill switching 成为在线推断的一部分。

这引入的 inductive bias 很强：机器人不是学习“在某个状态下该做什么动作”，而是假设世界可以由显式几何/运动学 generative model 描述，任务可以由一系列 attractor / repulsor goals 实现。这个 bias 在 Habitat 这类几何结构明确、物体目标已知、抓取抽象化的环境里非常合适，因此比数据驱动 RL 更省样本，也更容易跨 layout 泛化。

和 prior 的本质区别不在于也做了 hierarchy，而在于 skill 的低层实现不是离线学到的独立 policy，而是共享一个可组合的 whole-body inference controller。由此 skill composability 来自同一个连续误差最小化机制，而不是多个 policy 的行为边界拼接。

Method

1. 高层离散 active inference：解决长时程任务中的 skill selection 和失败后的重新决策问题。它维护机器人相对 pick/place 位置、对象是否在 inventory/receptacle 等抽象状态。需要它的原因是 benchmark 的任务进展天然是离散的；核心变化是 plan 不必完全 open-loop，可以根据 success/failure observation 调整。

2. Pick/Place retry model：解决局部操作失败常见但不可完全预测的问题。它维护多个 approach variants，根据低层反馈切换策略。这里的关键不是模型复杂度，而是把“失败”显式变成状态转移，而不是让一次失败直接终止整条 skill chain。

3. Whole-body HAIF controller：解决移动底盘和机械臂分离控制导致的 reachability 与 hand-off 问题。论文把 base 的 differential drive generative model 和 arm kinematic generative model 连接起来，使 arm 的 extrinsic prediction error 可以传回 base wheel beliefs。核心变化是：当手臂够不到或姿态不合适时，底盘可以作为同一个误差最小化系统的一部分移动，而不是先导航到一个预设 pose 再静态操作。

4. Goals / obstacles as dynamics priors：解决目标跟踪和避障统一表达的问题。attractor goal 与 repulsive obstacle 都写进 dynamics prediction error，相当于用同一种 free-energy gradient 处理 reaching、joint-limit avoidance 和 collision avoidance。这使得多个约束可以在线叠加，但也意味着行为质量高度依赖手写势场和 precision/tuning。

5. VBGS + A*：用于环境表示和导航 waypoint 生成。它们支撑系统跑在复杂 layout 上，但从机制上看更像工程组件。特别是 A* 不是 active inference planning，说明论文的“fully hierarchical active inference”在导航层面并不纯粹。

Key Insight / Why It Works

最可能真正有效的原因是：它用显式运动学和全身闭环控制替代了 learned skill policy 的分布泛化问题。Habitat rearrangement 的很多失败来自机器人底盘停得不够好、arm workspace 不够、抓取/放置前姿态偏差、容器附近空间受限。whole-body controller 允许在执行 manipulation 时持续调整 base，而不是把 navigation 和 manipulation 切成两个刚性阶段，这一点对 benchmark 性能非常关键。

第二个有效点是 test-time compute / online inference。RL baseline 的能力主要固化在训练后的 policy 中；本文方法每一步都在当前 belief、目标和障碍下重新求解控制。这更接近 MPC/operational-space control 的优势，只是被表述为 active inference。若环境动力学和几何模型足够准确，online optimization 往往比离线 policy 更稳。

第三个有效点是强结构先验，而不是数据 scaling。系统假设 robot kinematics、目标位置、object state、grasp abstraction、地图或地图构建方式都可用；这些先验极大降低了学习难度。性能提升不应被解读为 active inference 在无监督感知—操作闭环上已经超过 RL，而应解读为：在强几何先验和抽象抓取设置下，inference-based controller 比 data-hungry RL 更合适。

最核心贡献我认为是 arm-base prediction error coupling：把机械臂误差传到底盘，让底盘参与最小化末端目标误差。这是比“高层 active inference planner”更实质的机制。高层模型本身很接近 symbolic FSM/POMDP skill scheduler；如果没有细致消融，不能证明 high-level active inference 是性能主要来源。

辅助但非核心的是 VBGS 和 retry variants。VBGS 提供在线地图，但文中使用 privileged floor map/path planning 的说法削弱了它作为核心世界模型的作用。retry model 很实用，但本质上是手写多策略 fallback；增益来源可能主要来自 approach variant 覆盖，而不是复杂 inference。

需要直接指出：这篇的“无离线训练”并不等于无人工成本。成本从数据采样转移到了 generative model 设计、skill 序列设计、precision/threshold/势场调参和 privileged state 接口。若比较对象是大规模 RL，这种转移是合理的；但若声称更 general，需要更强证据。

Relation To Prior Work

最接近的技术谱系有三条：分层 mobile manipulation / multi-skill RL、TAMP/geometry-based planning、以及 hybrid active inference。论文实际上位于这三者交界处：高层像 POMDP/FSM task planner，导航像 classical planning，低层像 operational-space whole-body controller，只是统一用 active inference/free energy 的语言写成。

相对 Habitat 2.0 和 Gu et al. 的 multi-skill RL，真正不同点是 low-level skill 不由离线 RL policy 实现，而由一个共享的 generative-model controller 实现。这避免了每个 skill 单独训练和 skill boundary distribution mismatch，也让 mobile manipulation skill 更自然地使用全身自由度。

相对 TAMP，本文少了复杂符号—几何联合搜索，更多依赖在线连续控制吸收误差；但它也继承了 TAMP 对先验结构、目标状态和场景信息的依赖。说它完全摆脱 planner 并不准确，因为导航仍用 A*，task sequence 也高度结构化。

相对 active inference prior work，实质推进在于把 HAIF 从 arm/2D toy setting 扩到 differential-drive mobile manipulator，并接入长时程 benchmark。理论形式上很多来自已有 HAIF 和 hybrid active inference；新增信息主要是工程集成和 whole-body coupling，而不是新的 free-energy objective。

所以这篇看似是 active inference paper，本质上更像“用 active inference 重新表述并整合 structured robotics stack”。它的价值在于证明这种结构化 inference stack 在标准 embodied benchmark 上可行，而不是提出了一个全新 planning theory。

Dataset / Evaluation

评估覆盖 Habitat Benchmark 的 TidyHouse、PrepareGroceries、SetTable，包含跨 apartment layout、多个物体移动、抽屉/冰箱等 articulated interactions。相比 toy active inference 任务，这确实是更有说服力的复杂性提升。

但 benchmark 仍是仿真，且关键交互被抽象化：grasp 是 snap-based，目标位置可感知，object held 是 scalar，articulated object state 有 privileged access，导航依赖 floor map/A*。这些设置验证的是“在 Habitat 抽象条件下的长时程 skill orchestration + whole-body control”，不是完整视觉—接触—操作闭环。

实验对核心 claim 的支持是部分成立的：它确实说明无需离线 RL 训练的 active-inference-style hierarchy 可以在该 benchmark 上超过训练型 baseline。但它没有充分证明 active inference 相比普通 hand-coded hierarchical controller、MPC、IK+FSM 的独立贡献。缺少关键消融使增益归因不清。

结果中 SetTable 仍明显更难，说明 articulated object + constrained container interaction 是系统上限暴露点。总体成功率提升有意义，但不能过度解读为 long-horizon reasoning 的突破；更像是低层执行鲁棒性提升带来的链式成功率改善。

Limitation

1. 强 privileged information：文中承认依赖 global map、articulated object states；实验还使用 goal position sensing、abstract grasping。这些假设显著简化了 embodied perception 和 contact-rich manipulation。

2. 高层 reasoning 可能被高估：高层 active inference 只在很低维的任务抽象状态上做 skill selection，且任务本身已由 subgoals 指定。所谓长期规划更像结构化 skill scheduling，不是开放世界中的目标分解或因果推理。

3. 技能是手写目标序列：Pick、Place、PickFromDrawer、PickFromFridge 都由固定 subgoal routines 构成。系统泛化依赖这些 routines 是否覆盖 benchmark 几何分布；一旦容器形状、抓取 affordance、接触动力学变化，泛化未必成立。

4. 增益归因不清：没有看到充分消融来区分 active inference、高层 retry、whole-body coupling、VBGS、A*、手写技能各自贡献。很可能主要增益来自 whole-body controller 和 loose base threshold，而非完整层级 active inference。

5. 从仿真到真机鸿沟很大：HAIF 的 kinematic generative model 假设观测和控制响应相对干净；真实机器人中的轮滑、碰撞、关节延迟、相机遮挡、抓取失败、抽屉摩擦都会破坏这些假设。文中未充分说明如何处理接触不确定性。

6. scaling 上限：该框架每扩展一种 object interaction 可能需要设计新的 skill routine 和 retry variants。它不是靠数据自动覆盖长尾，而是靠人工 generative model/skill library 扩展；可维护性和开放词汇任务能力仍是问题。

Takeaway

  • 1. 对长时程移动操作，低层连续闭环吸收误差往往比高层 planner 更决定成败；把 base 和 arm 作为同一个全身控制问题处理，是值得迁移的 insight。
  • 2. active inference 在这里的价值主要是提供统一接口：goal、constraint、obstacle、belief update、control 都能写成 prediction error minimization。
  • 这种接口有利于模块组合，但不自动带来开放世界泛化。
  • 3. “无训练”路线并不免费，它把成本转成结构先验和人工 skill design。

一句话总结

这篇论文把 active inference 从 toy control 推到 Habitat 长时程移动操作，真正贡献是用结构化层级 generative model 和全身闭环误差最小化替代离线 skill policy chaining，但其成功很大程度依赖强几何先验、手写技能和 privileged 仿真接口。