IEEE Transactions on Robotics

Active Inference for Bandit-Based Autonomous Robotic Exploration With Dynamic Preferences

作者：Shohei Wakayama, Alberto Candela, Paul Hayne, Nisar Ahmed · 机构：Smead Aerospace Engineering Sciences Department, University of Colorado Boulder, Boulder, CO, USA; Jet Propulsion Laboratory, California Institute of Technology, Pasadena, CA, USA; Astrophysical and Planetary Sciences Department, University of Colorado Boulder, CO, USA

会议/期刊：IEEE Transactions on Robotics · 发布日期：2025 · 页码：3841-3851

操作传感器飞行机器人

精读笔记

Problem Setting

论文标题：Active Inference for Bandit-Based Autonomous Robotic Exploration With Dynamic Preferences（IEEE Transactions on Robotics / 2025）。

这篇论文的问题不是“机器人如何识别矿物”，而是：在一个已经有候选搜索地点、每个地点有上下文传感信息、每次只能选择一个地点进一步观测的设定下，机器人如何用很少的交互次数找到符合科学家当前兴趣的地点。换句话说，它关心的是 resource-limited scientific site selection，而不是完整 autonomous exploration pipeline。

真正困难点有三层。第一，观测模型未知且 noisy：同一个 site 的 hyperspectral context 到矿物 label 的映射不是确定的。第二，机器人不能靠大量 trial-and-error 收敛，因为实际矿物/行星/灾害探索中 sensing budget 很小。第三，目标 outcome 不是固定 reward，可以随科学家兴趣动态变化。这个第三点是本文相对普通 CMAB 更有价值的设定：最优 arm 不是环境中静态存在的单一对象，而是由“环境概率结构 × 当前专家偏好”共同定义。

以前方法卡在 reward-centric bandit 框架：epsilon-greedy、UCB、TS、普通 softmax 都能处理探索-利用，但偏好通常只能被编码成 reward 或目标类别。一旦目标矿物变了，策略虽然可以换 reward，但它没有一个天然机制同时重估“当前偏好下的 exploitation”和“哪些 arm 的不确定性对未来偏好切换有价值”。本文的关键矛盾就是：有限交互下既要追当前科学目标，又不能因为过早 exploitation 而在偏好切换时没有足够模型知识。

Motivation

已有路线不够的点不是没有 bandit 算法，而是缺少一个把专家偏好作为一等公民的 action objective。常规 CMAB 的 action score 多数来自经验 reward、posterior sample 或 upper confidence，对 outcome preference 的表达比较间接；POMDP/GP 虽然更丰富，但代价是 reward/transition/kernel/planner 超参数都要人为设计，且未必适合小预算、低带宽、远程探索任务。

作者的核心观察是：科学探索中的“好”并不等价于环境中某个固定 reward 函数，而是取决于专家当前希望看到的 outcome distribution。用一个 prior preference distribution 描述“值得观测的结果”，比手工 reward shaping 更接近科学任务接口。AIF/EFE 正好提供了这种形式：它天然包含 preference alignment 和 information gain，因此看起来适合把 human preference 与 exploration bonus 合并。

关键缺口是先前 AIF-CMAB 工作主要在 synthetic hidden parameters 和随机 context 上验证，缺少真实科学数据中的噪声、偏置、类别合并、site heterogeneity；同时先前通常假设偏好 stationary，而真实科学任务中专家兴趣会随着发现而改变。本文填的是这个 validation gap，而不是提出全新的 AIF 理论。

Core Idea

论文真正核心的方法思想是：把 contextual bandit 的 arm value 从单一 reward estimate 改写成 expected free energy。EFE 的 extrinsic 部分不是传统 reward，而是预测 outcome 分布与专家 prior preference 的交叉熵式对齐；epistemic 部分是选择某个 arm 后对该 arm 隐参数后验的不确定性削减。于是 action selection 不再只是“哪个 arm 现在最可能给 reward”，而是“哪个 arm 在当前偏好下既可能产生想要的 outcome，又最值得用来改善模型”。

这个建模改变引入了一个重要 inductive bias：机器人被偏置到寻找“专家想看”的观测，而不是抽象最大化任务 reward；同时在 uncertainty 高的位置保留主动探索动力。偏好变化时，信息流只需要更新 p_pr(o)，同一套 posterior 和 likelihood 立刻被重新解释。相比常规 bandit，这不是更强的模型 capacity，而是更合适的 objective factorization：把 task preference 从 reward engineering 中解耦出来，变成可在线替换的概率分布。

本质区别在于：AIF 没有把探索 bonus 当作外加 heuristic，而是把 epistemic value 嵌入同一个 free-energy objective。这使它在动态偏好场景下更自然，因为过去为了学习参数而积累的不确定性信息可被新偏好重新利用。这里的 generalization 不是跨环境泛化，而是同一环境模型在不同 preference query 下的重用。

Method

1. 独立 site 的 softmax observation model：每个候选地点有自己的 multinomial logistic 参数，用 hyperspectral context 预测矿物 label 分布。它解决的是“context 到 outcome probability”的建模问题；必要性在于 CMAB 不能只用历史 reward，必须用每次 sensing 的上下文；核心变化是把 site quality 变成条件概率，而不是固定均值。

2. Bayesian posterior over softmax parameters：机器人维护每个 site 的参数不确定性。它解决的是小样本下不知道哪些 site 可信的问题；必要性在于 epistemic value 需要一个 uncertainty carrier；核心变化是 action score 依赖 posterior distribution，而不只是 point estimate。

3. EFE-based arm scoring：对每个 site 计算 extrinsic value 与 epistemic value。前者让策略对齐专家当前想看的矿物，后者让策略主动选择能减少模型不确定性的 site。它解决的是偏好驱动 exploitation 与信息驱动 exploration 的统一；核心变化是偏好不再藏在 reward 标量里，而是直接进入目标函数。

4. Dynamic prior preference：当科学家兴趣改变时，替换 outcome prior preference 分布。它解决的是目标在线变化的问题；必要性在于真实科学探索中目标常由阶段性发现驱动；核心变化是策略无需重新学习或重设 reward，只需用同一个 posterior 在新偏好下重新计算 EFE。

5. Laplace approximation：softmax likelihood 与高斯 prior 下 EFE 不可解析，作者用 Laplace 近似计算预测 outcome 和 posterior-related 项。它解决的是 tractability；但这更像工程可计算化，不是本文最核心的 conceptual contribution。

Key Insight / Why It Works

最关键的 insight 是：动态科学偏好下，探索的价值不应该只由当前 reward gap 决定，而应该由“未来在不同偏好下能否重新解释环境模型”决定。AIF 的 epistemic term 让 agent 不只是追当前最偏好的矿物，还会减少 site-specific observation model 的不确定性；一旦偏好切换，已经学到的 likelihood structure 可以立即支持新的 exploitation。这解释了为什么动态偏好实验中 AIF 的优势比静态偏好更明显。

我认为真正有效的部分是 objective decomposition，而不是 active inference 的神经科学叙事。把 preference distribution 显式放进 extrinsic term，把 mutual-information-like uncertainty reduction 放进同一 score，本质上是一种更干净的 Bayesian experimental design + preference-conditioned utility。AIF 术语提供了统一表述，但机制上接近“偏好条件化的贝叶斯 bandit acquisition function”。

静态偏好下 AIF 并没有压倒性优势，甚至与 tuned softmax 接近，这很说明问题：如果目标固定，普通 exploitation-heavy heuristic 在小预算下也可能表现很好；AIF 的边际价值主要出现在 preference nonstationarity，而不是一般 CMAB。换言之，本文最强 claim 应该是“dynamic preference adaptation”，不是“AIF universally beats bandits”。

哪些可能只是辅助：Laplace approximation、PCA 降维、softmax regression、具体 precision/temperature/exploration 参数选择，都更像为了让实验跑起来的 engineering。尤其超参数均通过 initial trials 选择，增益来源不完全干净。AIF 相对 TS/UCB 的优势可能部分来自 acquisition function 与评估 regret 定义更匹配，而不一定代表更普适的 exploration 能力。

是否是 scaling？不是。本文没有展示大规模 K/F/C 下的系统扩展，也没有深模型表示学习。是否是 retrieval？也不是典型 retrieval，但有“模型记忆重用”的味道：posterior 学到的 site-label 结构在偏好变化时被重新查询。是否是 better inductive bias？是，这是最准确的归因：把人类 outcome preference 和信息增益以概率形式绑定，是对科学探索任务更合适的 inductive bias。

需要警惕的是 evaluation bias：所谓 ground-truth best-fit parameters 是用同一真实数据离线训练出的 softmax 模型，再用来定义 regret 和采样环境。由于真实 label 被聚类、PCA 后分类准确率有限，best-fit optimal 也不是绝对 oracle；文中甚至观察到某些方法在部分 run 中 regret 低于 best-fit 策略。这说明 regret benchmark 本身带有构造噪声，AIF 增益不能被解读成严格意义上的最优性提升。

Relation To Prior Work

最近的路线是 contextual bandit for robotics、Bayesian experimental design、preference-aware decision making，以及 active inference robotics。本文不是从零提出新算法族，而是把先前 AIF-CMAB synthetic work 放进真实科学数据和动态偏好设定。

相对 epsilon-greedy/UCB/TS，真正不同点不是“也会探索”，而是 action score 的语义不同：UCB/TS 的探索服务于 reward learning；AIF 的探索服务于降低隐参数不确定性，同时 reward-like 部分由 outcome prior preference 定义。也就是说，AIF 的新增信息是专家希望看到的 outcome distribution，而不是新的环境观测。

相对普通 softmax bandit，表面上两者都是 softmax action policy，但 softmax bandit 对历史 reward 做温度采样；AIF 对未来 outcome-preference alignment 和 epistemic gain 做 softmax 采样。这是本质差异。实验中静态偏好下两者接近，也说明如果不利用 preference dynamics，AIF 的结构优势会被削弱。

相对 POMDP/GP，AIF-CMAB 是更轻量的抽象：放弃多步状态转移、路径规划和空间相关，换来低建模成本和偏好接口。这不是更 general 的 planner，而是更适合“候选点已给定、交互预算小、目标 outcome 可切换”的中间层决策器。

看似新但其实是已有思想重组的部分：EFE 中的 epistemic term 与 Bayesian information gain/experimental design 很接近；prior preference 类似 preference-conditioned utility；Laplace 近似是标准近似推断。实质创新在于把这些组合成一个可用于 robotic scientific bandit 的 preference-dynamic selection rule，并用真实 hyperspectral/mineral 数据验证。

Dataset / Evaluation

数据使用 Cuprite, Nevada 的 AVIRIS-NG hyperspectral map 和地质专家 mineral labels。相比 synthetic benchmark，这是本文最重要的实验升级：真实光谱噪声、标签混合、类别不平衡、无效像素和 site 间异质性都会进入任务。作者还把 97 维光谱 PCA 到 8 维，把 215 个 label 聚成 14 类，再切出多个非重叠 search sites。这个 preprocessing 合理但也强烈塑造了任务难度。

评估仍然是 simulation，不是真实机器人部署。所谓每次 context 变化来自 site 内随机抽 pixel，这能模拟 sensing coordinate uncertainty，但没有飞行路径、能耗、安全约束、视角几何、传感器主动控制，也没有人类科学家真实在线交互。因此它验证的是 bandit-level decision rule，不验证完整 autonomous exploration。

实验最支持的 claim 是动态偏好下 AIF 的适应性。偏好每 20 step 周期切换，AIF 利用已学 posterior 在新目标下重新选择 site，表现优于常规策略。这个设置确实击中了方法核心。但偏好变化模式过于规则、外部给定，缺少由观测触发的非平稳科学决策；所以它证明的是“可处理指定 preference schedule”，不是“真实科学协同中稳健适应人类意图”。

静态偏好结果支持力度较弱。AIF 与 tuned softmax 接近，且 regret 分布有明显 bimodality；文中解释为数据预处理和 best-fit 模型不完美导致。这意味着 benchmark 本身噪声较大，对小差异不应过度解读。

此外，所有 baseline 的超参数都经过 initial trials 选择，但选择过程未充分说明。AIF 的 precision、softmax temperature、UCB c、epsilon 等都会显著影响小预算 regret；如果没有系统 sensitivity analysis，很难完全排除调参偏差。

Limitation

1. 不是完整探索，只是候选点选择。候选 site 预先给定，空间结构被基本忽略，机器人运动成本和多步规划都不在模型内。因此它不应被解读为解决 autonomous exploration，只是解决 exploration pipeline 中的 high-level site prioritization。

2. site 独立假设限制了 sample efficiency 上限。每个 site 有独立 softmax 参数，跨 site 的地质/空间相关没有共享。真实矿物分布通常有强空间连续性和地质结构，忽略这些结构会导致模型需要重复学习；如果加入 GP 或 hierarchical Bayesian sharing，AIF 的相对优势可能变化。

3. 动态偏好是外生且简单的。偏好按固定周期切换，机器人不需要推断人类意图，也不需要处理 ambiguous preference feedback。真实科学任务中偏好会由阶段性发现、假设更新和任务风险共同决定，本文未覆盖。

4. 增益归因不够清楚。AIF 的优势可能来自 EFE 的 epistemic term，也可能来自 prior preference 与 regret 定义更一致，或来自 hyperparameter tuning。文中没有做足够的 ablation，例如去掉 epistemic term、只用 preference-conditioned expected reward、或比较 information-gain bandit acquisition。

5. Laplace 近似的 scalability 和稳定性未充分说明。随着类别数、上下文维度、site 数增加，每个 arm/outcome 计算 MAP/Hessian 的代价和数值问题会变明显。本文通过 PCA 和 label clustering 降低了维度，因此不能证明方法天然 scalable。

6. Ground-truth evaluation 有构造偏差。真实 hidden parameters 由离线 softmax regression 学得，准确率并不高；regret 基于这个 best-fit model 定义，而不是实际地质真值。由于标签聚类和模型 misspecification，best-fit optimal 本身并非严格 oracle。评估能说明方法在这个模拟环境有效，但不能保证真实矿物采样收益。

7. 机器人“推理”能力不要高估。这里没有长期状态建模，也没有因果假设更新或任务级计划；所谓 active inference 更像一个 preference-aware acquisition function。planner 实际没有形成长期状态建模。

Takeaway

  • 1. 最值得迁移的不是 AIF 名称，而是把 human/scientific preference 表达成 outcome prior distribution，并把它直接放进 acquisition function。
  • 对科学机器人、主动学习、实验设计都很有用。
  • 2. 动态偏好是检验探索策略的好 stress test。
  • 很多 bandit 方法在静态 reward 下差异不大，但一旦目标切换，是否学到了可重用的环境结构会立刻显现。

一句话总结

这篇论文把 AIF/EFE 作为一种 preference-conditioned Bayesian bandit acquisition function，用真实 hyperspectral-mineral 数据证明其在动态专家偏好下比常规 CMAB 更自然，但核心贡献主要是目标函数归纳偏置与真实数据验证，而不是新的规划能力。