精读笔记

Problem Setting

这篇论文实际处理的是一个很具体但机器人里很常见的 setting：任务逻辑结构是已知的，机器人可以形式化地知道哪些动作序列满足任务/安全约束；但每个动作的多目标代价，例如时间、能量、风险，是未知、随机、需要在线学习的。机器人重复执行同一个高层任务，每一轮都要从当前状态合成一个满足 LTLf 的有限计划。

真正困难点在于三重目标互相拉扯：第一，任务满足和安全不能靠探索试错，必须每轮保证；第二，多目标代价未知，需要探索足够多的计划/边来学 Pareto front；第三，用户往往只关心 Pareto front 的某个局部区域，而不是平均公平地学习所有 tradeoff。已有 scalarization 方法会过早把问题压成单目标，可能只学到一个偏好方向；MOMAB/UCB 风格方法可以更公平地覆盖 Pareto set，但不会自然收敛到用户想要的 tradeoff。关键矛盾就是：学习整个 Pareto front 需要分散探索，遵循用户偏好需要局部 exploitation。

Motivation

作者不想把复杂任务完成、约束满足、多目标 tradeoff 全塞进一个 reward。这个判断是合理的：在机器人 manipulation / navigation 里，qualitative task structure 往往来自设计者、环境地图、任务逻辑，而不是应该从数据里猜出来。把任务完成编码进 reward 不仅 sample inefficient，也很难给 safety guarantee。

已有路线缺的是一个 principled selector：在已经得到一批当前看起来 Pareto-optimal 的候选计划之后，如何既尊重用户偏好，又继续收集对 Pareto front 有用的信息。线性权重的问题不是不能用，而是它把“偏好”表达成尺度敏感的权重，且通常只指向一个方向；TOPSIS/距离类方法在不同单位目标上更 ad-hoc；uniform Pareto selection 可以探索，但对用户偏好没有解释。作者的核心缺口判断是：MORL 里 selection 本身应该被建模成一个 under uncertainty 的高层决策问题，而不只是一个 scalarization trick。

Core Idea

核心思想是：先用形式化多目标规划把“能安全完成任务且当前非支配”的计划集合显式算出来，再把这些计划当作 macro-action，用 active inference 的 expected free energy 来选择下一轮执行哪个 Pareto candidate。这个重组很关键：用户偏好只在 Pareto candidates 上起作用，因此不会直接把系统推向 dominated plan；而 EFE 又不是单纯偏好匹配，它还包含参数信息增益项，所以偏好附近还会有探索。

它引入的 inductive bias 是 outcome-distribution preference。用户不是给一个权重向量，而是给一个关于累计多目标 cost 的 Gaussian prior：均值表示理想 tradeoff，协方差表示可接受/愿意探索的区域大小。协方差小，selector 很快锁定偏好局部；协方差大，行为接近更广泛的 Pareto exploration。这个建模比权重 scalarization 更像“指定 objective-space region of interest”，也更容易解释为什么 exploration-exploitation 可以由同一个量控制。

Method

方法中真正必要的机制不多。

第一，形式化任务层把 LTLf 编译成 DFA，再和机器人 DTS 做 product graph。它解决的是 qualitative correctness：所有候选计划都是从当前 product state 到 accepting state 的路径，因此 task satisfaction 和可编码进 LTLf 的 safety 是硬约束。这一步的核心变化是把 RL 需要探索的空间限制在任务可行计划上，而不是让学习器自己发现什么叫完成任务。

第二，代价模型用每个 state-action 独立的多元 Gaussian，参数后验用 NIW 表示。它解决的是多目标随机代价未知且协方差未知的问题。NIW 的价值主要是工程上和统计上可更新：执行后直接用观测 cost 更新均值/协方差后验，从而 selection 能看到 epistemic uncertainty，而不是只看 empirical mean。

第三，planner 用 learned mean 的 lower confidence bound 构造 vector edge cost，再做 multiobjective shortest path 得到当前近似 Pareto plans。它解决的是边级探索不足：如果只用 posterior mean，早期低估/高估会导致某些边永远不被探索。LCB 在成本最小化语境下把不确定边暂时看得更便宜，鼓励进入未知区域。

第四，selection 用 EFE 在 Pareto set 上打分。第一项是 predicted cumulative cost distribution 与 preference prior 的 cross-entropy/expected surprise，本质上偏好匹配；后两项是执行该计划后对隐藏状态/参数不确定性的期望减少。由于转移 deterministic，state information gain 被消掉，主要剩参数信息增益。因为 convolved NIW 不可解，作者用 certainty-equivalent observation distribution、CLT 近似累积参数后验为 Gaussian、Monte Carlo 估计执行后熵。这些近似是让机制落地的关键，但不是概念贡献本身。

Key Insight / Why It Works

最重要的 insight 是：不要在全计划空间里用用户偏好做 scalarization，而是在 Pareto-optimal candidate set 上做 preference-aware selection。这个顺序改变了问题性质。若先 scalarize，偏好模型会参与“什么是最优”的定义，容易因偏好不准确、尺度不合适或 early uncertainty 而排除真实 Pareto 区域；若先求 Pareto，再选择，preference 只做 tie-breaking / region focusing，理论上更不容易牺牲多目标最优性。

方法有效的主要原因不是 active inference 这个名字本身，而是 EFE 提供了一个统一 scoring：偏好距离 + 信息增益。它比 uniform selection 多了局部性，比 linear weights 多了不确定性驱动探索。尤其在用户偏好确实覆盖了有意义的 Pareto 子区域时，AIF 会避免把样本浪费在完全不关心的 front 远端，同时又不会像 weights/TOPSIS 那样彻底停止探索。这是核心贡献。

LCB planning 是必要辅助，但更接近已有 UCB/Pareto-UCB 思想的迁移；它保证候选生成阶段不要过度 exploitation。真正的新意在于把 active inference 放在 Pareto point selection，而不是替代 planner。NIW、CLT、Monte Carlo 更像让 EFE 可计算的 engineering/statistical approximation。文中将其包装成 finite-horizon AIF 推导，但核心机制仍可理解为：在候选宏动作上最小化 preference-weighted predicted outcome cost，同时最大化预期参数信息增益。

增益归因需要谨慎。AIF 的优势依赖 preference covariance 设得合适：太大接近 uniform，太小接近 myopic scalarization。实验中 AIF medium variance 表现好，很可能来自“恰当限制探索区域”的 inductive bias，而不是 EFE 对整个问题有普适优势。换言之，这不是更强的 planning reasoning，而是更好的 region-of-interest exploration bias。这个 bias 在用户偏好可靠时很有价值，在偏好错位或 front 远离 prior 时可能反而有害。

Relation To Prior Work

最接近的谱系有三条：formal methods + multiobjective planning、MOMAB/Pareto-UCB、preference-based MORL/scalarization。论文不是从零发明 MORL 或 Pareto planning，而是把这些组件重新组织成一个在线安全学习框架。

相对 formal synthesis 工作，本质差异是 quantitative model 不再已知，而是在线 Bayesian learning；LTLf 只负责硬约束，代价最优性在外层学习。相对 MOMAB/Pareto-UCB，差异是 arm 不是原子动作，而是满足复杂时序任务的宏计划；并且选择目标不只是覆盖整个 Pareto set，还要向用户偏好区域收敛。相对 linear scalarization/TOPSIS，差异是偏好不是对目标做单位敏感的加权或几何距离，而是一个概率分布，并且只作用在 Pareto candidates 上。

看似新的部分中，LCB exploration、product automaton planning、NIW conjugate update 都是成熟思想的组合。实质创新主要是：把 Pareto point selection 明确建模为 active-inference-style sequential decision problem，并用 preference distribution 的协方差来连续调节“学整个 front”与“学偏好局部”的行为。这是一个建模创新多于算法发明的工作。

Dataset / Evaluation

实验覆盖面还算合理：有一个解释性火星车仿真展示 front learning 过程，有固定和随机 grid world benchmark 做统计比较，也有机械臂洗碗任务展示真实机器人可用性。任务类型横跨 mobile robot 和 manipulation，说明框架的抽象接口确实不依赖特定低层控制器。

评估基本支持作者最核心的经验 claim：在合适 preference covariance 下，AIF selection 比 uniform 更偏好对齐，比 weights/TOPSIS 更能保持 front coverage。Pareto-regret 衡量选中计划离真实 front 的距离，Pareto-bias 衡量估计 front 与真实 front 的覆盖误差，这两个指标能较好区分“只学一个点”和“学整个 front”。

但实验仍有明显边界。首先，benchmark 都是在作者可计算 true Pareto front 的受控环境里，真实 deployment 中 true front 不可得，指标不可在线使用。其次，真机实验更像 proof-of-concept：训练主要在仿真中跑 500 episodes，硬件展示最终策略，没有充分统计对比。第三，复杂度评估显示 AIF selection 明显比其他 selector 重，且 planning time 方差很大；这对大规模 product graph 是实质问题。第四，ablation 不够彻底：LCB、EFE 信息增益、preference covariance、Pareto candidate pruning 各自贡献没有完全拆开，增益来源不清。

Limitation

最大限制是问题被强抽象了：状态集合、动作集合、转移函数、labeling、任务逻辑都已知且 deterministic，只有 cost 不知道。这使安全保证成立，但也把现实机器人中最难的一部分——抽象误差、执行失败、感知不确定性、stochastic transition——排除掉了。只要 DTS 抽象错了，LTLf guarantee 就不再是真实安全保证。

第二，代价模型假设偏强。每个 state-action 独立、多元 Gaussian、additive cumulative cost，这对 motion planning runtime 也许可接受，但对风险、碰撞概率、接触操作失败、环境变化可能不成立。作者提到 Gaussian mixture 是未来工作，说明当前方法对 multimodal cost 的表达能力有限。

第三，可扩展性上限明显。Multiobjective graph search worst-case exponential，Pareto front size 可能随目标数和图规模爆炸；EFE selection 又要对每个 candidate 做 Monte Carlo posterior entropy estimation。文中建议 approximate search / clustering，但这会直接牺牲 Pareto-regret 和 bias，理论影响未说明。

第四，preference covariance 是强控制旋钮，但如何给出并不充分。用户能否稳定表达一个 Gaussian prior？如果 prior mean 不在真实 Pareto front 附近，或者 covariance 过小，系统可能过早局部化探索。这里的“用户可调探索-利用”本质上把一部分策略设计负担转移给 preference distribution。

第五，理论保证有限。论文的问题陈述包含渐近 Pareto optimal/front convergence 的目标，但实际没有给出 finite-time regret 或 convergence proof。LCB 来自 bandit 直觉，但 plan space 是指数级组合对象，作者也承认 regret bound 不直接成立。因此安全保证是形式化的，学习最优性主要是经验性的。

Takeaway

• 1. 对复杂机器人任务，一个很有价值的范式是：形式化方法处理 qualitative correctness，学习只处理 quantitative stochastic cost。
• 这样比 reward shaping 更干净，也更容易给出安全边界。
• 2. Preference 不一定要写成权重；把用户偏好建成 objective-space distribution，可以自然表达“我关心哪个区域”和“我愿意探索多远”。
• 这个 insight 可以迁移到很多 preference-based optimization / RL 场景。

一句话总结

这篇论文把 safe LTLf task planning、Bayesian multiobjective cost learning 和 active-inference Pareto selection 组合成一个在线框架，真正贡献是用 preference distribution + information gain 在 Pareto front 上做局部化探索，而不是发明新的底层 RL 算法。