精读笔记

Problem Setting

论文标题：PO-PDDL: Learning Symbolic POMDPs from Visual Demonstrations for Robot Planning Under Uncertainty（arXiv preprint / 2026）。

这篇论文不是在解决一般意义上的机器人规划，而是在解决一个更具体也更棘手的问题：从真实机器人执行视频中学习一个可复用的 symbolic POMDP domain，使得后续任务可以在 belief space 中规划，而不是每次让 VLM 临场猜下一步。

真正困难点有三个。第一，真实视频给的是 observation，不是 state；遮挡、视角限制、VLM grounding error 会让视觉描述和真实状态不一致。第二，低层 VLA/motion skill 不是 deterministic operator，同一个 high-level action 可能成功、失败或产生不同 symbolic effect。第三，长时序 manipulation 里有大量 inter-action constraints，例如先移开杯子才能开抽屉、先推走黑盒才能放杯子；这些约束不一定在短演示中以显式形式出现。

以前方法的瓶颈很清楚：PDDL-learning 学到的是 deterministic fully observable domain，遇到隐藏状态和 skill failure 会把不一致数据解释成坏 domain；POMDP-learning 可以表达不确定性，但从视觉演示中得到 consistent state abstraction 和 observation model 很难；直接 VLM planning 则没有稳定的 latent belief，也没有可复用 dynamics。关键矛盾是：机器人需要对隐藏世界状态做长期决策，但训练数据天然是 noisy partial visual traces。

Motivation

作者的核心观察是：PDDL 和 POMDP 各自有对方缺的东西。PDDL 的 relational syntax 适合 LLM 生成、适合复用、也适合表达 action constraints；POMDP 则提供了 partial observability 和 stochastic transition 下的 belief update。但现有表示没有让二者在真实视觉机器人任务上自然结合。

POMDPX/RDDL 等语言理论上能表示这些东西，但不适合 LLM 从自然语言/视频演示中合成，也不符合当前机器人 LLM tooling 的使用方式。LLM/VLM 直接规划虽然省掉显式模型，但 belief 和 dynamics 都隐式存在 prompt/history 里，在线成本高、行为不稳定，也很难调用标准 solver。已有 PDDL domain learning 的缺口则是更本质的：它默认观测即状态，因此无法把“看不见”和“状态不存在”区分开。

所以这篇想补的缺口不是又一个 planner，而是一个中间层：既能被 LLM/VLM 离线构造，又能诱导出标准 POMDP components，并且保留 PDDL 的 relational abstraction。

Core Idea

核心思想可以压缩为一句：先恢复一个完整的 latent symbolic world model，再把视觉输入建模为这个 latent world 的 noisy observation，而不是直接把视觉 parse 当作 planning state。

这带来一个重要 inductive bias：状态、动作效果、观测三者被显式分离。动作模型解释世界如何变化；观测模型解释机器人看到什么；belief 连接二者。这样，演示中的 state-observation inconsistency 不再只是错误样本，而变成识别 partial observability 的信号。比如杯中液体或抽屉内部物体，视觉描述可能和最终任务完成状态冲突，PO-PDDL 会把这种冲突转成 observation rule，而不是强行修正为 deterministic PDDL fact。

和 prior 的本质区别在于，它不是让 LLM 在 online planning 中承担 reasoning 主体，而是让 LLM 离线生成结构化 POMDP 模型；不是用 Python 程序自由表达 dynamics，而是用 PDDL-like relational operators 和 observation schemas 限制模型形态。这种限制本身就是贡献：它牺牲表达自由度，换来模型一致性、可检查性和 solver compatibility。

Method

方法层面最重要的不是每个 prompt，而是三段机制。

第一，latent trajectory reconstruction。它解决的是“视觉观测不等于真实状态”的问题。forward pass 从动作前后视觉中估计 symbolic effects，backward pass 利用目标一致性、动作序列和场景描述反推 initial state，再重新 rollout 得到完整 trajectory。必要性在于：没有完整 latent states，就无法估计 transition probabilities，也无法判断 observation 是否错误。核心变化是把 demonstration 从 observation sequence 转成 state-action-state records。

第二，stochastic operator learning。它解决的是低层技能 stochasticity。对于同一 operator，把 observed effects 聚成多个 effect modes，并用频率估计概率；precondition 则从所有应用前状态中的稳定条件抽取。这个设计让 action failure 成为 transition model 的一部分，而不是 planner 执行时的异常。它的效果尤其依赖演示中是否覆盖了失败模式；未覆盖的 failure 不会凭空出现。

第三，partial observability identification and observation modeling。它解决的是 hidden predicate 与 visual evidence 的分离。方法比较 reconstructed state 和 parsed visual state，如果非 unknown 的视觉值与 latent state 冲突，就把该 predicate schema 标记为 partially observable，并引入对应 observable schema。主动观察动作和普通 manipulation 动作分开建模：前者应该产生集中、信息量高的 observation；后者只是被动、噪声观测。这一点很关键，否则 active perception 会退化成普通动作 marker。

在线阶段没有新奇算法，基本是把 learned PO-PDDL ground 成 POMDP，用 Bayesian filtering + DESPOT 做 receding-horizon planning。这里的贡献主要是让 solver 能消费从真实视频学来的模型，而不是 DESPOT 本身。

Key Insight / Why It Works

最核心的有效性来源是 representation alignment：PO-PDDL 的结构同时对 LLM 和 POMDP solver 友好。LLM 擅长从语言/视觉描述中产出 PDDL-like relational clauses，不擅长合成全局一致的任意 Python POMDP；POMDP solver 需要明确的 T/Z/R/b0，不需要 LLM 在线解释每一步。PO-PDDL 正好把二者接起来。

第二个关键是先学 fully observable latent domain，再学 observation model。这个顺序非常重要。若一开始 joint learning state/observation，模型容易把 grounding noise、hidden fact、irrelevant visible fact 混在一起。论文 ablation 的 Open-Pass 失败基本印证了这一点。两阶段设计本质上是一种 curriculum / factorization：先固定 latent dynamics，再解释 perception mismatch。

第三个有效性来源是强 inductive bias，而不是纯 scaling。关系谓词、typed action、precondition/effect、effect mode、observable schema 这些约束显著缩小了模型搜索空间。pomdp_coder 的失败也说明，自由 Python 程序虽然表达力强，但 LLM 很容易写出局部覆盖 demonstration、全局不一致的模型。这里 PO-PDDL 的“窄表示”反而更强。

第四，很多性能增益可能来自工程化闭环 verification，而不是单一算法创新。VLM-based review、goal-consistency revision、domain-specific low-level skill list、side-specific action schema、empirical priors、active/passive observation separation 都在降低模型错误。论文把它们组织成 pipeline 是有价值的，但严格归因不清。特别是 100% success 的结果，很可能依赖任务族较封闭、演示覆盖关键模式、LLM/VLM backend 很强，以及人工设计的 evaluation 与 learned domain 高度同分布。

最可能是真正贡献的是 mismatch-based partial observability recognition + PO-PDDL 表示，而非 DESPOT planning 或经验频率估计。经验频率 stochastic effect learning 本身比较直接；belief update 也是标准的。新意在于把视觉演示中的“不一致”系统性地转化为 observation model learning signal。

Relation To Prior Work

这篇位于 symbolic planning model learning、LLM-assisted domain induction、robotic POMDP planning 三条线的交叉处。

相对 UniDomain/PDDL-learning，真正差异不是“也用 LLM 学 domain”，而是把 domain 从 deterministic transition model 扩展为 latent-state POMDP model。UniDomain 类方法默认 visual parse 是 state，因此面对隐藏抽屉/杯中液体时会出现不可解或错误 domain；PO-PDDL 明确把 visual parse 降级为 observation evidence。

相对 POMDPX/RDDL，PO-PDDL 没有在表达能力上更强，甚至可能更弱；它的价值在于 LLM-friendly 和 robotics workflow-friendly。可以认为这是面向 foundation-model era 的 POMDP DSL，而不是一个新的 POMDP 理论框架。

相对 pomdp_coder / probabilistic program induction，PO-PDDL 的实质创新是结构约束。Python POMDP 程序灵活但难以保证 relational consistency、mutual exclusivity、action-conditioned observations。PO-PDDL 用 PDDL-like operator modes 和 observable schemas 把模型写法规范化，减少 LLM 生成任意 procedural hacks 的空间。

相对 LLM/VLM direct planners，它把在线 reasoning 从 prompt-time implicit belief 转成 explicit belief-state planning。这个差异很本质：direct VLM planner 更像 history-conditioned reactive policy，PO-PDDL 更像离线建模 + 在线求解。代价是需要 closed domain 和较重的模型学习。

Dataset / Evaluation

实验是实机 tabletop manipulation，包含 drawers、cups、blocks、black box，低层执行来自 post-trained π0.5/VLA skills，并有真实遮挡、隐藏内容和执行失败。这一点比很多 toy POMDP benchmark 更有说服力。

任务设计覆盖了几类核心困难：单步 fully observable、隐藏抽屉内容、隐藏杯中液体、主动感知、长时序约束、黑盒阻挡目标区域、抓取失败。它确实能检验论文最重要的 claim：显式 transition + observation + precondition model 是否比 deterministic PDDL 或 VLM planning 更稳。

但 evaluation 的外推范围有限。它不是跨场景、跨对象类别、跨技能库的泛化；更像在同一 closed tabletop domain 内做 task recomposition。演示任务和评测任务共享对象、技能、谓词族和约束结构，因此结果主要证明 domain reuse，而不是 open-world transfer。每个任务 10 trials 的规模也不足以稳定评估 stochastic POMDP planning 在长尾失败下的鲁棒性。

baseline 有一定合理性，但也存在比较偏置。UniDomain 被迫处理它本来不建模的 stochastic/partial observable setting；pomdp_coder 被适配到视觉机器人场景后表现差，可能反映其表示弱，也可能反映 adaptation 不完全公平。VLM-Planner 作为 direct baseline 很自然，但它没有显式工具化 belief/state abstraction，因此失败并不意外。

Limitation

最大的隐含前提是 closed world。PO-PDDL domain 绑定具体 scene、对象类型、低层 skill stack 和 perception module。只要新场景引入新物体类别、新关系、新遮挡模式或新 skill failure mode，原 domain 可能需要结构性修订。论文只展示了概率在线调整，没有展示结构在线学习。

第二，scalability 上限明显。完整 symbolic state 是 grounded predicates 的 assignment；对象数和关系 arity 增加后 state space 会指数膨胀。DESPOT 用 sampled scenarios 缓解，但不改变根本复杂度。当前实验对象少、谓词少、动作少，不能说明大规模 household manipulation 也可行。

第三，方法强依赖 LLM/VLM 的离线判断。predicate induction、effect inference、goal generation、visual state parsing、contradiction review 都在调用大模型。若大模型在某类关系上系统性错误，pipeline 不一定能自我纠正；verification loop 也仍然是同类模型在审同类输出。这里存在 hidden supervision / benchmark-specific prompt engineering 的风险。

第四，partial observability recognition 的因果归因不充分。state-observation mismatch 可能来自真实隐藏变量，也可能来自错误 state reconstruction、错误 visual parsing、未建模 action side effect 或 predicate vocabulary 不合适。论文主要通过 VLM review 排除错误，但文中未充分说明在复杂场景下如何稳定区分这些来源。

第五，增益来源不清。PO-PDDL、两阶段学习、active/passive observation split、verification loop、side-specific action schemas、strong GPT-5.4 backend、演示覆盖和任务设计都可能贡献性能。缺少更细粒度 ablation 来证明哪一部分是不可替代的。

第六，所谓 planning intelligence 可能部分来自 demonstration coverage 和 symbolic retrieval。长时序评测任务看起来是短演示技能和约束的组合；如果 evaluation 与 demonstration overlap 较高，模型成功可能更多是复用已覆盖 symbolic patterns，而不是学到可广泛泛化的 world model。

Takeaway

• 1. 最值得迁移的 insight 是：从视觉演示学 POMDP 时，不要直接把 perception output 当 state；应先构造 latent symbolic state，再把 perception 建成 observation channel。
• 这个分解比更强 VLM prompt 更重要。
• 2. 对 LLM-based model learning，表示约束往往比表达能力更关键。
• PO-PDDL 的成功来自把 LLM 限制在 relational operator / observation rule 这种可检查空间里，而不是让它自由生成程序。

一句话总结

PO-PDDL 是一篇把 LLM/VLM 视觉演示学习从“直接生成计划”推进到“离线归纳结构化 symbolic POMDP、在线显式 belief planning”的工作，核心贡献在于用 PDDL-like 约束和 mismatch 信号把 latent dynamics 与 noisy observation 分离。