精读笔记

Problem Setting

《Hallucination in World Models is Predictable and Preventable》（arXiv preprint / 2026）处理的是 action-controllable generative world model 中最危险的一类失败：rollout 仍然视觉流畅，却已经偏离真实 dynamics。这里的问题不是 pixel prediction error 高不高，而是模型什么时候会把一个未被数据约束的 state-action region “补全”为看似合理的伪未来，并把这个伪未来交给 planner。

真正困难点在于 world model 的错误具有隐蔽性：视频生成指标可以很好，但 action sensitivity、latent consistency 和 long-horizon physical plausibility 已经崩了。以前方法往往把这个问题粗略归为模型不确定性、OOD detection 或 ensemble disagreement，但没有把失败定位到 pipeline 的具体阶段，也缺少能同时支持训练集控制、跨任务覆盖分析和在线补采的 benchmark。

关键矛盾是：world model 想要在有限数据上学习可控未来，但 deployment/planning 天然会把模型推向训练分布边缘；越是需要模型提供反事实想象的地方，越可能是数据最少、模型最容易 hallucinate 的地方。

Motivation

作者的出发点很直接：继续扩大 backbone 可能提升视觉质量，但不一定解决“可控性”和“真实性”的脱钩。一个视频模型可以很会生成 plausible frames，却完全忽略 action；一个 tokenizer 可以重建 seen tasks 很好，却把 unseen scene layout 投影成训练中见过的相似布局。

核心观察是 hallucination 不是均匀发生的，而是集中在低 coverage 区域，并且这种低 coverage 会以不同形式出现在 tokenizer、dynamics 和 rollout 三个阶段。也就是说，perceptual hallucination、action marginalization、scene divergence 看似不同，底层都可能是同一件事：模型在某个局部没有足够数据约束，只能依赖 learned prior 补全。

关键缺口是缺少一个能够验证该假设的实验系统。只看离线视频数据无法知道 action 是否真实，也无法在线探测 coverage gap；只看单任务 RL benchmark 又不足以区分普遍机制和任务特例。因此 MMBench2 的意义不只是数据量，而是提供了“可控训练语料 + 多任务异质性 + live simulator”的闭环诊断环境。

Core Idea

论文最核心的思想是：把 hallucination detection 从外部监督问题变成模型内部一致性问题。一个真正被数据约束的 latent transition 应该在 tokenizer round-trip 后稳定、在 flow integration 中收敛、在不同 denoising seeds 下接近一致；反之，如果这些内部过程不稳定，说明模型正在用 prior 补洞，而不是在执行可靠的 action-conditioned dynamics。

这相当于给 world model 加了一个数据覆盖视角的 inductive bias：模型不仅输出未来，还暴露自己在生成这个未来时是否“站得住”。和 prior 的本质区别不是用了新的 uncertainty 名字，而是把 uncertainty 信号按 world-model pipeline 分解，并把它直接用于数据再分配和在线采样。

它可能比单纯 ensemble / OOD detector 更 scalable 的原因是这些信号来自已有生成过程本身，不需要额外训练一个 failure classifier；也可能比纯 kNN density 更 generalizable，因为它测的是模型在当前 transition 上的 functional instability，而不是静态 embedding 距离。

Method

方法层面可以压缩为三个机制。

第一，阶段化定义 hallucination。perceptual hallucination 对应 tokenizer 把 OOD observation 映射到 seen-scene manifold；action-marginalized hallucination 对应 dynamics 在条件 action 上不敏感；scene-diverging hallucination 对应 autoregressive rollout 进入低覆盖区域后产生物理上不可能但视觉上流畅的事件。这个分解的价值在于把一个模糊的“模型瞎编”拆成可诊断的 failure source。

第二，使用三个无监督 predictor。tokenizer round-trip residual 测 latent 是否能经 decode-encode 保持一致，主要针对 off-manifold perceptual failure；flow instability 测 denoiser 在 Euler substeps 中的 clean target 是否稳定，主要反映 transition 是否被 action/context 充分约束；inter-seed variance 测固定 context/action 下不同 sampling seeds 的下一 latent 分歧，主要对应 epistemic uncertainty 和 rollout fan-out。动态归一化是必要的，否则高运动场景会被误判为高不确定。

第三，用 predictor 反向修补 coverage。训练时最简单有效的版本是 uniform-over-task sampling，减少长 episode / Atari-like tasks 对 frame distribution 的支配；在线时则把 hallucination predictor 当 curiosity reward，用 model rollout 选择最可能暴露 coverage gap 的轨迹，再执行于真实 simulator 收集数据。这里核心变化不是训练 recipe，而是把 failure detector 变成 data acquisition policy。

Key Insight / Why It Works

最重要的 insight 是：在这类 visual world model 里，很多 hallucination 不是“模型没有学会物理规律”，而是“模型在局部没有被数据约束，只能用生成先验补全”。因此，检测 hallucination 的有效信号不一定来自外部标签，而可以来自模型内部的几何不稳定性。

最可能的核心贡献是三类 predictor 与三类 failure mode 的机制对齐。round-trip residual 抓 tokenizer manifold mismatch；flow instability 抓 action-conditioned transition underdetermination；seed variance 抓 rollout epistemic spread。它们相关到同一个 rollout error，说明这些信号不是任意 proxy，而是在不同视角下测同一个 coverage deficit。

但也要直接说：coverage-aware training 的主要收益可能相当一部分来自更合理的数据重采样，而不是一个复杂的新算法。uniform task sampling 本质上是纠正 heavy-tailed dataset composition，这属于 data curation / curriculum，而非架构创新。targeted data collection 的收益也可能来自“收集了 target-domain 数据”这个强因素；curiosity predictor 的特殊性需要和更多 active learning / disagreement / density baselines 做更强对照。

这篇论文本质上不是在做 reasoning，也不是证明 world model 学到了抽象物理规律。它更像是在说明：大型 world model 的可控 rollout 能力很大程度上是 coverage-conditioned retrieval/generation；当 coverage 断裂时，模型会用 fluent prior 填洞。所谓 preventable，是在有 simulator 和补采预算时 preventable，不是无条件 preventable。

Relation To Prior Work

它最接近三条谱系：model-based RL 中的 model uncertainty / rollout trust，curiosity-driven exploration 中的 prediction error 或 disagreement，和大规模生成模型中的 data-centric scaling。论文的新意不是首次发现 coverage 重要，也不是首次用 uncertainty 做 exploration，而是把这些思想嵌入现代 generative world model 的 tokenizer-dynamics-rollout pipeline 中，并给出分阶段 failure taxonomy。

相较 Dreamer / Genie / Oasis / video world models，这篇不主张换 backbone，而是诊断为什么高保真世界模型仍会在控制上失败。相较 offline RL 的 coverage 理论，它关注的是 learned simulator 的 hallucination，而非直接 policy extrapolation error。相较 ensemble disagreement，它避免额外模型训练，用 denoising trajectory 和 tokenizer consistency 直接读出不稳定性。

看似新的部分里，coverage-aware sampling 是已有 data rebalancing 思想的直接应用；curiosity 数据采集也延续 Plan2Explore / disagreement exploration 的思路。实质创新在于：把 hallucination 的概念工程化为可测、可定位、可用于采样的内部信号，并在一个多任务可控 benchmark 上验证这些信号跨 failure modes 有一致解释力。

Dataset / Evaluation

MMBench2 的强点是它非常适合这篇论文的问题设定：多任务、跨 domain、连续控制、有真实 action/reward、有 live simulator，并且保留 unseen transfer tasks。相比只给视频或只给 demonstration 的数据集，它能同时回答“模型在哪些 state-action 区域失败”和“补采什么数据能修复”。

但 evaluation 仍然主要验证的是 simulated visual control setting。它没有真实机器人、没有真实传感噪声、没有不可逆安全约束，也没有复杂 partial observability 下的 long-horizon deployment。MPC/CEM 评估还会偏向较短 horizon、局部可纠正的模型误差；如果任务需要长期记忆、隐藏状态推断或稀疏 delayed consequences，当前证据不足。

实验总体支持核心 claim：predictor 能预测 rollout failure，coverage-aware sampling 和 targeted collection 能降低 hallucination。但它还没有完全证明“hallucination inherently is a data coverage issue”这个强表述；更准确的说法是，在该规模、该架构、该模拟多任务语料下，coverage 是主导且可操作的解释变量。

Limitation

最关键前提是：环境允许在线交互或至少允许重新采样目标分布。如果没有 live simulator、真实世界采样昂贵或有安全风险，predictor 只能告诉你哪里不可靠，未必能修复。

第二，方法依赖 tokenizer/dynamics 的内部信号仍然校准。文中未充分说明这些信号在更大模型、更强 pretrained tokenizer、更强 generative prior 下是否仍能保持 monotonic relation。大模型可能 hallucinate 得更一致，seed variance 反而下降；off-manifold output 也可能被强 tokenizer smoother 掩盖。

第三，泛化更像 fast adaptation，而不是 robust zero-shot generalization。unseen tasks 经 50 trajectories finetuning 后显著改善，这说明补数据有效，但不说明模型已经学到可系统组合的 dynamics abstraction。

第四，增益归因不完全清楚。coverage-aware sampling、额外 finetuning steps、target-domain data、tokenizer finetuning、curiosity selection 同时存在，哪部分是必要条件还可以拆得更干净。尤其 targeted data collection 中，human/expert/curiosity 的差异也受 test distribution alignment 影响。

第五，方法可能把 hallucination 问题转移成 data acquisition 问题：只要能发现并补齐 coverage gap，确实能修；但在高维真实世界中 coverage gap 几乎无限，如何选择哪些 gap 对 control-critical 是关键，而论文只给了初步答案。

Takeaway

• 第一，未来 world model evaluation 不能只看视频质量，必须显式测 action sensitivity、latent consistency 和 rollout divergence；否则会奖励“漂亮但不可控”的模型。
• 第二，hallucination predictor 最有迁移价值的形式不是某个具体公式，而是“用生成过程内部稳定性估计 coverage deficit”。
• 这个思想可以迁移到 robot world models、interactive video models、model-based planning 的 uncertainty gating。
• 第三，数据分布设计可能比架构微调更重要。

一句话总结

这篇论文把现代 visual world model 的 hallucination 从生成模型缺陷重新定位为可诊断、可采样修复的数据覆盖问题，真正贡献在于建立了 pipeline-level failure taxonomy 和可用于主动补洞的内部不确定性信号。