精读笔记

Problem Setting

论文处理的不是一般意义上的视频生成 hallucination，而是 action-conditioned visual world model 在 rollout 中产生的 silent dynamics error：画面仍然流畅、局部视觉也合理，但已经偏离真实环境转移。真正困难点在于这种错误不是单一模块故障，而是 tokenizer、动作条件 dynamics、多步自回归误差共同作用后的结果；如果只看最终帧质量，很难知道失败来自感知投影、动作被忽略，还是 rollout 进入未覆盖区域后发散。以前方法通常把问题交给更大模型、更好 tokenizer 或 ensemble uncertainty，但缺少一个能把失败位置、失败阶段和数据覆盖联系起来的操作化框架。关键矛盾是：world model 被要求在连续控制中做可控预测，但训练数据天然是有限且偏置的；生成模型可以用视觉先验补出 plausible future，而控制需要的是 action-faithful future。

Motivation

作者不满意的路线是把 hallucination 当作 architecture / scaling 问题。这个解释太粗，因为同一模型在高覆盖区域可以表现得很好，而在低覆盖区域会以不同形式失败；容量不足不能解释这种空间分布。论文的核心观察是 hallucination 在 state-action space 中高度非均匀，并且其 failure mode 与 pipeline stage 对应：OOD scene 被 tokenizer 投影成 seen scene，动作条件不足时 dynamics 退化成 action-marginal video model，多步 rollout 在低覆盖区域产生物理不可能事件。关键缺口不是又一个更大的 benchmark，而是一个能同时控制训练语料、观察 coverage、进行在线交互的数据平台；没有 live simulator，就无法验证“检测信号能否转化为补数据策略”。

Core Idea

核心思想可以压缩成一句话：hallucination 是 coverage gap 在不同建模阶段的可观测症状，因此可以用模型自身的内部不稳定性来预测，并用同一信号指导数据补齐。这里的关键不是提出三个 metric 本身，而是把它们放进一个闭环：低覆盖导致不稳定，不稳定暴露低覆盖，低覆盖再通过 sampling 或 online collection 被修复。

这改变了 world model 的优化视角：prior 多数追求更强 generative fidelity 或更强 latent dynamics，这篇把重点转向训练分布的组织方式。它引入的 inductive bias 是“不要平均服务于 frame count，而要服务于 coverage”；尤其在多任务数据重尾时，按帧采样会让长 horizon / 高帧数任务支配训练，而短任务、稀有 morphology、罕见交互被系统性欠拟合。与 prior 的本质区别在于，它不是把 uncertainty 当作 planner penalty 或 exploration bonus 的单任务工具，而是把 uncertainty 作为 world model 数据工程的主信号。

Method

方法层面保留三个必要机制即可。

第一，阶段化 hallucination taxonomy。它解决的是归因问题：如果不区分 tokenizer 的 perceptual projection、dynamics 的 action marginalization、rollout 的 scene divergence，所有错误都会被混成 rollout PSNR 下降，无法知道该补视觉数据、动作反事实数据，还是长时序覆盖。这个 taxonomy 的核心变化是把 hallucination 从现象描述变成可干预对象。

第二，内部 predictor。round-trip residual 测 latent 是否离开 tokenizer 可逆流形；flow instability 测 shortcut denoiser 在给定 context-action 下是否收敛到稳定 clean target；inter-seed variance 测同一条件下采样轨迹是否表现出 epistemic disagreement。它们需要存在，因为真实 rollout label 在线上通常不可得，而这些信号可以在 model-internal computation 中直接得到。其核心变化是用生成过程自身的不一致性替代外部错误标签。

第三，coverage intervention。预训练时用 uniform-over-task sampling 抵消数据重尾；在线时用 hallucination predictor 作为 curiosity reward，主动执行模型最不确定的 trajectory。它解决的是 predictor 只能报警但不能修复的问题。核心变化是把 evaluation metric 变成 data acquisition policy，而不是停留在 post-hoc diagnosis。

Key Insight / Why It Works

最重要的 insight 是：world model hallucination 的许多形式不是“模型不知道物理规律”，而是“模型在低覆盖区域用高概率视觉先验补洞”。这解释了为什么 hallucination 常常 visually fluent：生成模型学到了 appearance prior；但 action-faithful dynamics 需要更密的 state-action coverage，尤其需要反事实动作和恢复轨迹。换言之，失败不是视觉生成能力不足，而是条件分布 p(next | state, action) 在局部区域退化成了 p(next | state) 或 p(next | nearby seen state)。

真正有效的部分大概率是 data coverage，而不是具体 architecture。Dreamer 4、flow matching、large tokenizer 提供了足够强的基座，但论文的增益主要来自重新分配训练数据和目标环境补数据。coverage-aware sampling 的收益说明原始数据分布有明显重尾偏置；targeted finetuning 的收益说明 zero-shot generalization 并不可靠，少量对齐目标分布的数据比继续扩大通用预训练更直接。

三个 predictor 的价值不在于每个都精确对应一种 failure，而在于它们从不同机制收敛到同一个 coverage signal。这里有一个强判断：这些 metric 更像 model-internal OOD / epistemic uncertainty proxy，而不是 hallucination 的完整理论。它们能工作，是因为当前 world model 的 failure 仍主要发生在分布边界；如果未来模型有更强 causal abstraction 或显式 object dynamics，这些低层 latent instability signal 未必仍是最佳指标。

也要注意，部分结果可能只是 engineering / scaling：大数据、多任务、H100 训练、Dreamer 4 复现、本地 finetuning 都在贡献效果。curiosity 与 human / expert 的接近并不意味着模型学到了通用探索策略，只说明该 predictor 在这些 simulator 中能找到对目标测试分布有用的额外覆盖。MPC 性能提升也可能主要来自局部 model accuracy 改善，而不是长期规划能力质变。

Relation To Prior Work

这篇最接近三条线：model-based RL 的 uncertainty-aware dynamics、curiosity-driven exploration、以及大规模 generative world model。与 MOPO / MOReL / ensemble-style offline MBRL 的关系是，它同样承认模型不确定性决定可用性，但它不只是用 uncertainty 惩罚 policy，而是用 uncertainty 反向改造 world-model 数据分布。与 Plan2Explore / disagreement exploration 的关系更直接：把 prediction error / disagreement 作为探索目标并不新；新意在于将其放到大规模视觉 world model 的 hallucination 诊断与 finetuning闭环中，并区分 tokenizer、action-conditioning、rollout 三个 stage。

和 Genie / Oasis / Dreamer 4 这类生成式可交互环境相比，本质差异不是模型形态，而是研究对象从“能否生成可玩未来”转为“何时不该相信生成未来”。这是一种 evaluation-and-data-centric contribution。看似新的三个 hallucination predictor，其实分别对应重构一致性、denoising stability、采样 disagreement 等已有思想的重组；实质创新在于把这些信号组织成 stage-specific failure analysis，并证明它们可用于数据采样和在线补覆盖。

它属于“data-centric world modeling / uncertainty-guided adaptation”谱系，而不是纯 architecture paper。真正新增的信息是：在一个受控多任务视觉控制基准上，hallucination 与 coverage 的关系可以被系统测量，并且简单的数据重加权与少量 targeted target-domain data 就能显著改变 hallucination profile。

Dataset / Evaluation

MMBench2 的价值在于它同时提供多任务视觉数据、ground-truth actions / rewards、mixed behavior 和 live simulator。这个组合对本文 claim 很关键：没有动作标签无法判断 action marginalization，没有 live env 无法验证 targeted collection，没有训练语料控制无法做 coverage-aware sampling。任务覆盖包含控制、导航、操作、arcade 等多个模拟域，足够支撑“多任务视觉 world model”层面的分析。

但 evaluation 也有明显边界。第一，所有任务都是 simulator，不是真实机器人或真实视频；视觉和动力学复杂度仍受 benchmark 设计限制。第二，unseen tasks 很多是 seen domain 的 variation，泛化可能部分来自 morphology / rendering / dynamics overlap，而不是真正开放世界迁移。第三，MPC 评估关注 goal-directed subdistribution，可能低估广义 world model 的 hallucination，也可能让 expert/human/curiosity 数据在与测试分布匹配时显得更强。第四，rollout PSNR 与 hallucination 相关但不是充分指标；视觉误差、语义错误、可控性错误和任务决策错误之间仍未完全解耦。

总体看，实验足以支持“coverage signal 可预测并缓解本文设置下的 hallucination”，但不足以支持更强表述：hallucination 在所有 world model 中本质上都是 data coverage issue。

Limitation

方法成立依赖几个强前提。第一，环境可交互且可收集新数据；如果部署场景不能在线探索，curiosity loop 就只能变成诊断工具。第二，hallucination 必须主要由局部 coverage gap 引起；如果错误来自长期隐变量、不可观测状态、接触动力学多模态、奖励语义误解或 causal abstraction 缺失，这些 latent instability signal 可能只看到症状看不到原因。第三，tokenizer / dynamics 必须保留足够可解释的内部结构；换成端到端 diffusion video policy 或 highly compressed latent model 后，round-trip residual 的意义可能变弱。

泛化也不能过度解读。unseen task 的 zero-shot 表现一般，真正有效的是 50 条目标环境轨迹后的 finetuning；这说明核心能力可能主要来自数据覆盖，而不是强跨任务推理。所谓 preventable 更准确地说是“在可以补数据且目标分布不太远时可显著缓解”。如果目标环境存在安全约束、长尾稀有事件或真实传感噪声，主动去高不确定区域本身可能不可执行。

增益来源不清的地方包括：coverage-aware sampling 与额外训练步数的交互、tokenizer finetuning 与 dynamics finetuning的相对贡献、curiosity 数据是否只是更接近评估分布、以及 combined data 的提升到底来自多样性还是简单数据量。文中未充分说明 predictor 作为 collection objective 时与其他 curiosity / disagreement baseline 的系统比较，因此很难断言三个信号本身是最优探索目标。

Takeaway

• 1. 对 world model 来说，hallucination 不应只在像素层评价；必须区分感知投影、动作条件退化和多步发散，否则无法知道该补什么数据。
• 2. 这篇真正推动的是 data-centric diagnosis：用模型内部不稳定性发现 coverage gap，再用同一信号修复 coverage gap。
• 这比单纯扩大模型更可操作，也更像未来 world model 训练栈中的常规组件。
• 3. 最可迁移的 insight 是：uncertainty signal 不只是 planner 的 risk penalty，也可以成为 dataset construction policy。

一句话总结

这篇论文把生成式 world model 的 hallucination 从“模型生成错了”重新定义为可检测、可采样、可修复的 coverage failure，是一篇 data-centric / uncertainty-guided world model adaptation 论文，而不是单纯的架构或视频生成质量论文。