精读笔记
Problem Setting
这篇论文不是在一般意义上做 long video generation，而是在处理世界模型中的动态对象永久性：对象离开相机视野后，仍应作为世界状态的一部分继续运动，并在重新进入视野时保持正确的位置、状态和视觉身份。真正困难点是当前视频生成模型的状态表示高度像素绑定：对象不可见后，模型没有独立变量表示它“仍然存在并正在运动”。以前方法要么靠 sliding/context memory 保短期一致性，要么靠 implicit memory token 猜测不可见演化，要么用 explicit monitor 追踪但扩展性差。关键矛盾是，视频生成的训练目标主要奖励可见像素，而世界模拟需要维护不可见状态；这两者在 active dynamic entity 场景中天然冲突。
Motivation
已有路线不够的根因是把运动规划、状态记忆和视觉渲染都压进同一个生成模型。对静态场景，FOV retrieval 或长上下文还能工作，因为背景不需要随时间主动演化；但对会移动的人、车、动物，离开视野后的位置和姿态必须继续更新，不能靠下一次出现时从 latent prior 重新猜。作者的核心观察是：动态 memory 不应该只是一种更大的上下文窗口，而应是一套显式、可编辑、可投影的世界状态。缺口在于现有 world model 多数仍是“看见什么生成什么”，而不是“维护一个相机之外也存在的对象级状态”。
Core Idea
WorldDirector 的本质做法是把世界模拟拆成两个层次：上层做 semantic / geometric orchestration，下层做 conditional video synthesis。LLM 根据用户意图和初始 3D 信息规划对象轨迹与相机轨迹；这些轨迹投影成 2D bbox 序列后，成为视频生成模型的硬空间条件。这样，动态对象的运动不再由视频模型在 latent 中隐式推断，而是由外部 planner 显式给定。
这个改变的核心价值在于重塑了信息流：对象是否存在、何时出现、移动到哪里，由轨迹条件决定；对象长什么样，由 appearance anchor 和历史 context 绑定；当前帧如何自然渲染，由视频模型完成。它引入的 inductive bias 很强：把 object permanence 变成 controlled rendering，而不是 hidden-state prediction。因此它比纯 memory token 更稳定，也比 monitor-based 方法更像可扩展的控制接口。但这也意味着所谓 world simulation 的一部分被转移到了 test-time planning，而不是完全由模型内生学习。
Method
关键机制可以压缩为四点。
第一，显式轨迹条件解决不可见运动的状态更新问题。LLM 生成 3D box 和 camera path，再投影为 2D location condition；这让模型在对象重新出现时不需要猜它在哪里。核心变化是从 pixel-conditioned extrapolation 变成 trajectory-conditioned synthesis。
第二，appearance binding 解决身份恢复问题。仅有 bbox 只能告诉模型“这里有某个对象”，不能保证重入视野的是同一个人或同一辆车；从历史上下文裁剪并映射 RGB 特征，等于给小动态区域一个强视觉锚。这个机制很可能是动态一致性的关键，而不是可有可无的增强。
第三，context retrieval 同时服务静态背景和动态实体。静态部分按 FoV overlap 检索，动态部分按实体可见性检索，目的是让 causal chunk 生成时有可对齐的历史证据。它不是新概念，但在这里承担了跨 chunk 的 identity grounding。
第四，Temporal Drop 防止 appearance condition 变成逐帧拷贝。若每帧都有 dense appearance，模型容易学成局部贴图/滑动而非真实运动；稀疏化迫使模型使用轨迹与文本补全动作。这是一个很实用的训练约束，体现了作者对条件泄漏的理解。
Key Insight / Why It Works
最重要的 insight 是：对 out-of-view dynamic memory，显式状态条件比更大的隐式 memory 更可靠。视频模型不擅长维护不可见对象的长期连续状态，因为训练信号在不可见期间几乎不存在；把运动状态外显为轨迹条件，相当于绕开了这个 credit assignment 问题。模型只需要学习“给定位置、外观、文本和上下文如何渲染”，这比“从过去像素推断不可见世界并在未来恢复”简单得多。
真正有效的核心贡献很可能是 location condition 与 appearance condition 的组合。单独 location 只能保证几何控制，不能保身份；单独 appearance 容易贴图或漂移；两者结合后，把对象级状态拆成 geometry state 和 visual identity state，这是更合理的 latent factorization。context retrieval 和 spatial-aware text routing 是必要辅助，但不是主要创新来源。
这篇的收益应归因于更好的 inductive bias、显式 supervision、retrieval/memory reuse 和 test-time compute，而不是模型突然拥有长期物理推理。LLM planner 在这里更像一个可编程 trajectory generator；它提供的是结构化控制接口，不等价于真实物理 simulator。所谓 persistent dynamic memory 在很大程度上是“外部轨迹状态 + 历史外观锚”的系统效果。
需要警惕的是 benchmark 与训练数据管线高度同构：训练中专门采样 re-entry 场景，测试也来自同一游戏式数据构造逻辑。增益可能部分来自 data coverage 和 hidden supervision，而不是开放分布泛化。文中未充分说明在 planner 错误、bbox 噪声、真实视频标注不准、多对象遮挡交互下性能如何退化。
Relation To Prior Work
它最接近三条线的交叉：controllable video generation、long-context world model、object-memory world simulation。和 Boximator/GLIGEN/trajectory-control 类方法相比，它不是只做短视频空间控制，而是把控制信号接入 causal chunk memory，目标变成长时序对象永久性。和 FOV retrieval / long video memory 方法相比，它不只记背景，而显式维护动态对象轨迹。和 HyDRA / LiveWorld 这类 out-of-sight dynamics 方法相比，它不把动态演化完全交给 implicit feature memory，也不为每个对象维护高成本 monitor，而是用 LLM 规划提供外部状态。
看似新的部分里，bbox condition、appearance reference、spatial-aware cross-attention、context retrieval 都有明显前史；实质创新是把这些已有思想组织成一个“planner-state + renderer-memory”的系统，并把 out-of-view object permanence 作为主要设计目标。它属于从 monolithic generative world model 向 modular controllable simulator 演化的一类方法。真正新增的信息不是某个网络结构，而是把动态对象状态从视频 latent 中解耦出来，并让它在生成循环中可查询、可复用、可编辑。
Dataset / Evaluation
数据和评估基本服务于论文核心 claim：动态对象离开视野后再出现，是否仍保持身份和运动一致。作者用游戏平台构造 15 秒视频，刻意制造消失/重入，并用 SAM3、Qwen-VL 等工具获得 bbox、caption、appearance/context 监督。这种数据覆盖很适合训练该机制，但也意味着任务分布被强设计过，真实世界噪声和开放交互覆盖不足。
评估包含重建指标、VBench consistency 和 dynamic subject consistency，能一定程度验证 re-entry identity consistency；但这些指标并不能充分验证“世界模拟”或“物理逻辑”。尤其是如果 baselines 倾向少动，它们在 consistency 指标上反而有优势；论文也承认这一点。反过来，WorldDirector 的强控制条件也让它在重建类指标上拥有额外监督优势，比较并非完全同条件。
整体上，实验足以说明：在受控脚本、已知轨迹、合成数据分布下，显式轨迹 + appearance binding 明显优于隐式 memory。但它没有充分证明：模型能在真实世界、未脚本化交互、复杂物理约束下形成通用 object permanence。
Limitation
最大限制是它把困难问题转移了，而不是完全解决了。不可见对象的长期状态不再由视频模型维护，而由 LLM planner 和 3D/2D bbox 条件维护；如果 planner 的轨迹不物理、相机投影错误、对象尺寸/深度估计偏差大，生成器没有明确机制纠正。也就是说，它的 dynamic memory 是外部状态驱动的，不是模型内部学到的 world state。
第二，scalability 上限来自条件构造。多实体、长时序、复杂遮挡、非刚体形变、交互碰撞都会让 bbox-level representation 变粗糙。bbox 能表达位置和尺度，但很难表达姿态拓扑、接触关系、可见面变化和细粒度物理状态。对人脸、手部、动物动作这类高频细节，appearance anchor 可能不足。
第三，泛化可能 heavily rely on synthetic game data 和 pipeline coverage。文中限制里提到域差、运动不自然和脸部模糊，但更深的问题是：训练目标在大量显式条件下学习条件渲染，未必能迁移到没有干净 bbox、没有可靠 re-ID、没有高质量 camera pose 的真实部署。
第四，增益归因不清。基础模型 LingBot-World-Base、合成数据、LLM planner、appearance condition、context retrieval、temporal drop 都可能贡献显著收益；论文消融主要证明 appearance 很重要，但没有完全拆清 planner quality、数据规模、trajectory supervision 与 memory architecture 的相对作用。
Takeaway
- 1. 对动态对象永久性，最值得迁移的思想是把不可见状态外显化：不要指望生成模型在 latent 中自动记住所有 active entities，而应提供对象级状态接口。
- 2. 长视频 world model 的下一步很可能不是单纯扩大 context window，而是发展 modular simulator：planner 维护状态，renderer 负责视觉实现，memory/retrieval 负责身份和背景锚定。
- 3. appearance binding 是动态 memory 中被低估的核心问题。
- 位置一致不等于实体一致，小区域身份在 MSE 主导训练下很容易被背景像素淹没，必须显式给锚。
一句话总结
WorldDirector 是把长视频世界模型从隐式记忆生成推进到“外部轨迹规划 + 显式外观绑定 + causal 条件渲染”的模块化 controllable simulator 的一步，核心贡献在于用强 inductive bias 重构动态对象永久性的建模方式，而不是证明生成模型已具备内生长期物理记忆。