Awesome World Models / OpenReview

Programmatic Video Prediction Using Large Language Models

作者：作者信息待提取 · 单位：Department of Computer Science, Cornell University, Mitsubishi Electric Research Laboratories (MERL) · 来源：General Approaches to World Models · 发布日期：2025 · 分类：5. Building World Models by Bridging Language and Vision Intelligence

语言先验视频生成

精读笔记

Problem Setting

这篇论文表面上做 video frame prediction，实际目标更窄也更有研究价值：在少量观测帧下，构造一个可执行的、对象中心的、物理可解释的世界模型，并用它外推未来视觉状态。

真正困难不是生成一张“看起来合理”的下一帧，而是从像素中恢复出足够正确的 latent state：哪些对象存在、哪些属性是动力学相关的、状态如何随时间演化、哪些参数是全局环境参数。端到端视频模型通常在像素/latent token 空间做统计外推，短期视觉质量可以很好，但在速度、碰撞、守恒律这类 OOD 物理外推上容易退化为训练分布插值。物理引擎路线则相反：一旦状态和动力学给对，外推很强，但通常要求预定义对象属性、动力学形式或用户初始化。

因此这篇论文抓住的关键矛盾是：世界模型需要强结构先验才能泛化，但强结构先验通常牺牲自动化和开放性。ProgGen 试图用 LLM/VLM 的程序合成能力填这个 gap：自动提出状态表示和动力学程序，而不是从头训练一个大视频模型。

Motivation

作者对现有路线的不满不是“视频生成质量不够”，而是“像素生成模型没有形成可操作的世界模型”。扩散模型依赖大规模同分布数据，生成未来帧时缺少显式状态、显式因果变量和可编辑动力学；它们在 PhyWorld 这类简单物理 benchmark 上都可能违反基本物理规律，说明规模并不自动带来可靠 world model。

另一方面，Galileo、PhysGen、LLMPhy 等物理/神经符号路线已经证明显式物理状态有价值，但它们往往把关键变量或动力学形式预先写死。作者的核心观察是：LLM/VLM 已经内化了大量关于物体、几何、物理方程和代码结构的先验，可以作为“hypothesis proposer”来生成程序；连续参数再通过少量数据优化即可。

所以这篇论文真正想补的缺口是：能不能把 LLM 的语义/程序先验、视觉模型的对象定位能力、物理模拟器的可执行性组合起来，形成一个小样本、可解释、可编辑的视频预测器。

Core Idea

核心思想是把视频预测从 dense visual generation 改写成 programmatic state-space modeling。给定视频，系统不直接学习未来像素，而是让 LLM/VLM 合成三个程序：一个程序负责从图像中抽取物理状态，一个程序负责状态转移，一个程序负责把状态渲染回图像。未来预测发生在显式状态空间，而不是高维像素空间。

这个重写引入了非常强的 inductive bias：对象持久性、低维状态、物理方程、可执行模拟、参数共享。理论上它会比端到端视频模型更样本高效，因为它不需要从数据中重新学“球会匀速运动”“碰撞近似守恒”“CartPole 有经典方程”这类结构；这些结构由程序和 LLM 先验直接给出。它和 prior 的本质区别不是“用了 LLM”，而是把 LLM 放在模型空间搜索的位置：LLM 生成可执行世界模型假设，优化器只拟合连续参数。

这也解释了为什么该方法在 OOD 速度、碰撞等场景下表现好：只要动力学形式正确，速度范围变化只是参数/初值变化；扩散模型则更像在训练分布覆盖的运动模式内插值。

Method

ProgGen 的方法可以理解为三个机制，而不是三个普通模块。

1. 显式状态发现：P 的作用不是做常规视觉编码，而是把帧压缩成对象级、物理相关的状态变量，例如位置、速度、角度、角速度等。它解决的是端到端模型 latent 不可控、不可解释、难以 OOD 外推的问题。核心变化是把预测变量从 RGB tensor 变成可语义解释的低维 state。

2. 程序化动力学：D 的作用是提出状态转移规律，而不是学习一个黑盒 RNN/Transformer transition。这里 LLM/VLM 负责生成带有物理结构的代码模板，连续参数 θ 再由少量视频拟合。它解决的是“LLM 有方程知识但数值不准”和“纯优化缺少结构先验”的矛盾。核心变化是把动态建模限制在可执行、可检查、可编辑的程序空间。

3. 渲染闭环：R 把预测状态映射回 RGB，用于和视频帧对齐，也使模型可以产生视觉输出。它不是核心智能来源，更像是让符号状态能够参与视频预测任务的接口。文中用物理 simulator / pixel-space rendering 支撑这一点，但在更复杂真实场景中这会成为瓶颈。

训练上，论文采用两阶段策略：先由 LLM/VLM 生成程序结构，再优化连续参数。这个设计是必要的，因为当前 LLM 在离散结构和代码生成上强，在连续参数估计上弱。surrogate state loss 也很关键：直接像素损失会被大背景淹没，状态级损失更贴合该方法真正关心的动力学变量。

Key Insight / Why It Works

这篇论文真正有效的原因不是 LLM 会“看懂视频”，而是它把一个高维生成问题强行投影到一个低维、物理结构非常强的假设类中。在 PhyWorld 和 CartPole 这类环境里，正确假设类一旦被命中，少量数据就足够估计参数；OOD 外推自然优于扩散模型，因为模型执行的是方程而不是视觉模式插值。

最核心贡献是“LLM as programmatic world-model hypothesis generator”：让 LLM 负责提出状态变量、动力学形式和可执行代码，而不是直接预测未来。这比直接问 VLM 未来是什么更可靠，因为可执行程序提供了 temporal consistency 和参数共享。

但需要非常清楚地区分贡献来源： - 主要增益来自 better inductive bias / latent structure，而不是 scaling。 - 其次来自 test-time / train-time optimization of continuous parameters。 - 外部视觉工具和物理模拟器是强 hidden support，不应被低估。 - Affordance Rules 很可能注入了大量人工结构先验，文中没有充分量化其贡献。

我会把这篇的结果理解为：在低维物理系统中，程序化结构先验压倒了大规模像素学习。这不是证明 LLM 具备通用物理世界模型，而是证明 LLM 可以作为程序先验库和代码生成器，把已有物理知识快速装配成任务特定模型。

潜在问题也很明显：如果 benchmark 中的动力学形式是 LLM 训练语料高度覆盖的经典方程，例如 CartPole，那么所谓 reasoning 很可能更接近 retrieval + code instantiation。PhyWorld 的匀速和碰撞同样是非常 canonical 的物理模式。这里的“泛化”更像 equation-level extrapolation，而不是从视觉经验中发现新物理规律。

Relation To Prior Work

这篇工作处在几条技术谱系的交叉点：神经符号视频理解、物理引擎辅助预测、程序合成、LLM world model construction。

和扩散视频模型相比，本质差异是生成机制不同：扩散模型学习视觉分布，ProgGen 学/合成一个状态转移程序。前者强在开放视觉保真度和纹理多样性，后者强在低维物理一致性和可编辑性。论文中拿 ProgGen 和 DiT/SVD/TI2V-Zero 比较，在物理 benchmark 上是合理的，但不能推出它在通用视频生成上更强。

和 Galileo/PhysGen 这类 physics-based 方法相比，ProgGen 的新增点是把状态变量和动力学结构的选择部分交给 LLM/VLM，而不是完全预定义。这个点是实质创新，但创新程度取决于 prompt 和 affordance rules 中到底写入了多少先验；文中未充分说明。

和 DreamCoder/WorldCoder 更接近的是“用程序作为可泛化知识表示”。不同在于 ProgGen 面向连续物理状态和视觉输入，需要感知、动力学、渲染三者闭环。和 LLMPhy 相比，它声称不预先固定属性和运动形式，这是重要差异；但实际实验中环境非常 canonical，自动发现的难度有限。

所以它不是一篇“新视频生成模型”论文，更像是把 LLM program synthesis 引入物理视频预测 pipeline 的系统性实例。

Dataset / Evaluation

实验覆盖两个模拟环境：PhyWorld 和 CartPole。它们足以检验低维物理外推、少样本参数拟合、OOD velocity generalization、counterfactual editability，但不足以支持开放世界视频预测的广义 claim。

PhyWorld 的设置对 ProgGen 有利：对象简单、背景简单、状态变量可由几何检测得到、动力学是经典物理规律。扩散模型在这里失败并不意外，因为它们被要求从像素统计中学出精确物理外推；而 ProgGen 直接把物理方程作为程序先验注入。这个比较揭示了“结构先验 vs 数据驱动”的差异，但不是公平衡量通用视频生成能力。

CartPole 更像验证 LLM 能否调用经典控制系统方程并通过渲染生成未来帧。结果漂亮，但 benchmark overlap / implicit memorization 风险很高：CartPole 是 RL 中最常见环境之一，方程和代码模板广泛存在于训练语料。这里的 zero-shot 更像“调用已知物理模型”，不是从视频中发现未知动力学。

Counterfactual editability 是该方法最有说服力的实验之一，因为它直接来自显式状态和参数化程序。不过这也说明能力边界：只有当可编辑变量已经被程序显式建模，counterfactual 才成立。

Limitation

最大限制是方法成立依赖一组很强但论文没有完全正视的前提：对象必须能被稳定分割/跟踪；状态变量必须低维且语义清晰；动力学必须能被短程序表达；相机、背景、材质和遮挡不能成为主导因素；渲染器必须足够接近真实视觉。

这不是端到端视频预测问题的完全解决，而是把问题转移为：如何自动得到正确的 state abstraction、dynamics program 和 renderer。对于真实世界视频，这三个子问题都很难。尤其是 P 一旦错，后续 D/R 再合理也会崩；附录中 Grounded-SAM 把 pole 错标成 cart 的失败案例已经说明 pipeline 对 perception error 很敏感。

scalability 上限也明显：当系统包含多对象接触、非刚体、流体、复杂材质、隐变量力、部分可观测、长期交互时，LLM 生成的单一简洁程序很难覆盖。程序空间搜索、错误恢复、多假设维护、uncertainty propagation 文中都没有充分处理。

泛化 claim 需要谨慎。当前泛化主要是对已知物理方程的参数外推，而不是对新物理、新对象类别、新交互模式的组合泛化。所谓 reasoning 很可能包含大量 retrieval：CartPole、碰撞守恒、匀速运动都是 LLM 训练语料中高度常见的模式。

增益归因不清：LLM/VLM、Grounded-SAM/XMem、affordance rules、OpenCV state estimator、Box2D simulator、continuous optimization 各自贡献多少没有被系统拆开。特别是 Affordance Rules 可能是强人工先验注入点；如果规则写得足够具体，LLM 的贡献会显著下降。

Takeaway

  • 1. 对物理视频预测而言，显式状态 + 可执行动力学仍然是比像素级生成更可靠的归纳偏置；大模型视频生成不天然等价于 world model。
  • 2. LLM/VLM 更适合作为“结构假设生成器”而不是直接预测器：让它生成程序，再用数据拟合连续参数，是一个可迁移的范式。
  • 3. 未来真正值得做的是自动化 state abstraction 和 multi-hypothesis program search，而不是继续在简单物理 benchmark 上证明方程先验有效。
  • 4. 这条路线如果要走向真实世界，关键不在 D，而在 P 和 R：鲁棒感知、遮挡下状态估计、可微/可学习渲染、以及不确定性传播会决定上限。

一句话总结

ProgGen 是一篇把视频预测从像素生成转向 LLM 驱动程序化世界模型合成的工作，真正贡献在于用显式物理状态和可执行代码先验换取小样本、可解释和 OOD 外推能力，但其有效性目前主要局限于低维、可分割、经典物理模拟场景。