Awesome World Models / OpenReview

Probabilistic Adaptation of Black-Box Text-to-Video Models

作者：作者信息待提取 · 单位：Google DeepMind, University of Alberta · 来源：General Approaches to World Models · 发布日期：日期待提取 · 分类：2. Building World Models from 2D Vision Priors / From Video Generation Models to World Models

二维视觉先验视频生成

精读笔记

Problem Setting

《Probabilistic Adaptation of Black-Box Text-to-Video Models》（ICLR 2024）。

这篇论文实际处理的是一个即将普遍出现的问题：大规模 text-to-video 模型越来越像 LLM 一样被封装成服务，用户可以调用生成，但不能访问权重，因此传统 finetuning/LoRA/ControlNet 式适配不可用。下游又往往是窄领域视频：机器人、第一视角、特定动画风格、仿真到真实等。这类数据的分布与互联网视频重叠有限，但又高度依赖视频基础模型中已经学到的通用时空先验。

真正困难点不是“训练一个领域视频模型”，而是如何在小数据/小模型条件下保留大模型的 temporal consistency、object permanence、视觉真实感，同时让生成落到领域分布里。单独大模型的问题是 domain mismatch，可能画质好但动作/视角/机器人任务不对；单独小模型的问题是领域对但保真、动态和泛化差。关键矛盾就是：领域特异性和通用视频先验分别存在于两个不可合并的模型里，而大模型权重不可改。

Motivation

已有路线不够的根本原因是它们默认能触碰大模型内部参数或内部表征。LoRA、DreamBooth、ControlNet、prefix tuning 等都需要权重或至少需要在模型计算图中插入可训练模块；prompt-only 方法则对视频时序、动作执行、领域统计的控制太弱，尤其在机器人和 egocentric video 上很难只靠文本 prompt 解决。

作者的核心观察是：扩散模型的 score 本身已经是一个可组合的概率对象。即使不能更新 pretrained model，也可以把它当成 energy prior，在采样时与另一个领域模型相乘。这里缺的不是一个新的网络结构，而是一个能在 black-box 权重不可见时仍复用大模型分布知识的接口。论文因此把“适配”从参数空间迁移到采样分布空间。

Core Idea

核心思想是把目标生成分布写成 p_product(τ|text) ∝ p_pretrained(τ|text) p_domain(τ|text)。小模型 p_domain 在下游数据上训练，提供领域约束；大模型 p_pretrained 不训练，只作为 broad natural video prior。由于扩散 score 对应 energy gradient，乘积分布的 energy 是两个 energy 相加，采样时只需要把两个 score 相加即可。

这改变了适配的建模方式：不是让大模型吸收领域数据，而是让领域模型在大模型先验的支持集内生成。引入的 inductive bias 很明确：目标视频必须同时被领域模型和通用视频模型认为高概率。它重新组织了信息流——领域信息来自小模型参数，通用语义/动态/画质来自大模型 score，二者只在 test-time denoising trajectory 中交互。

和 prior 的本质区别在于：它不是 black-box prompting，也不是 parameter-efficient finetuning，而是 compositional generative modeling 在 proprietary video foundation model 场景下的应用。可扩展性来自两个方面：小模型可以很小且针对领域训练；大模型可以保持冻结并作为服务被反复调用。但这也意味着推理成本和 score access 成为新瓶颈。

Method

方法层面需要保留的机制不多。

第一，训练一个 task/domain-specific 小视频扩散模型。它解决的是领域分布缺失问题：大模型可能不知道 WidowX 机器人、Ego4D 第一视角运动、特定动画风格或某些仿真视觉统计。小模型不需要承担完整 natural video modeling，只需提供局部领域 likelihood landscape。

第二，采样时组合 score：ϵ = ϵ_domain + λ ϵ_pretrained。它解决的是小模型过拟合和低保真的问题。由于小模型容量/数据有限，会给很多不自然视频错误高概率；pretrained score 在采样过程中提供一个 rejection-like prior，把样本推回自然视频流形。λ 控制 prior 强度，实质上是在 domain specificity 与 pretrained realism 之间调温。

第三，重新处理 classifier-free guidance。论文指出不能简单把两个已经 CFG 后的 score 混合，因为 CFG 会把 pretrained distribution 收缩到少数高置信 text-conditioned modes，这些 mode 可能与下游领域不兼容。作者先构造组合 conditional distribution，再用小模型的 unconditional density 做 density ratio，形成低温采样。这一点比公式看起来更重要：它避免了大模型高置信风格/内容直接吞掉领域模型。

第四，可选地在 diffusion step 间加入 MCMC correction。这个更像辅助性 test-time refinement，而不是核心贡献。文中没有充分说明其相对贡献，主机制仍是 score-level product-of-experts。

Key Insight / Why It Works

这篇最关键的 insight 是：对于扩散模型，score 是比 sample 更有用的黑盒接口。sample 只能给离散结果，score 则暴露了局部分布几何；只要能查询 score，就可以在不访问权重的情况下执行概率组合。这比 prompt engineering 更强，因为它直接改变采样动力学，而不是间接诱导模型选择某些模式。

为什么有效：乘积分布天然具有 product-of-experts 的过滤效应。小模型学到“像下游数据”的方向，大模型学到“像自然视频”的方向。两者相乘后，只有同时满足二者的区域概率高。对于窄领域视频，这正好对应想要的分解：领域数据提供 task/style/action manifold，大模型提供 high-frequency realism、object permanence、temporal coherence 和一般视觉语义。

我认为真正的核心贡献不是训练小模型，也不是视频模型结构，而是把 black-box adaptation 明确表述成 score composition，并指出 CFG 需要在组合分布上重新定义。这个细节解释了为什么 naive CFG score mix 会失败：CFG 后的 pretrained score 不是 broad prior，而是已经经过强文本条件压缩的低温专家，容易与领域专家冲突。

哪些可能只是 engineering / scaling：大模型本身 5.6B，预训练数据极大，很多画质和动态增益显然来自 data coverage 和 scaling，而不是组合方法本身。小模型大小、λ schedule、最后若干 timestep 不组合、edge/first-frame conditioning 等都更偏工程调参。论文没有完全拆分“probabilistic composition”与“大模型更强+推理多一次模型调用”的贡献。

这不是 retrieval，也不是真正意义上的 reasoning/planning。机器人实验更像条件视频建模和视觉域随机化，不应过度解读为形成了可执行的长期 world model。所谓 world dynamics prior 很可能主要来自互联网视频覆盖和局部运动统计，而不是显式状态转移或因果动力学建模。

Relation To Prior Work

最接近的谱系是 energy-based compositional generation、composable diffusion models、product-of-experts，以及 residual EBM for language generation。思想本身不是全新：多个模型的 energy/score 相加来组合约束，是 EBM 和 diffusion composition 里已有的套路。

与 text-to-image adaptation 的区别在于使用条件完全不同。LoRA/DreamBooth/ControlNet 是 white-box 或 gray-box adaptation；Video Adapter 是 score-access black-box adaptation。它不修改 pretrained model，也不学习插入模块，而是在采样轨迹中让 pretrained model 持续施加 prior。

与 prompt-only / in-context analogy 的区别也很重要。论文借用了 LLM black-box adaptation 的动机，但实际机制不是 prompting，而是概率分布重加权。这里“black-box”比 LLM API 更强假设：需要返回 diffusion score。若只有文本输入和视频输出，这个方法不能直接用。

实质创新在于把 compositional diffusion 放到 proprietary text-to-video adaptation 这个问题设定中，并给出适配低温 CFG 的正确形式。看似新的地方很多其实是已有思想重组；真正新增的信息是：在视频领域，用 pretrained score 作为 broad prior 可以让很小的领域模型显著受益，而且 naive classifier-free score mixing 会破坏这种组合。

Dataset / Evaluation

实验覆盖面较宽：风格化视频、特定动画风格、Ego4D 第一视角、Bridge 真实机器人数据、LanguageTable 仿真/真实机器人。这个覆盖支持了作者关于“通用黑盒视频 prior 可迁移到多种下游域”的基本 claim，尤其是它不只停留在艺术风格，还触及 egocentric 和 robotics。

但 evaluation 主要验证的是短视频生成质量和领域视觉匹配，不充分验证 world model 能力。Bridge/Ego4D 的 FVD/FID/IS 与定性结果能说明组合模型在视频分布建模上更好，但不能说明生成的视频可用于可靠规划、长期预测或真实机器人闭环控制。sim-to-real 部分展示了 domain randomization potential，但没有下游 policy performance，因此更多是可能性展示。

对比设置有一定说服力：单独 pretrained、单独 small、pretrained finetune 同 compute、CFG mix、LoRA/Null-text inversion 附录对比。但增益归因仍不完全干净。由于 pretrained model 的训练数据巨大，且是否与某些评估分布存在语义/视觉重叠无法完全排除，部分提升可能来自数据覆盖而不是适配机制本身。文中未充分说明不同 noise schedule、conditioning mismatch、score calibration 对结果的影响。

Limitation

最核心限制是接口假设：方法要求黑盒模型返回每个 denoising step 的 score/denoising prediction。现实商业 API 通常不会暴露这个接口，因此论文的 black-box 不是 sample-only black-box，而是 weight-inaccessible but score-access。这个前提非常强，甚至可以说论文部分把 adaptation 难题转移成了 API 设计问题。

第二，方法不是 training-free。仍需为每个领域训练小视频模型，因此数据稀缺、长尾任务、快速个性化场景下成本仍在。小模型学不到的领域因果结构，pretrained prior 也不会凭空补上；它只能在已有通用视频流形上修正。

第三，组合分布的上限受两个模型支持集交集限制。如果下游领域真的在 pretrained prior 的低概率区域，比如特殊机器人视角、非自然物理、医学/工业视频，过强 prior 会压制领域特性；过弱 prior 又退化成小模型。λ 的调节不是原则性解决，更多是经验 trade-off。

第四，score 相加默认两个模型的 score 在同一数据空间、同一噪声尺度、同类参数化下可比。文中实验大体在相近架构/训练设置下完成；若换成不同厂商、不同 latent space、不同 sampler、不同视频编码，这个假设是否成立文中未充分说明。

第五，所谓机器人/world model 能力要谨慎。论文展示的是视频生成和数据增强，不是闭环控制或长期状态预测。生成视频看起来完成任务不等于模型理解可执行 dynamics；这里的“planning”成分可能主要来自条件数据分布和视觉相似性。

Takeaway

  • 1. 最值得迁移的思想是：当 foundation model 权重不可用时，score-level API 比 sample-level API 有本质更高的可组合性。
  • 未来如果生成模型服务愿意暴露 score，很多 adaptation/control/constraint satisfaction 都可以转到 test-time probabilistic composition。
  • 2. 对窄领域生成，训练一个小专家模型再与大通用 prior 做 product-of-experts，可能比强行 finetune 大模型更经济，也更模块化。
  • 这一范式可迁移到图像、3D、policy、trajectory generation 等场景。

一句话总结

这篇论文把黑盒 text-to-video 适配从“改权重”改写为“在采样时组合 score 的 product-of-experts”，真正贡献是证明 score-access foundation video model 可以作为可复用概率先验，但其能力上限高度依赖大模型数据覆盖和是否能获得 score 接口。