精读笔记

Problem Setting

TempAct 面向的是 AR video diffusion 的 streaming / low-latency 生成场景。这里的核心矛盾是：AR chunking 让系统具备低延迟和缓存复用，但也把一个全局时序指令切成多个未标注语义归属的生成决策。单一 prompt 下，每个 chunk 都看到完整事件描述，却不知道当前时间应该执行哪个子事件，因此容易把后续动作提前、把多个阶段混在一起，形成 temporal confusion。直接用 step prompt 看似解决歧义，但把问题转移到 executor：AR 模型在 prompt 切换时会沿用前一动作、混合相邻语义，且早期错误会进入 visual history 并持续污染后续 chunk。以前的 SFT / DMD / rollout distillation 主要优化低层生成分布或 teacher matching，不直接奖励动作顺序、状态转移和 prompt-switch correctness；executor-only RL 也只能学“给定 step 怎么执行”，无法修正 step decomposition 本身。

Motivation

作者真正抓住的缺口是：temporally complex instruction following 在 AR 视频里不是普通 text-video alignment，而是一个 hierarchy problem。上层要决定事件如何分段、每段应该呈现什么状态、哪些动作必须先后发生；下层要在已有 imperfect visual context 下把当前 step 兑现出来。已有路线缺的是两个层面的对齐：一是 plan 是否 executable by this particular video model，二是 prompt transition 处的局部执行是否应被单独奖励。SFT 在 clean history 上训练，遇到 self-generated history 会偏移；distillation 即使 rollout，也仍然在优化 denoising / teacher distribution，而不是“这个时间点是否应该切到新动作”。因此 RL 的动机不是泛泛地用 reward 提升质量，而是为 temporal ordering 和 transition execution 构造可比较的 credit assignment。

Core Idea

论文的核心思想是把 AR 视频生成重新建模为 planner–executor 闭环优化：planner 负责把全局 temporal instruction 转成 span-aware step prompts，executor 负责在 AR 历史中执行当前 step；两者都不是固定模块，而是在生成轨迹和 VLM/LLM reward 下被共同优化。这个建模引入了一个重要 inductive bias：复杂视频的时间结构应先被显式离散化为阶段，再由局部条件生成实现，而不是期待一个单 prompt embedding 在所有 chunk 中隐式携带正确时间进度。

本质区别在于信息流被重组了。prior 的 AR 方法通常是“global prompt → sequential chunks”，最多加缓存或 rollout training；TempAct 变成“global prompt → multiple candidate temporal plans → shared-context execution groups → hierarchical reward”。outer group 比较不同 decomposition 的长期结果，inner group 在相同 visual prefix 下比较不同 continuation 的 transition execution。这个结构比简单 step prompting 更强，因为它不仅给 executor 更明确的条件，还让 planner 学到哪些步骤粒度和状态描述对当前生成器是可执行的。

Method

关键机制不是模块堆叠，而是信用分配设计。第一，LLM planner 采样多个 span-aware plans，每个 plan 同时做 decomposition 和 prompt enhancement。它解决的是全局 prompt 在 chunk 级别语义归属不明确的问题；核心变化是把 temporal structure 从隐式 embedding 变成可优化的离散文本计划。

第二，step-prompt smoothing 用当前 step 与下一 step 构造过渡条件。它不是核心创新，但很关键：ablation 显示 hard step switching 会明显伤害性能，说明 AR executor 对突变条件非常脆弱。smoothing 本质上是降低 prompt distribution shift，给模型一个软过渡的 curriculum。

第三，hierarchical group exploration 是方法的主轴。planner group 比较多个 plan；每个 plan 下 executor 从同一前缀 context 采样多个 continuation。这样 executor 的 reward variance 被控制在“同一历史、同一切换点”的局部比较里，而 planner 则接受 full-video temporal outcome 的反馈。

第四，executor 只更新 prompt switch 后第一 chunk。这个设计很重要：后续 chunk 的输入已经被不同 continuation 改写，不能再视为同一 policy state 下的可比 action；如果用 full-video reward 更新 executor，credit assignment 会变脏。实验也支持 local step reward 明显优于 coarse video reward。

Key Insight / Why It Works

最可能真正有效的部分是“按 AR 因果结构重做 credit assignment”，而不是单纯用了 LLM planner 或 GRPO。AR 视频的错误传播具有强路径依赖：一旦 transition 处没有执行新动作，后续再强的 prompt 也只能在错误状态上补救。TempAct 把 RL 更新集中在 prompt switch 的第一个 chunk，本质上是在优化长期轨迹的分叉点。这比对整段视频打一个 reward 更符合 causal intervention。

第二个关键 insight 是 planner reward 必须包含 execution feedback。一个语言上漂亮的 decomposition 未必对视频模型可执行；不同 backbone 对动作粒度、物体状态、过渡速度的承载能力不同。TempAct 让 planner 学“对当前 executor 可执行的计划”，这比固定 LLM decomposition 更合理，也解释了为什么 planner RL 和 executor RL 互补。

第三，很多增益可能来自 better inductive bias + reward shaping，而不是模型真正获得长期 reasoning。固定 L span、step prompt、smoothing、local VLM reward 共同提供了强 temporal scaffold；这更像把未结构化长指令变成有监督的阶段控制问题。所谓 planner reasoning 可能相当部分是把 GPT-生成训练指令映射到常见事件模板，并通过 VLM judge 选择更顺眼的 decomposition。

第四，prompt smoothing 可能是一个低估的 engineering factor。step prompt baseline 直接掉分，smoothing 后恢复明显，说明单纯“分步描述”不是充分条件；模型对条件切换的分布外性很敏感。TempAct 的 RL 增益应与 smoothing 分开看，否则容易把 transition regularization 的收益误归因给 planner-executor reasoning。

第五，reward model bias 不能忽略。训练和部分评估都依赖 Qwen 系 VLM/LLM，虽然 Gemini out-of-domain 和 human study 缓解了这个疑虑，但 Temporal-Following Score 本身仍是 VLM 可见证据评分，不等价于真实物理因果或精确动作完成。

Relation To Prior Work

TempAct 位于三条线的交叉：AR video diffusion / streaming generation、diffusion RL / Flow-GRPO、LLM planning for long-horizon generation。和 Self-Forcing、LongLive、Causal Forcing 等相比，它不主要解决采样效率、缓存管理或 train-test mismatch，而是在已有 AR backbone 上增加 temporal instruction control。和 AR-CoPO、KVPO、Astrolabe 等 executor-level RL 相比，它的新增信息是显式 temporal plan 以及 plan-level reward；prior 多数仍假设条件已经给定，优化的是 video policy 对偏好的响应。

看似新的部分里，LLM decomposition、VLM reward、GRPO-style group comparison 都不是新思想；实质创新是把这些组件嵌入 AR 视频的两层因果结构：plan group 对应 long-horizon semantic decomposition，execution group 对应 prompt-switch 局部动作选择。换句话说，贡献不是某个 optimizer，而是 reward / sampling / update region 的结构化匹配。它更接近 hierarchical RL + structured prompting + diffusion policy alignment 的组合，而不是一个全新生成模型架构。

Dataset / Evaluation

评估围绕作者构造的 Temporal Order benchmark，覆盖 simple 与 hard 两类 temporally ordered prompts，目标与论文 claim 高度一致：检查事件顺序和状态转移是否被保留。这比只看 VBench / PickScore 更适合验证 temporal plausibility。使用 Qwen3-VL 训练时 evaluator 和 Gemini-3-Flash 外部 evaluator，再加 human preference，是相对合理的三角验证；尤其 Gemini 和 human 的一致性给结果增加了一些可信度。

但 evaluation 的边界也很清楚。benchmark 是 200 条规模的 prompt 集合，且训练数据是 GPT-5.2 生成的 5k temporally structured instructions，文中未充分说明训练分布与测试 prompt 的语义模板重叠程度。Temporal-Following Score 仍然是 VLM judge，不是动作检测器或物理状态追踪器；它可能偏向文字描述中显著物体和动作的可见证据，而难以评估细粒度时序因果。没有真实交互、在线用户指令、超长 horizon 或闭环 correction 评估，因此只能支持“在离线 temporal-order benchmark 上改善 AR 生成的时序可评估性”，还不能证明真实 deployment 中的长期可控性。

Limitation

最大前提是底层 AR video generator 已经具备足够动作生成和视觉连续性能力。TempAct 不能创造 executor 不会的动作，只能通过更好的 plan 和 transition reward 选择/强化可执行区域；当动作涉及复杂物理、精细接触、长时记忆或对象恒定性时，上限仍由 backbone 决定。

第二，planner 是固定 span、open-loop 的文本 planner。它不看已经生成的视频，也不根据实际失败动态重规划，因此没有真正形成 closed-loop state estimation。论文自己也承认 duration-aware 和 VLM-based planner 是未来方向；这意味着当前方法更像预先编排时间表，而不是在线规划。

第三，增益归因不完全清晰。prompt smoothing 本身带来大幅恢复，executor local reward 是主要增益，planner judge reward甚至略降 temporal score但改善 text alignment。联合收益可能来自多种 engineering choices 的叠加，而不是单一 planner-executor RL 框架的必然结果。

第四，scalability 成本高。每个 batch 多 plan、多 rollout、VLM/LLM reward，再加 diffusion executor RL，训练开销很重。它适合离线对齐，不像能直接用于频繁更新的交互式系统。

第五，泛化可能依赖数据覆盖和 reward model 偏好。所谓 temporal reasoning 可能部分是对常见 ordered action patterns 的模板化 decomposition；如果 prompt 涉及罕见动作、隐含状态、非视觉因果或需要可逆/并行动作，当前固定 step plan 可能失效。

Takeaway

• 最值得记住的不是 TempAct 的具体 hyperparameter，而是一个方向判断：AR 视频的 temporal control 需要把“时间计划”和“局部执行”拆开优化，否则全局 prompt 或 executor-only RL 都会把 credit assignment 搞混。
• 可迁移 insight 是：对于任何 autoregressive multimodal generation，长程语义错误往往发生在 state transition / instruction switch 的边界；RL reward 应尽量对齐这些边界，而不是只给 full-trajectory score。
• 另一个重要启发是 planner 必须学习 executor-aware decomposition。
• 未来有效的 planner 不应只是 LLM 写步骤，而应观察模型生成状态、估计动作可执行性、动态分配时长，并在失败后重规划。

一句话总结

TempAct 是把 AR 视频生成中的时序可控问题从 executor-only alignment 推向 planner–executor hierarchical RL 的工作，真正贡献在于按 temporal plan 和 prompt-switch transition 重构信用分配，而不是单纯提升视频生成质量。