精读笔记

Problem Setting

[WatchAct: A Benchmark for Behavior-Grounded Robot Manipulation]（arXiv preprint / 2026）。这篇论文实际设定的是 behavior-grounded manipulation：机器人不是只看当前场景和语言指令，而是还要利用一段人类在同一场景中行动的视频来确定任务。关键矛盾在于，任务语义往往不在当前 observation 中，也不完整写在 instruction 中，而藏在人类行为造成的对象历史、事件顺序、参考系和意图里。以前的 manipulation benchmark 大多把问题简化为 static scene instruction following；视频类工作则常把视频当 demonstration 复现，而不是当 evidence 去解释“发生过什么、因此现在该做什么”。WatchAct 真正要测的是：系统能否把观察他人行为形成的 latent task state 转换成可执行计划，并在物理环境中完成它。

Motivation

已有路线不够的核心原因是 evaluation target 错位。静态 benchmark 可以提高 policy 执行和语言 grounding，但无法区分模型是否理解过去事件；video imitation 可以测试从演示到动作的映射，但默认目标就是复制轨迹，避开了意图推断、状态恢复、错误纠正、条件执行这类协作机器人真正需要的能力。作者的观察是，人类协作任务里大量指令本质上是 underspecified 的，比如“放回原处”“继续完成”“拿那个他指的东西”，这些指令只有结合 prior human behavior 才有确定含义。因此缺口不是再做一个更大的 LIBERO-style suite，而是构造一个让视频成为必要条件的 benchmark，并能拆分出 reasoning failure 和 control failure。

Core Idea

WatchAct 的核心思想是把“看人做过什么”建模成 manipulation task 的前置上下文，而不是 demonstrations、memory replay 或额外视觉输入。视频提供的是 latent variables：哪些对象被移动过、哪个事件是第几次、人的手势指向什么、原始状态是什么、当前状态相对过去改变了什么。语言指令则选择这些变量中的一部分作为目标约束。这个建模方式引入了一个明确的 inductive bias：先从行为视频恢复符号/半符号任务结构，再交给机器人执行。

和 prior 的本质区别在于信息流被重新组织了。传统 VLA 是 observation + instruction → action；video imitation 是 demonstration video → reproduce action；WatchAct 则是 human behavior video + underspecified instruction → high-level plan → execution。它更 scalable 的地方在于使用 LIBERO 可执行任务和高层 primitive plan 做对齐，使真实视频输入与模拟评测可以组合起来；但这也是它的约束，因为所有任务最终都被压缩到 Pick/Place/Open/Close 和命名区域上。

Method

方法层面最关键的机制有三点。第一，四类能力域不是简单 taxonomy，而是把视频中不同形式的任务相关信息显式拆开：Event Grounding 测事件内容，Procedural Reasoning 测顺序结构，Implicit Intent Inference 测欠规格语言和非语言线索，Episodic Reasoning 测状态历史。这解决的是现有 benchmark 只测最终状态执行、不测行为解释的问题。

第二，每个实例同时包含真实人类视频、语言指令、LIBERO 初始状态/成功谓词和 oracle high-level plan。这个设计的必要性在于，单有视频无法规模化执行评测，单有模拟任务又缺少真实行为观察；对齐后才能把“行为理解”接到可复现 manipulation 上。核心变化是把 benchmark 从 perception-only 或 execution-only 变成 perception-to-plan-to-action 的链式评测。

第三，disentangled evaluation 是本文最有价值的方法设计：VLM plan 用 symbolic executor 评估，policy 在 oracle plan 下评估，integrated pipeline 再评估误差复合。这避免了端到端失败不可归因的问题。它不是新算法，但它提供了一个更干净的 diagnostic lens。

Key Insight / Why It Works

这篇论文真正有效的部分是中间 plan 表示和分解评测，而不是某个模型或工程实现。高层 plan 把视频理解输出约束到可验证的 action sequence，使得 benchmark 可以判断 VLM 是否恢复了正确对象、位置、顺序和参考系；同时 oracle plan execution 又暴露出当前 VLA policy 的控制和 instruction-following 上限。换句话说，WatchAct 的贡献主要是 better evaluation inductive bias：用符号计划作为 reasoning 与 execution 的接口，让 failure mode 可观测。

核心贡献更像 representation alignment，而不是 scaling。真实视频和模拟任务通过共享对象、区域和成功谓词对齐；这让 benchmark 能规模化，但也把开放世界行为压缩进一个强模板空间。任务生成部分使用 frontier LLM 生成 schema，可能主要提升覆盖率和生产效率，技术上更偏 engineering / data scaling，不是方法论突破。文中未充分说明生成任务的多样性如何避免模板化，也未充分说明是否存在模型对常见 LIBERO-style 指令或对象布局的 implicit memorization。

结果上，VLM 提高输入 FPS 只有小幅收益，说明瓶颈不只是 frame sampling，而更可能是事件级状态建模、参考系转换和可执行计划生成。policy 在 oracle plan 下仍然失败，说明当前 VLA 的问题也不是只缺 planner；长 horizon 下的 compounding error、object grounding bias 和 location bias 依然是硬瓶颈。这里所谓“reasoning benchmark”实际上同时测了 latent state recovery、symbolic plan synthesis、spatial frame transformation 和 low-level robustness，不能简单归因到单一推理能力。

Relation To Prior Work

最接近的路线有三类：static manipulation benchmark（LIBERO、RoboCasa、CALVIN 等）、memory/temporal-context benchmark（RoboMME、MIKASA-Robo、RoboCerebra 等）、video imitation / human-demo-to-plan 方法（VIMA、video-to-robot-plan、MimicPlay 等）。WatchAct 的新增点不是“有视频”或“长 horizon”，而是视频的语义角色不同：它不是待复现轨迹，也不是机器人自身记忆，而是关于另一个 agent 如何改变世界的证据。

看似新的四类 cognitive capability，其实借用了 event segmentation、procedural reasoning、intent inference、episodic memory 这些已有认知科学概念；实质创新在于把它们落到可执行 manipulation benchmark，并用 plan/execution 分离评测。它属于 embodied reasoning benchmark 的演化：从 language-conditioned execution，走向 history-conditioned / behavior-conditioned task inference。它没有提出新的 VLM/VLA 架构，因此不应被理解为算法论文，而是一个重新定义 evaluation target 的 benchmark paper。

Dataset / Evaluation

数据覆盖 3,000 个实例、14 类任务、四类能力域，范围相对系统，且每个样本有真实人类视频和可执行 LIBERO 任务，这是支撑其核心 claim 的关键。真机实验规模不大，但能验证模拟中 in-domain / out-of-domain 和 oracle / VLM plan 的失败趋势并非纯模拟伪影。更重要的是，评测设计能回答“VLM 不会计划”还是“policy 不会执行”这类归因问题，这比只报 integrated SR 更有研究价值。

但 evaluation 也有明显边界。视频按照 filming guide 拍摄，行为是 purposeful、well-segmented 的，不是自然开放场景；对象、区域和 primitive action space 都被强约束；success predicate 是符号化的，因此更适合测 schema-constrained behavior grounding，而不是完整真实家庭机器人能力。benchmark 支持了“当前系统在受控行为 grounding manipulation 上仍很弱”这个 claim，但还不能支持“它全面评估真实人机协作行为理解”。

Limitation

最深层限制是 WatchAct 把开放的人类行为理解问题转化成了受控视频到离散计划的恢复问题。这个转化让评测可行，但也把很多真实困难移除了：动作连续性、交互式澄清、遮挡、多主体、不确定意图、非模板化物体状态、长期记忆维护等。模型如果在 WatchAct 上表现好，也可能只是学会了在有限任务 schema 内做 retrieval 和 slot filling，而不一定形成了可迁移的长期状态建模。

scalability 上限来自 alignment 成本。真实视频、模拟初始状态、成功谓词、oracle plan 之间必须一致，这天然要求受控拍摄和命名区域；越开放，自动验证越难。LLM 生成任务规格提高了生产效率，但也可能带来模板偏置和语言分布偏置。泛化结果显示 out-of-domain 明显下降，说明当前 policy 能力很大程度依赖 LIBERO-style data coverage；所谓 behavior-grounded reasoning 的增益来源也不清，因为 benchmark 主要是评测而非训练方法，没有证明某种模型机制可以稳健解决这些任务。

Takeaway

• 1. 值得记住的是问题重定义：协作机器人很多任务不是 instruction following，而是 history-conditioned task inference；当前 benchmark 体系长期低估了这点。
• 2. 最可迁移的 insight 是 disentangled evaluation：先评估 video-to-plan，再评估 oracle-plan execution，最后看 pipeline；这类分解应成为 embodied reasoning benchmark 的默认设计。
• 3. 未来真正值得做的不是简单增大 VLM 或提高视频 FPS，而是显式建模 object-centric event memory、spatial reference transformation 和可执行计划约束。
• 4. WatchAct 推动的是 benchmark frontier，不是算法 frontier；它把问题暴露得更清楚，但没有解决 planner 和 policy 之间的结构性断裂。

一句话总结

WatchAct 是一个把机器人 manipulation 评测从静态语言条件执行推进到“基于他人行为历史恢复任务”的 benchmark paper，真正贡献在于重新定义评测信息流并用 plan/execution 解耦揭示当前 VLM/VLA 的系统性短板。