精读笔记
Problem Setting
这篇论文真正瞄准的是 behavior-grounded manipulation：机器人不是只根据当前图像和语言执行，也不是复现视频中的动作，而是要利用“另一个人之前做过什么”来补全当前指令中缺失的任务变量。真正困难点在于，视频中的信息不是显式目标，而是间接证据：哪个物体被拿出、动作发生顺序、某个 ambiguous reference 指向谁、人的手势暗示什么、场景从过去到现在如何变化。以前方法卡在两端：静态 manipulation benchmark 把历史删掉了，video imitation benchmark 又把视频误建模成待复制轨迹，memory benchmark 多数只关心机器人自身轨迹。这里的关键矛盾是：协作场景需要历史和意图推理，但机器人控制评测又需要可执行、可复现、可量化的 success predicate；WatchAct 的价值正是在这两者之间搭桥。
Motivation
作者的出发点不是再做一个更长、更大的 LIBERO-style benchmark，而是指出现有 evaluation 缺少一个非常现实的条件变量：人的行为历史。语言指令经常欠定，比如“放回原处”“继续完成”“修正刚才的错误”“拿他指的那个”，这些任务在当前状态下可能没有唯一解，必须依赖 object history、event order 或 human intent。现有路线要么默认 instruction 已经完整指定目标，要么把视频当 demonstration，而不是 evidence。核心缺口是评测体系没有办法问：模型是否真的理解了他人行为对当前任务的因果约束？WatchAct 正是把这个缺口显式化。
Core Idea
核心思想是把人类行为视频从“动作示范”重新建模为“任务条件的观测证据”。视频承载的不是要模仿的低层轨迹，而是 latent task variables：相关对象、事件顺序、先前位置、状态变化、空间参考框架和隐含意图。机器人需要先从视频和语言恢复一个高层计划，再由 policy 去执行。这个建模方式引入的 inductive bias 是事件化和符号化：把连续视频压缩成少量对 manipulation 有用的事件变量，而不是要求端到端模型直接从长视频到控制。
和 prior 的本质区别在于，WatchAct 不把 temporal context 当作 robot memory，也不把 human video 当作 one-shot imitation，而是把它当成关于世界历史的外部证据。这使得 benchmark 更 scalable：真实视频可以通过 filming guide 批量收集，执行端交给 aligned simulator 复现，评测端用 success predicate 和 symbolic plan 做可重复诊断。但这也意味着 benchmark 的“推理”被限制在可符号化、可离散化、可对齐的任务空间内。
Method
方法的关键机制不是某个模型，而是 benchmark construction 和 evaluation decomposition。
第一，任务 taxonomy 按认知需求而不是按操作技能组织：Event Grounding 测事件内容定位，Procedural Reasoning 测时序结构，Implicit Intent Inference 测未说出口的目标，Episodic Reasoning 测历史状态对当前目标的约束。它解决的是 benchmark 覆盖面问题：避免只测长程 pick-and-place，而忽略行为理解中真正困难的 latent variables。
第二，每个 instance 同时包含 real human-action video、language instruction、aligned LIBERO task 和 oracle high-level plan。这个设计解决可评测性问题：视频提供真实视觉证据，仿真提供可重复执行环境，BDDL/success predicate 提供客观判定，oracle plan 提供中间诊断锚点。核心变化是把开放的视频理解问题压到可执行 manipulation task 上，而不是停留在 VQA 或 caption 层面。
第三，disentangled evaluation 把系统拆成 plan reasoning、oracle execution 和 integrated pipeline。它解决错误归因问题：如果端到端失败，至少能区分是 VLM 没有从视频恢复计划，还是 policy 连正确计划都执行不了。这个分解是论文最有用的评测设计，因为它直接暴露当前系统的两个瓶颈并非同一个问题。
Key Insight / Why It Works
最重要的 insight 是：协作机器人很多看似语言跟随的问题，本质上是 history-conditioned goal inference。只看当前状态时，目标变量是不可辨识的；加入人类行为视频后，任务才变成可辨识。WatchAct 有效的原因不是提出了新模型，而是把这个不可辨识性系统性地编码进 benchmark：没有视频就缺关键信息，有视频但不理解事件也无法得到正确计划。
真正核心贡献是 representation alignment：把真实视频中的事件历史对齐到 simulator 中的对象、区域、谓词和成功条件。这个 alignment 让“看懂人做了什么”不再只是语言评估，而是必须转化为可执行结果。相比之下，3,000 instances、14 tasks、若干 VLM/VLA baseline 更像 benchmark scaling 和工程覆盖，不是概念上的突破。
当前结果说明两件事：第一，frontier VLM 的视频理解并没有形成可靠的 embodied event model，尤其在人类中心参考框架、长时序、隐含意图上仍像是在做局部线索匹配；第二，VLA policy 的 failure 不是规划错误的副作用，因为 oracle plan 下仍很差，说明低层控制对长程、组合式、OOD object/instruction 的泛化仍然薄弱。
需要警惕的是，WatchAct 中的 reasoning 可能被未来模型用 retrieval 或模板匹配绕过。任务由 LLM schema 生成、动作空间只有 Pick/Place/Open/Close、区域命名固定、视频按 filming guide 拍摄，这些都会形成强结构先验。短期内这对评测诊断是优点；长期看，如果训练集覆盖这些模板，所谓推理很可能退化成 schema classification + slot filling。
Relation To Prior Work
WatchAct 最接近三条线：language-conditioned manipulation benchmark、video imitation / demo-to-plan、以及 memory-dependent robotic benchmark。它和 LIBERO、CALVIN、RoboCasa 这类静态 benchmark 的差异在于引入了他人行为历史作为任务必要条件；和 VIMA、human demo video-to-plan 的差异在于视频不是要复制的轨迹，而是关于目标和状态的证据；和 RoboMME/MIKASA/RoboCerebra 这类 memory benchmark 的差异在于记忆来源不是机器人自身经历，而是另一个 agent 改变场景的过程。
看似新的地方——事件、程序、意图、episodic reasoning——本身都不是新概念，认知科学和 embodied AI 中早已有类似分解。实质创新在于把这些概念落到可执行 manipulation benchmark：视频-语言-仿真任务-符号计划-success predicate 的闭环。它属于 benchmark-driven reframing，而不是 algorithmic innovation。论文真正新增的信息是：当前 VLM/VLA 在这个 reframed setting 下同时暴露出 plan inference 和 execution 两个断点。
Dataset / Evaluation
数据覆盖 3,000 个实例、14 类任务、四个能力域，覆盖面比普通 LIBERO-style manipulation 更接近协作机器人中的上下文依赖任务。它包含真实人类行为视频和仿真执行任务，并做了少量真机验证；这使得 benchmark 不只是视频问答，也不是纯仿真脚本。
评测基本支持核心 claim：现有系统在 behavior-grounded manipulation 上远未解决，而且瓶颈同时存在于视频到计划和计划到执行。人类 plan performance 很高，说明任务定义对人是清楚的；输入 FPS 提升收益有限，也削弱了“只是帧采样不够”的解释；真机复现类似趋势，说明 failure 不完全是 simulator artifact。
但 evaluation 的边界也很明显。Plan SR 依赖 symbolic executor 和高层 primitive，因此更适合评估离散计划恢复，不足以证明模型具备开放式长期状态建模。Integrated pipeline 仍是 planner-policy 级联，不是真正端到端行为 grounding。真实世界实验规模较小，更多是趋势校验而非完整 real-world benchmark。总体上，evaluation 很好地验证了“现有模型失败在哪里”，但没有完全验证“这四个能力域足以代表 behavior-grounded robot manipulation”。
Limitation
最核心限制是任务世界被强符号化。对象、区域、谓词、动作 primitive、success predicate 都预先规整好，视频也按 filming guide 拍摄。也就是说，benchmark 评的是在结构化世界中从视频恢复离散任务变量，而不是在开放世界中持续建模人类行为。这个前提对可扩展评测必要，但也设定了能力上限。
第二，scalability 依赖 video-simulator alignment。真实视频越自由、动作越连续、接触越复杂、物体越开放，alignment 成本会急剧上升。作者用 LLM 生成 schema + 人工验证 + 3D 扫描对象，工程上可行但不一定能自然扩展到家庭级复杂场景。
第三，reasoning 可能被过度高估或过度低估。过度高估来自模板化任务和固定 action vocabulary，模型可能做 slot filling；过度低估来自当前 VLA policy 很弱，使 integrated success 难以反映 planner 质量。文中通过 disentangled protocol 缓解了这个问题，但增益归因仍不完全清楚。
第四，所谓泛化仍有限。OOD 主要是新对象、新指令和部分布局变化，不等于真实 deployment 中的开放类别、非刚体、遮挡、动态人、失败恢复和在线交互。文中未充分说明训练数据与 WatchAct schema 是否存在潜在 overlap；未来模型若在类似自动生成任务上预训练，benchmark leakage 会变得很难排除。
第五，高层动作空间只有四个 primitive，这让许多真实协作任务被排除，例如倒、擦、切、堆叠不稳定物体、工具使用、双手交互等。论文自己承认这一点，但这不是小限制，而是决定了 WatchAct 更像“历史条件下的桌面符号操作 benchmark”，还不是完整的人类协作 manipulation benchmark。
Takeaway
- 第一，WatchAct 最值得记住的不是结果数字，而是把 human behavior video 作为 task evidence 而非 demonstration 的建模转向。
- 这个视角可以迁移到 household robotics、assistive robotics、egocentric memory、human-robot collaboration 等问题。
- 第二，未来系统很可能需要显式 episodic world model：记录谁移动了什么、从哪里到哪里、为何移动、当前状态相对历史状态差什么。
- 单纯扩大 VLM 或提高 FPS 看起来不足以解决这个问题。
一句话总结
WatchAct 是一个把机器人操作评测从“当前状态下执行语言指令”推进到“基于他人行为历史恢复任务意图并执行”的 benchmark reframing，实质贡献在于视频-符号计划-可执行仿真的对齐评测，而不是新的控制或推理算法。