精读笔记

Problem Setting

这篇论文不是在做 intuitive physics benchmark 的新 SOTA，也不是在提出新的 world model architecture。它实际解决的是一个归因问题：当前视频自监督模型缺乏物理直觉，是因为训练数据不符合人类发展分布，还是因为现有视觉预测式架构本身学不到相应结构。

困难点在于 intuitive physics 不是普通视频预测。模型可以很好地捕捉运动纹理、短期光流、物体外观变化，却仍然无法形成 object permanence、continuity、solidity、immutability 这类跨遮挡、跨时间、跨视角保持一致的约束。也就是说，低层动态预测成功并不等价于拥有物理世界模型。

以前方法卡在两个地方：一是大规模互联网视频模型容易把“世界理解”与数据覆盖、视觉相关性、任务特定线索混在一起；二是发展心理学启发的 benchmark 往往用 surprise 作为代理，但 surprise 本身可能更多反映预测误差而非概念性违背。本文把关键矛盾压缩成一个实验问题：如果给模型更像儿童早期视觉经验的数据，但仍只给被动视觉预测目标，它会不会自然学出物理直觉？答案基本是否定的。

Motivation

已有路线的隐含乐观假设是：足够大的视频数据 + latent predictive learning 会逼迫模型内化物理规律。V-JEPA / V-JEPA-2 这一谱系尤其强调在 latent space 预测未来可以避开像素级细节，从而学习更抽象、更可迁移的世界表征。但 IntPhys2 的结果表明，这类模型在物理可行性判断上仍然接近随机。

作者的核心观察是：人类婴儿并没有消费互联网规模的视频，却较早表现出对物体持续性、时空连续性等原则的敏感性。因此，一个自然怀疑是：不是数据量不够，而是数据分布错了。互联网视频是剪辑过的、第三人称的、语义/任务偏置很强的，而婴幼儿视觉输入是第一人称、连续、低视角、伴随身体运动和环境交互的。

关键缺口在于，过去很少直接检验“developmentally realistic visual distribution”本身是否足够。本文正是把这个缺口具体化：用 SAYCam 替代互联网视频，观察 V-JEPA 是否因此获得更好的 intuitive physics 表征。

Core Idea

核心思想是做一个针对 data distribution hypothesis 的负向压力测试：如果 intuitive physics 的瓶颈主要来自视觉数据分布，那么用更接近儿童第一人称经验的 SAYCam 预训练 V-JEPA，应该至少在 IntPhys2 上带来可观察的提升；如果没有提升，则说明问题不只是互联网视频分布不自然。

直觉上这条路线本来可能有效，因为 SAYCam 包含连续家庭环境、真实物体、自然遮挡、儿童运动视角和非脚本化交互，比 exocentric internet videos 更接近婴儿用于学习物理规律的输入。V-JEPA 的 latent prediction objective 又避免直接重建像素噪声，理论上可能把注意力放在场景状态演化上。

但论文最重要的结论恰恰是：这种改变没有实质性奏效。也就是说，egocentric developmental visual data 并没有自动转化为可用于 possible/impossible discrimination 的物理表征。和 prior 的本质区别不是引入了新 inductive bias，而是移除了一个常见解释：不能简单说模型不会物理是因为没看过儿童视角数据。

Method

方法机制可以概括为三层控制。

第一，使用 V-JEPA 在 SAYCam 上预训练。它解决的是“数据分布是否关键”的问题：保持模型类型接近已有 latent predictive world model，只替换训练分布为儿童第一人称自然视频。核心变化不是模型更强，而是输入统计从互联网视频转向 developmental egocentric video。

第二，构造对照以分离粗粒度因素。V-JEPA-2-H-VM22M 代表大规模混合视频数据，HowTo100M 子集代表相近数据量但 exocentric/tutorial 分布，VideoMAE-SAYCam 代表同一 SAYCam 数据上的另一种自监督预测架构。这些对照并不完美，但足以支持一个弱因果判断：数据规模、数据分布、架构替换都没有明显把模型推离 chance-level intuitive physics。

第三，用 violation-of-expectation 风格的 surprise metric 做评估。对每个视频窗口，模型预测未来 latent 或像素目标，预测误差作为 surprise；如果模型有物理预期，则 impossible video 的平均 surprise 应高于 possible video。这个机制的必要性在于它不需要额外训练分类头，直接 probe 预训练模型内部预测结构。但它也把评估强绑定到“预测误差是否等于物理惊讶”这一假设上。

Key Insight / Why It Works

这里最值得记住的不是“方法有效”，而是“一个合理的解释没有成立”。SAYCam + V-JEPA 没有显著优于大规模互联网视频模型或 SAYCam 上的 VideoMAE，说明当前模型失败很难归因于单一的数据分布问题。即使训练数据更接近儿童视觉经验，被动视觉预测目标仍然可能只学习短程统计、外观连续性、运动局部规律，而不是对象级、因果级、可模拟的物理状态。

这篇论文的核心贡献更像是 negative evidence for visual-only scaling/distribution shift。它削弱了两个常见叙事：第一，“只要数据足够大，物理会 emerge”；第二，“只要数据像儿童看到的那样，物理会 emerge”。实验显示两者都不够，至少在 V-JEPA / VideoMAE 这类架构和 IntPhys2 probe 下不够。

从机制上看，V-JEPA 的 latent prediction 并没有强制形成 object-centric persistence。遮挡后的对象是否继续存在、物体是否穿透、属性是否不变，这些都需要跨时间维护离散对象身份和不可见状态；而 masked latent prediction 可以通过局部视觉统计、场景先验或短程动态来降低损失，并不必显式表示隐藏物体和因果约束。因此它的 inductive bias 仍然太弱。

surprise analysis 进一步暴露了评估和表征之间的错位：possible 与 impossible 视频的 frame-level surprise 曲线往往非常相似，最后的分类取决于平均误差的细小差别，噪声敏感性很高。这意味着即便某些样本被“正确分类”，也未必是因为模型理解了物理违背；可能只是视觉预测误差在某些帧上偶然偏高。所谓 intuitive physics 在这里很容易退化成 fragile score ordering。

因此，最可能的技术判断是：当前增益如果有，也主要来自 data coverage 或视觉统计匹配，而不是形成了内部 physics engine。本文没有展示 planning、counterfactual rollout、object state tracking 或 interaction-conditioned prediction，所以不能把这些模型的表现解释为真正物理推理。文中对“为什么某些 condition 上接近 SOTA”没有充分归因，可能主要来自 scaling / data 或 benchmark-specific visual regularities。

Relation To Prior Work

这篇论文处在 V-JEPA / self-supervised video world model 与 developmental intuitive physics benchmark 的交叉处。最接近的是 Garrido et al. 关于 self-supervised natural video 产生 intuitive physics understanding 的乐观路线，以及 Bordes et al. 的 IntPhys2 对这种乐观结论的重新评估。本文基本站在后者一侧：更严格、更复杂的 benchmark 下，现有模型仍未展示可靠物理理解。

和 Physion、IntPhys、IntPhys2 等 benchmark 工作相比，本文没有提出新评测，而是使用 benchmark 作为诊断工具。真正新增的信息是：把 SAYCam 这种发展现实主义数据放进当前 V-JEPA 框架后，结果仍然不行。这是对“儿童视角数据可能解决问题”的直接检验。

和 Orhan / Lake 系列关于 child-perspective SSL 的工作相比，本文更关注物理推理而非物体表征或一般视觉表征。SAYCam 上学到 object representation 并不意味着学到物理原则；这是一个重要区分。

和 domain-specific intuitive physics models、object-centric simulation models 相比，V-JEPA 缺少显式对象、力学状态、因果交互和模拟结构。本文的结果反过来支持这样一种观点：如果目标是物理可行性判断，仅靠 general-purpose latent video prediction 可能不够，仍需要更强的 structural inductive bias 或 embodied interaction signal。

Dataset / Evaluation

SAYCam 的价值在于它提供真实、连续、第一人称、儿童生活环境中的视频，而不是 curated internet clips 或 synthetic scenes。它覆盖了部分儿童早期视觉经验，但并不等价于儿童实际学习物理的完整输入：缺少动作命令、身体运动、触觉、前庭感受、主动探索意图，也只有三名儿童、家庭场景有限、总时长远小于真实发展经验。

IntPhys2 的优点是比早期 intuitive physics benchmark 更难被低级伪线索解决：有更真实的渲染、动态光影、自然遮挡、移动相机，并覆盖 object permanence、continuity、solidity、immutability 等概念。它比简单 synthetic violation 更接近对物理预期的 stress test。

但 evaluation 是否完全支持核心 claim 仍有限。首先，surprise-based possible/impossible discrimination 只是间接 probe，不等于测量内部物理模型。其次，平均 surprise 对窗口、context length、stride、视频局部视觉复杂度都敏感。第三，模型没有被要求 action-conditioned rollout 或 counterfactual prediction，因此无法区分“物理推理失败”和“surprise metric 不适配模型表征”。

尽管如此，评估足以支持一个保守结论：在该 benchmark 和该 probe 下，当前视觉自监督模型没有表现出可靠 intuitive physics；SAYCam 式视觉分布没有明显改变这一点。

Limitation

最大限制是因果归因仍然粗糙。SAYCam 比真实儿童经验小很多，且覆盖场景窄；因此失败不能证明 developmental visual data 不足，只能证明这个规模和形式的 SAYCam 不足。作者也承认这一点。

第二，论文把“embodied”主要操作化为 egocentric visual data，这其实很弱。真正的 embodiment 包括行动选择、运动后果、触觉反馈、身体约束、主动干预和因果闭环。SAYCam 是儿童视角，但模型仍然是被动观察者；它没有学到 action-to-observation dynamics。因此问题可能只是从“互联网视频不对”转移到了“缺少 agentic sensorimotor loop”。

第三，V-JEPA 的 objective 本身可能和 intuitive physics 不对齐。latent prediction 不要求对象身份持久化，不要求维护 occluded state，也不要求预测多步反事实。模型可以在训练损失上收敛，却完全没有形成可查询的物理状态变量。

第四，benchmark 与训练分布存在强烈 domain gap：SAYCam 是真实家庭视频，IntPhys2 是 photorealistic synthetic scenes。失败可能部分来自 synthetic-real gap 或任务格式不匹配，而不仅是物理能力缺失。反过来，大模型在 IntPhys2 上稍高一点也可能主要来自更广数据覆盖，而非真实物理推理。

第五，文中没有充分说明随机种子、训练稳定性、context selection 对结果的影响；也没有做更细的 representation probing，例如 object tracking、occlusion memory、latent state linear separability。因而“模型没有物理表征”这个说法应理解为“没有在当前评估中表现出可用物理表征”，而不是强证明。

Takeaway

• 1. 对 intuitive physics 来说，视觉数据分布不是一个可以单独解决问题的旋钮；egocentric developmental video 有帮助的可能性仍在，但 visual-only passive learning 明显不够。
• 2. V-JEPA 类 latent prediction 的核心短板可能不是 scale，而是缺少 object-centric hidden state、action-conditioned dynamics 和 causal intervention pressure。
• 未来更值得做的是把预测目标从“未来表征”改成“可交互状态演化”。
• 3. Intuitive physics benchmark 上的正确率必须谨慎解释。

一句话总结

这篇论文是对“视频自监督 + 更像儿童的视觉数据会自然产生物理直觉”这一假设的负结果检验，真正贡献在于说明当前 world model 的瓶颈不只是数据规模或视觉分布，而更可能是缺少 embodied、object-centric、causal 的学习信号与结构偏置。