精读笔记
Problem Setting
【Deform360: A Massive Multi-view Visuotactile Dataset for Deformable World Models】（arXiv preprint / 2026）
这篇论文真正处理的是 deformable object world modeling 中的“监督形态缺失”问题：我们想比较和训练 action-conditioned future prediction，但真实 deformable interaction 的关键状态既不完全在 RGB 里，也不容易以稳定 3D state 形式获得。难点不是定义未来预测，而是 deformable 物体的状态空间高维、接触形变局部且常被遮挡、材料参数不可见、同一外观变化可由多种内部状态导致。
以前方法卡在两个方向：2D video world model 可扩展但缺少显式物理状态，长期预测容易出现 3D/temporal inconsistency；3D particle / simulator 路线物理结构更强，但通常数据小、对象少、依赖 registration 或仿真先验，跨物体泛化弱。关键矛盾是：越显式的物理表示越难规模化，越可规模化的视频表示越难约束真实 3D dynamics 和 contact causality。
Motivation
作者的动机不是“现有数据集规模不够”这么简单，而是现有数据集缺少同时回答两个问题的观测结构：第一，真实 deformable interaction 中 contact-induced deformation 到底能否从视觉中学到；第二，2D scaling 和 3D structure 在相同对象、动作、评测协议下的 trade-off 是什么。
关键缺口是 aligned multimodal supervision：多视角视频给全局几何，触觉给接触处被遮挡的局部信号，机器人 proprioception 给动作条件，markerless tracking 给 3D state。没有这种对齐，任何模型优劣都可能只是数据、视角、渲染或 annotation bias 的结果，而不是 world model 本身能力差异。
Core Idea
核心思想是把 deformable dynamics benchmark 从单一模态预测任务升级为“可交叉投影的物理观测系统”：同一段 interaction 同时能被看作 2D video prediction、3D particle rollout、contact prediction 和 MPC planning 的训练/验证数据。这样 2D 模型和 3D 模型不再各自在不同数据集上讲故事，而是在同一物理事件上暴露各自 inductive bias。
本质区别在于信息流被重新组织了：视觉不只是输入帧，而是用于恢复 3D geometry；触觉不只是额外 modality，而是 tracking 中对接触区域运动的约束；3DGS 不直接承担 dynamics，而是提供 per-frame geometry substrate；particle trajectories 才承担 temporal identity。这个设计的合理性在于把高保真重建和物理一致 tracking 分开，避免要求一个统一模型同时解决渲染、遮挡、对应和动力学。
Method
方法层面真正必要的机制有三点。
第一，多视角 3DGS 用来解决每帧表面几何质量问题。它的作用不是学习动力学，而是提供一个足够密的几何支撑，使 2D tracks 可以 lift 到 metric 3D 空间。这里的核心变化是把 deformable state annotation 从人工 marker / 稀疏 RGB-D 变成 markerless dense reconstruction。
第二，2D tracking 到 3D particle identity 的 lifting/fusion 用来解决 temporal correspondence。单帧 3DGS 本身没有物理身份，Gaussian 的运动也未必是 material point motion；因此需要 CoTracker-style 2D correspondence、多视角融合和时序优化，把“看起来像的表面”转成“同一个粒子随时间运动”。
第三，触觉约束用于处理接触遮挡下视觉不可观测的局部运动。它不是完整 tactile physics model，而是一个 contact-local no-slip / velocity regularizer。这个选择很工程化但合理：在 gripper 接触处，视觉最不可靠，而 tactile activation 正好提供哪个区域应该跟随传感器运动的弱监督。
Key Insight / Why It Works
最重要的 insight 是：deformable world model 的进展很可能首先来自 representation alignment 和 data coverage，而不是单个 dynamics architecture 的突破。Deform360 的强点在于把 2D appearance、3D geometry、particle state、contact 和 action 对齐，使得不同建模范式可以共享同一物理事件。
真正有效的部分大概率是“多视角 dense geometry + tactile-corrected tracking”的 annotation pipeline，而不是具体 downstream benchmark。没有高质量 particle trajectories，3D 模型无法公平训练；没有原始多视角视频，video model scaling 无法介入；没有触觉，接触遮挡处的轨迹会系统性漂移。触觉带来的增益本质是 hidden supervision：它把视觉不可见的接触事件编码进 annotation，而不是让模型凭空学会接触物理。
2D vs 3D 的结论也很清楚：3D 模型赢在低数据和 action/geometric controllability，因为结构先验直接限制状态空间；视频模型赢在跨物体视觉泛化，因为它继承了大规模预训练和 appearance prior。这里 Cosmos 的优势很可能主要来自 scaling / pretraining / data coverage，而不是 Deform360 本身让它学到了精确 deformable physics。文中也承认其长时动作跟随会失败，这说明它的“物理合理”可能部分是视觉先验补全，而不是严格 action-conditioned dynamics。
规划部分的核心贡献更偏 representation utility：显式 3D state 可直接定义 Chamfer-style reward 并接入 MPC。视频模型没有被用于规划，暴露了当前 video world model 在 robotics 中的老问题：可生成不等于可优化，可预测像素不等于可用于控制。
Relation To Prior Work
这篇最接近三条谱系的交叉点：Robo360/PGND/PokeFlex 这类真实 deformable 数据集，PhysTwin/PhysGaussian/PGND 这类 3D reconstruction-to-simulation 方法，以及 Cosmos/Vid2World/PAN 这类 action-conditioned video world model。
看似新的部分有不少是已有思想重组：3DGS 重建、CoTracker 点跟踪、ARAP/Laplacian 正则、tactile contact cue、MPC 都不是新概念。实质创新在于把这些机制组织成一个大规模、markerless、visuotactile、multi-view 的 annotation/benchmark pipeline，并用它系统比较 2D scaling 与 3D structural prior。
相对 Robo360，新增的信息是 tactile 和高质量 3D/particle annotation；相对 PokeFlex，新增的是规模、视角和交互多样性；相对 PhysTwin/PGND，新增的是跨大量日常物体的数据基座，而不是单对象/少对象建模；相对 video world model benchmark，新增的是可回到 3D state 和 contact 的物理检验通道。
Dataset / Evaluation
数据覆盖面是这篇的主要资产：1D/2D/3D deformables、单手/双手动作、多视角、触觉、动作和 3D annotation 同时存在，确实比已有 deformable benchmark 更接近“world model dataset”。它也覆盖了从 contact prediction 到 future prediction 再到 real robot MPC 的多个使用场景，而不是只做离线视频指标。
评测基本支持核心 claim：低数据下 3D physics prior 更强，大数据/跨物体下 video foundation model 更强，显式 3D 表示更适合规划。但评测仍有明显限制。第一，2D 模型和 3D 模型的指标不完全对等，视频指标偏向 texture fidelity，3D 指标偏向 geometry；第二，Cosmos 的动作条件跟随失败说明图像分数不能直接证明 action-conditioned world modeling；第三，PhysTwin 在跨 episode/object 设置下受 registration/system ID 限制，比较并非完全公平但反映了真实使用成本。
真实机器人规划是有价值的 sanity check，但还不能证明 dataset 学到的模型具备强泛化控制能力。它更像展示：如果有显式 3D deformable state 和可优化动力学，MPC 可以迁移到另一个机器人环境；至于长期复杂 manipulation、closed-loop robustness、OOD material handling，文中证据还不够。
Limitation
核心前提很多。整个 pipeline 依赖 41-view 级别的强观测条件、可靠分割、准确标定、稳定 3DGS depth、足够好的 2D tracking，以及触觉接触能被映射到附近粒子。现实机器人 deployment 往往没有这种观测密度，所以数据生产条件和实际使用条件之间存在鸿沟。
tracking objective 隐含了局部刚性、空间平滑、接触 no-slip 等假设，这对 cloth、rope、foam 的许多情况是近似成立，但对强滑移、强塑性、撕裂、粘连、液态/颗粒状材料并不稳。文中也说明 tactile 只测 normal pressure，无法直接观测 tangential slip；因此接触建模本质上是弱约束，不是完整物理识别。
泛化结论需要谨慎。跨物体 video model 的优势可能主要来自 foundation model 预训练与视觉相似性，而不是 Deform360 训练出了可组合的 material dynamics。3D 模型的弱 zero-shot 也可能不是 3D 表示路线本身的上限，而是当前缺少大规模 3D pretraining。增益归因不完全清晰：data scale、multi-view coverage、tactile supervision、annotation quality、pretraining prior 之间没有充分解耦。
还有一个关键问题是 benchmark 可能奖励“看起来合理”而非“可控制地正确”。尤其对 video model，动作不严格跟随但画面物理合理仍能得到不错视觉指标，这会高估其作为 robot world model 的价值。
Takeaway
- 1. 这篇真正推动的是 deformable world model 的数据和评测范式，而不是提出新的 dynamics architecture；它把领域从小对象、小视角、小状态监督推进到大规模 visuotactile-3D 对齐数据。
- 2. 对 deformable manipulation，触觉最有价值的用法可能不是直接作为 policy input，而是作为 annotation / state estimation 中的 hidden contact supervision，尤其补视觉遮挡下的 material point identity。
- 3. 未来路线很可能分叉后再融合：video foundation model 负责大范围 appearance / object prior，3D particle 或 implicit geometry model 负责 controllable state、reward 和 planning；单纯像素预测很难直接变成可规划 world model。
- 4. 真正值得做的是 scalable 3D deformable pretraining、action-faithful video models、可观测性受限下的 state estimation，以及能区分“视觉合理”和“物理可控”的评测。
一句话总结
Deform360 是一篇以大规模 visuotactile-3D 对齐数据重塑 deformable world model benchmark 的论文，真正贡献在于揭示并支撑“3D structural prior 的低数据可靠性”与“2D foundation model 的 scaling 泛化性”之间的范式分工。