Science Robotics / Research Article

NeuralFeels with neural fields: Visuotactile perception for in-hand manipulation

作者：Sudharshan Suresh, Haozhi Qi, Tingfan Wu, Taosha Fan, Luis Pineda, Mike Lambeta, Jitendra Malik, Mrinal Kalakrishnan, Roberto Calandra, Michael Kaess, Joseph Ortiz, Mustafa Mukadam · 单位：Robotics Institute, Carnegie Mellon University, Pittsburgh, PA 15213, USA, FAIR, Meta, Menlo Park, CA 94025, USA, Department of Electrical Engineering and Computer Sciences, UC Berkeley, Berkeley, CA 94720, USA, Institute of Artificial Intelligence, Technische Universität Dresden, 01062 Dresden, Germany, Centre for Tactile Internet with Human-in-the-Loop (CeTI), 01062 Dresden, Germany · 来源：Science Robotics · 发布日期：2024-11-13 · DOI：10.1126/scirobotics.adl0628

视觉语言动作操作触觉仿生机器人强化学习

精读笔记

Problem Setting

《NeuralFeels with neural fields: Visuotactile perception for in-hand manipulation》（Science Robotics / 2024）处理的是一个非常具体但长期被绕开的感知问题：机器人在手内操作未知物体时，如何在线维护物体的 pose 和 shape。

这里的关键矛盾是：in-hand manipulation 最需要物体 pose/geometry，因为后续控制、重抓取、旋转、插入都依赖它；但这个场景恰好最破坏视觉感知——手指遮挡、物体快速小幅运动、视角单一、深度噪声和 segmentation 错误都会持续发生。触觉提供了被遮挡区域的直接局部几何，但它的视场极小、接触稀疏、缺乏全局 reference，单独用触觉很难完成稳定定位。

以前方法卡在两个极端：vision-only tracking 通常要求已知模型和较干净视野；touch-only 或 visuotactile reconstruction 多数发生在固定物体、单指探索、平面 pushing 或局部接触 setting 中。NeuralFeels 真正推进的是把“未知物体 + 多指手内操作 + 在线 pose/shape 联合估计”放到同一个 SLAM 形式里，而不是把感知问题通过 fiducial、known CAD 或离线扫描绕开。

Motivation

作者的核心动机不是“多模态一定更好”这种泛泛说法，而是 in-hand manipulation 里视觉和触觉的失效模式高度互补：视觉给全局上下文，但在最关键的接触区域经常看不见；触觉只在接触处有信息，但那里正是视觉最缺的信息。

已有路线缺的是一个 persistent object-centric representation。单帧 tactile image 或 RGB-D segmentation 都只是瞬时观测，无法在物体转动和遮挡中积累可用于 tracking 的几何记忆。另一方面，传统 mesh/point cloud/voxel 表示在在线优化、可微对齐、多模态稀疏观测融合上不够方便。neural SDF 的吸引力在于它把“形状记忆”和“pose 对齐”放到一个可微几何对象里，使视觉深度和触觉深度都能变成对同一 surface 的约束。

关键缺口因此是：不是缺一个更强 tactile encoder，也不是缺一个更强 RGB-D tracker，而是缺一个在线的、object-centric 的、多模态 SLAM backbone。

Core Idea

论文的核心思想可以概括为：把物体表示成一个随时间移动的 neural field，用视觉和触觉产生的 depth observations 在线约束这个 field 的 shape，同时用 pose graph 优化这个 field 在世界/手坐标中的位姿。换句话说，它把传统 SLAM 中“相机在静态地图中定位”的范式，翻转成“传感器位姿已知，被操作物体这张地图在动”。

这个建模方式引入了两个重要 inductive bias。第一，object-centric memory：所有观测都被解释为同一个刚体表面的不同局部切片，因此局部触觉可以补全视觉看不到的面，视觉又为触觉提供全局注册。第二，geometric residual alignment：视觉和触觉不需要在 feature space 中融合，而是在 3D SDF 空间里通过 surface consistency 融合。这比把多模态 embedding 直接拼接更可解释，也更容易扩展到不同传感器。

和 prior 的本质差异不在于用了 neural field 或用了触觉，而在于它把二者组织成 online object SLAM：触觉不是辅助分类/控制信号，而是直接写入可追踪的几何地图；neural field 也不是离线重建资产，而是 manipulation 过程中的状态估计对象。

Method

方法层面最重要的是三个机制，而不是具体网络或超参数。

1. 统一几何观测接口：视觉 RGB-D 经过分割得到 object depth，DIGIT tactile RGB 经过 learned inverse tactile model 得到 contact depth。这样后端不再关心模态差异，只把它们都当作带已知 sensor pose 的 depth rays / surface samples。这一步解决的是 representation mismatch，而不是简单做 multimodal fusion。

2. 在线 neural SDF 作为 shape memory：系统维护一个 object-centric SDF，持续用新旧 keyframes 训练。它解决的是局部观测无法长期积累的问题。触觉观测虽然稀疏，但一旦注册到 object frame，就能成为 occluded surface 的几何证据；视觉观测虽然 noisy，但覆盖更广，能稳定整体 shape。

3. pose graph 追踪移动物体：在固定 SDF 权重时，优化一段窗口内的 object poses，使当前多模态 depth 与 SDF surface 对齐。SDF residual 提供 frame-to-model 约束，ICP 提供短期 frame-to-frame 约束，pose regularization 防止 front-end 噪声导致发散。它解决的是在线 shape learning 和 pose tracking 相互依赖导致的漂移问题。

已知物体模式本质上是同一个框架的退化版：冻结 SDF，只做 pose optimization。这个设置验证了触觉在 shape 已知时主要是 pose refinement，在视觉遮挡严重时才变成 disambiguation source。

Key Insight / Why It Works

最核心的有效性来自 representation alignment，而不是某个单独模块。视觉和触觉本来是统计特性完全不同的信号：一个是远距离、宽视野、易遮挡；一个是近距离、局部、高接触保真。NeuralFeels 通过把二者都转成对 SDF 的 metric geometric constraints，避开了在 raw modality space 做融合的困难。这是比“多模态网络”更强的 inductive bias。

第二个关键是 object-centric persistent memory。触觉的价值不在单次接触，而在于接触 patch 被正确注册后会成为全局 shape 的一部分。没有这个 memory，触觉只是一串局部 patch；有了 SDF 和 pose graph，触觉就变成了可累积的 occlusion evidence。论文中触觉在 heavy occlusion 下提升最大，正是这个机制的直接体现。

第三，test-time compute 是能力的一部分。这个系统不是前向一次预测，而是在测试时不断优化 SDF 和 pose graph。它的泛化更多来自“在线拟合当前物体”而不是训练集中学到某个类别先验。因此它对 novel object 有一定自然适应性，但代价是速度、初始化敏感性和漂移累积。

我认为实质贡献主要在后端问题重构：posed neural SDF + factor-graph style object tracking + visuotactile depth constraints。SAM prompting、tactile transformer、Instant-NGP-style encoding 都是重要工程组件，但不是论文的概念核心。触觉 transformer 的增益来源部分可能主要来自 scaling / simulation data coverage；文中未充分说明其在不同真实 DIGIT 老化、弹性体差异、接触力分布下的稳定性。

也要明确：这里没有形成高级 reasoning 或 manipulation intelligence。rotation policy 基本是观测生成器，SLAM 输出没有真正闭环驱动复杂任务。所谓 perception backbone 是合理定位，但离“可泛化 dexterous manipulation”还差 active exploration、uncertainty-aware planning 和 failure recovery。

Relation To Prior Work

这篇属于 tactile SLAM、neural implicit SLAM、visuotactile reconstruction、dexterous manipulation perception 四条线的交叉。

和 BundleSDF / iMAP / iSDF / neural SLAM 相比，它的新信息是传感器配置和状态变量被重新定义：相机不是唯一观测源，触觉是带 kinematics 的局部 depth sensor；地图不是静态场景，而是被手操作的 object field。技术上很多思想来自 neural SDF SLAM，但问题几何被换成了 object-centric moving-map SLAM。

和 FingerSLAM / tactile SLAM / visuotactile shape reconstruction 相比，它的实质推进是多指 in-hand setting 和 neural implicit object model 的在线联合 tracking/reconstruction。FingerSLAM 更接近单指、较少遮挡、视觉相对清晰的交互；NeuralFeels 面对的是手本身持续遮挡物体的 setting。

和 dexterous manipulation 中常见的 DeXtreme / Visual Dexterity / OpenAI Rubik’s cube 路线相比，它不是端到端 policy perception，也不是追踪已知 object marker，而是把 pose/shape 作为显式中间状态。这使它更可解释、更容易作为 planner 输入，但也更依赖 calibration、segmentation 和优化稳定性。

看似新的部分里，neural field、SAM、tactile depth prediction、pose graph 都不是新发明；真正新增的是把这些已有组件组织成一个适配 hand-object contact 的在线估计系统，并证明触觉在遮挡 regime 下不是锦上添花，而是可观测性来源。

Dataset / Evaluation

FeelSight 的价值在于它把真实 Allegro + DIGIT + RGB-D、仿真 Isaac Gym + TACTO、ground-truth mesh / pseudo ground-truth pose 组织成了一个 in-hand visuotactile perception benchmark。对这个领域来说，这比单独报一个系统结果更有用，因为可比数据非常稀缺。

评估覆盖了两个核心问题：未知物体 SLAM 和已知模型 pose tracking；还专门做了 occlusion viewpoint 和 depth noise ablation。这些实验较好支持了论文最重要的 claim：触觉在视觉退化时提供额外可观测性，在视觉较好时主要做 refinement。

但 evaluation 仍有明显边界。第一，真实世界 pseudo ground truth 来自多相机 + known-shape tracking，不是独立 motion capture；虽然合理，但仍可能让评估与方法家族共享偏差。第二，初始 pose 对齐到 ground truth，这显著简化了最难的 global initialization 问题。第三，policy 不是本文研究重点，但观测覆盖强依赖它；如果探索策略差，SDF 上限会很低。第四，物体集合规模和任务多样性有限，不能证明 household-scale generalization。

总体看，实验足够证明“visuotactile neural object SLAM 在这个受控 setting 下有效”，但不足以证明“已经是通用手内感知解决方案”。

Limitation

最重要的隐含前提是 good initialization。论文承认初始 object pose 被设为已知，并且 pose metric 从 5 秒后开始算。对真实部署而言，global object-frame 初始化和早期 shape 未知阶段恰恰是最脆弱部分。这不是小细节，而是系统可用性的关键缺口。

第二，方法把很多难度转移到了 front-end 和 calibration。视觉需要稳定 segmentation，触觉需要从 RGB 估计可靠 metric depth，sensor pose 需要通过 kinematics 和 hand-eye calibration 精确给出。任何系统性偏差都会被写入 SDF，并在后续 pose graph 中变成错误地图。文中对长期错误恢复、map corruption、loop closure 讲得不充分。

第三，scalability 上限不清楚。当前物体尺寸、刚体假设、手内旋转轨迹、单固定相机、DIGIT 接触分布都比较受控。扩展到 deformable object、工具类长物体、强反光/透明物体、动态环境、多物体接触时，SDF + pose graph 仍可用，但 front-end 和 data association 会明显变难。

第四，真实世界增益弱于仿真，尤其 known-shape tracking 下 touch 在 real-world 的统计显著性不足。这说明触觉硬件灵敏度、sim-to-real gap 和 contact sparsity 是实际瓶颈。部分性能提升可能来自仿真里触觉深度过于干净，不能完全外推。

第五，这不是 closed-loop active perception。物体旋转 policy 不利用 SDF uncertainty 去选择动作，系统也没有规划下一次接触来最大化信息增益。因此“interaction helps perception”在这里更多是被动利用已有 rotation，而不是主动感知策略。

Takeaway

  • 1. 对 in-hand perception，触觉最有价值的角色不是替代视觉，而是在视觉不可观测时提供局部几何可观测性；在视觉可观测时，它只是 refinement。
  • 2. 多模态融合更稳的路径可能不是学一个大端到端 encoder，而是先把不同模态对齐到共享物理量：depth / surface / SDF residual。
  • 这个 insight 可以迁移到 force、thermal、audio-contact 等其他 situated sensing。
  • 3. Object-centric neural field 是 manipulation perception 的一个合适中间表示：它足够连续、可微、可用于规划，又能通过 test-time optimization 适配 novel object。

一句话总结

NeuralFeels 是一篇把 neural implicit SLAM 重新表述为多指手内操作中 object-centric visuotactile SLAM 的工作，真正贡献在于用在线 posed SDF 把视觉的全局上下文和触觉的局部接触几何组织成同一个可优化物体记忆。