精读笔记

Problem Setting

这篇论文的真实问题不是“如何把视觉和触觉一起输入 VLA”，而是 contact-rich manipulation 中数据采集与传感器一致性同时失效的问题。

在 UMI-style robot teaching 里，位姿和视觉数据相对容易规模化，触觉也可以通过 Gel-based sensor 加进去，但 gripper force 往往要依赖昂贵且体积不友好的 6-axis F/T sensor；这使得 force-aware teaching 难以低成本复制。另一方面，即使触觉硬件能装上，visuo-tactile sensor 的制造差异、gel 老化、边缘翘起、划伤和安装偏差会让同一个接触状态对应不同 tactile image。以前很多 vision-tactile policy 默认 tactile input 是一个稳定模态，这在真实部署中是错误假设。

所以关键矛盾是：接触丰富任务需要触觉和力来补足视觉盲区，但触觉/力的硬件入口本身不稳定、不便宜、不易规模化；而策略学习又倾向于过拟合具体传感器的纹理、光照和局部接触外观。AetheRock + ForceVT 试图把这两个问题合在一个 hardware-algorithm co-design 里解决。

Motivation

已有路线的缺口很明确。UMI 解决了“机器人外数据如何变成机器人可用示教”的问题，但对接触状态的表达仍弱；触觉 UMI 解决了一部分接触感知问题，但多数仍依赖理想触觉传感器，或者没有系统性处理 gripper force；force-centric 方法能提供物理接触监督，但 6-axis F/T sensor 的成本、尺寸和装配方式限制了规模化。

作者的核心观察是：对于夹爪操作，很多任务真正需要的不是完整 6D wrench，而是与夹持/接触进度强相关的 gripper force proxy；这个信号可以用低成本压力传感器在人的手指接触区域采到。同时，触觉传感器不应被看成固定成像设备，而应被看成一个会随制造和使用发生 domain shift 的模态。因此算法上需要的不是更强融合，而是让 tactile representation 对 sensor fidelity 不敏感。

这篇工作的动机不是追求更复杂的 multimodal architecture，而是补一个更底层的系统缺口：可规模化采集 force+vision+tactile 数据，并让 tactile 在非理想硬件状态下仍能作为有用状态信号。

Core Idea

核心思想可以概括为：用相对稳定的 vision-force 空间去规范不稳定的 tactile 空间。触觉图像包含丰富接触几何、纹理和剪切线索，但也混入大量传感器私有因素；force 虽然低维，却更直接反映接触强度和夹持状态；视觉提供全局任务语义和物体状态。ForceVT 把 vision+force 融合表征当作跨样本关系结构的教师，让不同 fidelity tactile embedding 保持相似的 relational geometry，从而逼迫 tactile encoder 学到与任务相关、跨传感器共享的接触表示。

这和 prior 的本质区别在于，它没有把 tactile 直接当作另一个等价输入模态去融合，而是把 tactile 当作需要被“校准”的不稳定模态。TacFiLM、TactileConcat 或简单 early fusion 更像是在问“怎么把触觉塞进策略”；ForceVT 问的是“怎样让触觉在传感器变化后仍然表示同一类接触状态”。这个建模视角更接近 domain-invariant representation learning / cross-modal distillation，而不是单纯 multimodal fusion。

理论直觉上，它成立的前提是 vision-force 表征中的相似性结构确实对应任务进度和接触状态。如果两个样本在 vision-force 空间接近，那么它们的 tactile 表征也应该接近，即使来自不同 fidelity 传感器；反之则应区分。这给 tactile encoder 加了一个比 instance matching 更强的结构约束。

Method

方法中真正必要的机制有三类。

第一，AetheRock 把 force collection 从机器人末端 F/T 传感器转移到人类示教接口。它解决的是规模化采集的入口问题：低成本压力传感器不能提供完整 wrench，但足以作为夹持力/接触强度 proxy，并且更容易装进 arm-worn UMI 设备。这一选择牺牲了物理完整性，换取可复制性和长时间采集稳定性。

第二，GelSlim-MiniFab 的意义不只是做了一个小型 tactile sensor，而是降低了 tactile sensor 生命周期成本。论文强调可制造、可维修、可替换，本质上是在承认 tactile hardware 不会长期保持 ideal fidelity。这个硬件设计为后续 multi-fidelity learning 提供了现实基础：如果传感器必然退化，算法就应该把退化当训练分布的一部分。

第三，ForceVT 的机制是三重约束：tactile random masking 扩大局部缺损/遮挡扰动；vision-force soft alignment 约束 tactile embedding 的跨样本关系；contrastive alignment 保持同一时刻 vision-force 与 tactile 的实例对应。最后策略仍用 vision+tactile 预测连续动作。关键变化是 tactile encoder 不再只由动作损失反向塑形，而被 force-guided relational structure 额外约束。

这里不应把随机 masking 看成核心创新，它更像常规 robustness augmentation；真正有信息量的是用 force 参与构造一个更稳定的对齐锚。

Key Insight / Why It Works

最可能有效的部分是 representation alignment，而不是硬件细节或 fusion 模块本身。触觉在接触任务中提供的主要增益很可能是 contact status / task phase guidance：是否接触、接触是否充分、是否发生滑移或压紧。视觉-only policy 在擦板等任务中出现 phantom action，说明缺的不是语义识别，而是闭环接触确认。触觉一旦提供这个状态信号，策略进度会更稳定。

但直接用触觉会过拟合传感器外观。ForceVT 的有效性来自把 tactile 的表观空间压到 vision-force 支持的低维任务相关结构上。soft alignment 的 pairwise similarity loss 比普通 contrastive 更关键，因为它不只是拉近同一帧，还保留 batch 内样本的关系拓扑；这对跨 fidelity tactile 特别重要。换句话说，它不是要求坏传感器输出和好传感器完全一样，而是要求它们在任务状态相似性上保持一致。

从归因看，论文的提升可能混合了四个因素：多 fidelity 数据覆盖、masking augmentation、late fusion 优于 early fusion、force-guided alignment。消融显示 alignment 带来较大增益，masking增益较小但有助鲁棒性；这基本符合预期。不过仍不能排除一部分性能来自更合适的数据组织和融合时机，而非 force 本身。特别是 TacFiLM/TactileConcat 表现差，可能是因为训练数据少、预训练 tactile encoder 与 GelSlim-MiniFab domain gap 大，而不是这些融合思想本身不成立。

我会把这篇的核心贡献判断为：把 tactile robustness 问题从“设计更强多模态 policy”改写成“用更稳定模态约束不稳定 tactile 表征”。这是一个可迁移 insight。硬件系统是必要支撑，但算法上真正有价值的是承认 tactile sensor fidelity 是变量，并显式建模它。

Relation To Prior Work

它最接近三条线：UMI/portable teaching system、Gel-based visuo-tactile sensing、vision-tactile/VLA fusion。

相对 UMI、FastUMI、RoboPocket 等，它新增的是接触相关多模态采集，尤其是低成本 gripper force proxy。相对 exUMI、FreeTacMan、TacUMI、TouchGuide 等 tactile teaching system，它更强调 force+触觉一体采集以及 arm-worn 长时间稳定性。相对 ForceMimic、OmniUMI 或 UMI-FT 一类 force-aware 系统，它避免依赖昂贵或装配困难的 6-axis F/T sensor，但代价是 force 物理语义更弱，只是夹持压力近似。

相对 vision-tactile learning / tactile VLA，ForceVT 的差异不是又提出一个融合结构，而是把 sensor inconsistency 当作核心问题。TacFiLM、TactileConcat、tactile token injection 多数关注如何利用触觉；ForceVT 关注触觉何时不可相信，以及如何让不同质量触觉仍落到同一个任务相关 latent space。

看似新的部分里，random masking、contrastive alignment、relational similarity matching 都是已有思想重组；实质创新在于问题设定和信息流组织：force 不只是输入模态，而是用于约束 tactile representation 的稳定锚。这一点比具体网络结构更重要。

Dataset / Evaluation

评估是实机、接触丰富任务、UMI-style post-training，覆盖了擦板、拧螺丝、盖瓶、收纳等需要接触进度反馈的任务，也做了单方向和 global generalization 的区分。整体上，它能支持两个较弱但重要的结论：AetheRock 采集的数据可以训练出可执行策略；ForceVT 在同一系统内对 tactile fidelity degradation 更稳。

但它还不能完全支持更强的 claim，即“robust inference in any tactile situation”。多 fidelity 主要是作者制造/模拟的传感器保真度变化，不等于真实长期磨损、跨批次生产、跨 sensor family、跨夹爪几何的全面分布。任务也主要是桌面 manipulation，且每个模型评估次数有限，task progress 是细粒度但仍带有人工定义偏差。

post-training scaling law 的部分更像系统经验而非严格 scaling law：数据增加带来性能改善是预期结果，但任务、模型、初始位姿、单/全局泛化设置都会影响曲线。它说明 AetheRock 数据有用，但不应被解读成发现了可外推的 scaling law。

最有价值的实验是 tactile fidelity robustness：baseline 随 fidelity 降低明显掉，ForceVT 掉得少。这直接验证了 representation alignment 的核心假设。其余实验更多是在证明系统可跑通。

Limitation

最核心的限制是训练-部署接触分布不一致。作者自己也承认，AetheRock 示教时人可以灵活操作，但机器人执行时由于感知和执行限制会产生 edge contact、pad contact 等不同接触几何。这不是小问题：触觉信号对接触位置极敏感，一旦训练中的接触拓扑和部署不同，ForceVT 的 fidelity invariance 未必能解决，因为这已经不是传感器退化，而是状态分布变了。

第二，force proxy 的物理表达能力有限。手指压力传感器提供的是人操作设备时的夹持压力近似，不是物体-夹爪接触处的完整力/矩。它适合做任务进度和夹持强度监督，但不能替代剪切、扭矩、接触法向分布。未来若接入 Coin-FT 类低成本 6-axis F/T，可能会显著改变算法空间。

第三，泛化上限很可能由数据覆盖决定。当前所谓 generalization 主要是在有限桌面任务、有限物体变化、有限传感器 fidelity 内成立。策略是否真正学到 contact dynamics，还是在 vision+tactile latent space 中做局部 retrieval，文中未充分说明。尤其在 VLA post-training 场景下，长时序规划能力仍主要来自基础模型和数据覆盖，触觉更多是局部闭环校正。

第四，增益归因不完全干净。ForceVT 同时引入多 fidelity 数据、masking、soft alignment、contrastive alignment和 fusion 设计。虽然消融提供了一定证据，但仍不足以说明 force 是不可替代的锚；用视觉-only relational teacher、action-progress teacher 或 privileged contact labels 是否能达到类似效果，文中未充分说明。

第五，部署时是否需要 force 输入存在表述上的模糊。方法中 policy action objective 写 vision+tactile，force 主要用于训练对齐；如果 inference 不用 force，则 force 是训练期 privileged signal；如果用 force，则机器人端 force 获取方式和示教端一致性需要进一步说明。这个点影响对方法可部署性的判断。

Takeaway

• 1. 对 tactile robot learning 来说，传感器 fidelity 不应再被当作常量。
• 未来可规模化触觉学习必须显式处理制造、磨损、安装和接触几何漂移。
• 2. ForceVT 最可迁移的 insight 是：用更稳定、更低维但任务相关的模态去约束高维易漂移模态的表示，而不是盲目做 early fusion。
• 这个思路可迁移到 audio-tactile、proprioception-vision、low-cost sensor calibration 等场景。

一句话总结

AetheRock/ForceVT 是一篇把 UMI-style 接触示教从“能采 tactile”推进到“能低成本采 force+tactile 并对触觉退化鲁棒”的系统论文，其核心贡献是用 vision-force 作为稳定锚来规训不稳定 tactile 表征，而不是提出新的通用策略学习架构。