精读笔记

Problem Setting

这篇论文解决的不是一般意义上的 VTL alignment，而是小型 MLLM 的 non-destructive modality expansion：把触觉接入一个已经具备视觉-语言能力的 compact VLM，同时不让触觉训练破坏原来的 VL reasoning。真正困难点在于小模型容量有限，新模态 alignment 不是简单多加一个 encoder 就结束；只要 LLM 参与更新，触觉数据的梯度就会改写原本服务于视觉理解、跨模态 grounding 和语言推理的参数路径。以前方法卡在两端：纯 VTL 表征学习缺少 LLM 级开放语义能力；LoRA/PEFT 式把触觉挂到 LLM 上又仍会扰动共享推理空间，尤其在 1B/3B 级模型中更明显。核心矛盾是 plasticity 与 stability：触觉需要足够可塑性写入新感知结构，但 VL 能力要求关键参数结构保持稳定。

Motivation

已有路线不够的原因不是触觉编码器弱，而是没有认真处理小型 MLLM 内部的参数竞争。大模型可以靠容量吸收新模态，小模型则更容易出现零和：学会触觉描述的同时丢失视觉识别和通用 VL 推理。作者的关键观察是，预训练模型中并非所有参数都同等承载原任务；有些权重对 VL 行为重要，有些处于相对低贡献状态。于是问题从“如何对齐触觉特征到语言空间”转为“如何只动那些不太伤害原能力的内部自由度”。这个方向的缺口是：在不增加 LLM 推理结构、不依赖多阶段 alignment、不用大骨干兜底的情况下，让新模态获得可训练容量。

Core Idea

Splash 的真正核心是参数子空间隔离：先估计每个 LLM 权重对 pretrained VL 行为的重要性，然后把参数空间切成 frozen critical subspace 和 trainable dormant subspace。critical subspace 作为稳定锚点保留原有视觉-语言流形；dormant subspace 被“唤醒”来吸收触觉 alignment。这里的建模方式变化在于，新模态不再通过外部 adapter 或全局低秩扰动去影响整个 LLM，而是被强制写入一块被认为低风险的内部参数区域。

直觉上它可能有效，是因为 MLLM 的参数空间存在冗余，且不同权重对原任务的功能贡献不均匀。若重要权重被冻结，原有 VL 计算路径被结构性保护；若低重要权重仍可训练，模型又保留了足够容量接纳触觉。相比 LoRA，Splash 的 inductive bias 更硬：LoRA 是在原权重旁边加可学习扰动，仍可能改变全局函数；Splash 是禁止关键通路被改写，只允许边缘容量重组。这使它在小模型上更 scalable，因为它把容量冲突显式局部化，而不是寄希望于优化过程自己学会不遗忘。

Method

方法层面最关键的是 visual-relative importance mask。它用类似 Wanda 的指标，即权重幅值与对应输入激活范数的乘积，估计参数对 VL 行为的贡献。这个步骤解决的是“哪些参数不能动”的问题；需要它是因为没有显式区分重要/非重要权重时，触觉梯度会无差别进入 LLM；核心变化是把 alignment 从 dense fine-tuning 变成 constrained sparse adaptation。

第二个机制是 mask-isolated update：LLM 中只有 mask 标记为 dormant 的权重接收梯度，critical 权重梯度被置零；触觉前端则完整训练。它解决的是“新模态需要可塑性但不能破坏原模型”的冲突。这里触觉前端负责把 contact image 转成可进入语言空间的 token，dormant LLM 权重负责让这些 token 进入推理路径。

第三个机制是冻结首尾 transformer block。这个选择不是主要创新，但很合理：早期层更接近输入 grounding，末层更接近语义输出分布，二者被触觉小数据扰动时更容易造成表示坍塌或输出风格漂移。它带来的变化是把可塑性进一步限制在中间表示变换层。

Key Insight / Why It Works

最可能的核心贡献是“用 pruning/importance scoring 的思想做 modality-level isolation”，而不是触觉前端或单阶段训练。它有效的根本原因应该是 sparse constrained fine-tuning 同时提供了两种作用：一是保护高重要性 VL 参数，降低 catastrophic forgetting；二是把触觉学习限制在低重要性参数上，相当于对新模态做结构正则化，避免其过拟合小规模触觉数据后污染全模型。

这更像 better inductive bias + memory reuse，而不是 scaling。论文中的 3B/1B 结果说明并非单纯靠模型变大；但也不能忽略 backbone 现代化带来的收益，Qwen2.5-VL/InternVL 本身比 LLaMA-based 旧基线更强。因此跨 7B baseline 的胜利不应被过度解读，真正有价值的是同 Qwen2.5-VL 下 Splash 相对 LoRA/IA3 的对照。

校准数据对结果不敏感是一个很有意思的信号：如果随机噪声校准也能得到接近结果，那么所谓“VL-relative semantic importance”可能不是关键，重要的是 weight-activation 统计揭示了通用结构冗余。换句话说，Splash 可能并不是精确找到“视觉知识权重”，而是在做一种更稳的稀疏微调，避免 dense/LoRA 更新破坏原函数。

触觉能力本身更可能是 representation alignment + attribute retrieval，而不是复杂物理推理。任务要求输出 2-3 个触觉属性，benchmark 也主要评估语义相似或关键词覆盖；这能证明模型更好地利用 tactile contact image 做属性 grounding，但不能证明形成了可用于长程 manipulation 的 tactile reasoning。

Relation To Prior Work

最接近的谱系不是传统 VTL contrastive learning，而是 pruning-based continual/multi-task learning、lottery ticket、Wanda/SparseGPT 类 importance-based parameter selection，以及 PEFT。Splash 把这些思想从 task isolation 搬到 modality expansion：不是为新任务找 adapter，而是在原 LLM 内部找可重用的 dormant capacity。

相对 TVL/UniTouch，实质差异在于它不把触觉 alignment 主要看成跨模态 embedding 对齐，而看成小模型内部容量分配问题。相对 LoRA/IA3，差异在于更新形态：LoRA 增加低秩增量，IA3 调缩放向量，二者仍是对现有通路施加全局影响；Splash 直接冻结关键权重，只替换低重要性权重的功能。

看似新的部分中，“重要性打分 + mask 更新”本身并不新，基本是 pruning/sparse tuning 的重组；实质新增在于把它用于触觉这种强异质新感知模态，并把 preservation 作为和 VTL 性能同等重要的目标来系统评估。论文真正推动的是把 VTL-in-MLLM 从“接一个触觉 encoder”推进到“如何在有限参数预算下安排新模态可塑性”。

Dataset / Evaluation

评估覆盖了 SSVTP、TVL、TacQuad 这类 visuo-tactile-language 数据，并额外测 MMMU、MathVista、MME、MMBench 来验证 VL preservation。这个设计基本能支撑论文的核心 claim：Splash 不只提高触觉描述，也较少损害通用 VL benchmark。尤其 TacQuad 作为分布 shift 下的真实接触数据，比只在训练同源数据上测更有说服力。

但 evaluation 的上限也很明显。VTL 输出被简化为短属性描述，评价依赖 GPT-4o judge、关键词 F1 和 Top-5 attribute matching；这更适合验证 tactile semantic labeling，不足以验证机器人交互中的闭环触觉推理、接触状态估计、力控决策或长期任务规划。TacQuad 虽更真实，但仍是离线 benchmark，不是 embodied deployment。跨传感器泛化也没有真正建立，因为主体实验集中在 DIGIT 系数据。

Limitation

第一，方法成立依赖预训练小 MLLM 中存在足够 dormant capacity。如果模型更小、原始 VL 能力更紧凑，或者后续继续加入更多新模态，这块容量可能很快耗尽。Splash 没有回答 dormant subspace 是否可持续复用。

第二，mask 是静态的。真实机器人接触过程中，触觉信息的重要性随时间、接触力、滑移状态和任务阶段变化；固定子空间可能适合离线描述任务，但未必适合长程交互中的动态感知-决策闭环。

第三，增益归因仍不完全干净。虽然有同 backbone 对照和前端初始化控制，但 Qwen2.5-VL/InternVL 的强先验、训练数据覆盖、LLM judge 偏好、prompt 形式都可能影响结果。文中未充分说明 tactile 数据是否与某些 benchmark 语义空间重叠，也没有深入分离“真实触觉利用”与“视觉先验 + 常见材质属性猜测”。

第四，所谓 reasoning 可能被高估。当前任务主要是生成触觉属性，模型可能学到的是 contact image 到 texture adjectives 的映射，而不是物理可操作的触觉世界模型。失败案例中的 perceptual aliasing 和 micro-texture 误判也说明它尚未可靠建模细粒度接触动力学。

Takeaway

• 最值得记住的不是 Splash 在某个触觉 benchmark 上 SOTA，而是它把新模态接入小型 MLLM 的问题转成了参数子空间治理问题：preserve critical pathways, repurpose dormant capacity。
• 这个 insight 可以迁移到其他 embodied modalities，比如 force、audio、proprioception、thermal：新模态未必都要靠 adapter 或更大模型，也可以通过 importance-guided sparse plasticity 接入已有推理骨干。
• 未来真正值得做的是动态 mask、多模态连续扩展、容量耗尽检测，以及把这种参数隔离从离线属性描述推进到闭环机器人策略。
• 否则它仍主要是一个稳定的 alignment 技术，而不是完整 tactile intelligence。

一句话总结

《Wake up for Touch! Mask-isolated Tactile Alignment Learning in MLLMs》（arXiv 2026）把触觉接入小型 MLLM 从跨模态对齐问题改写为重要参数保护下的稀疏可塑性分配问题，是 pruning/continual-learning 思想在 embodied multimodal expansion 上的一次有效迁移。