精读笔记
Problem Setting
论文标题：Wake up for Touch! Mask-isolated Tactile Alignment Learning in MLLMs（arXiv preprint / 2026）。
这篇论文不是在解决一般意义上的“触觉理解”，而是在解决一个更窄但更实际的问题：小型 MLLM 已经有较强视觉-语言能力，现在要加入触觉输入，但不能为了学触觉而牺牲原有 VL 能力。真正困难点在于触觉不是一个轻微 domain shift，而是一个新的感知通道；它进入 LLM 后会改变多模态 token 的分布，从而扰动原本承载视觉 grounding 与语言推理的参数路径。
以前 VTL 方法通常有两类瓶颈：一类是只学共享 visuo-tactile-language embedding，适合检索/分类，但不擅长开放式语言推理；另一类把触觉接进大 LLM 或用 LoRA 做适配，能生成语言但对小模型不友好，容易 catastrophic forgetting。这里的关键矛盾是：小模型恰恰是机器人边缘部署需要的，但小模型又最缺冗余容量，新增模态最容易和旧能力竞争同一组参数。
Motivation
已有路线不够的原因不是缺一个更好的 tactile encoder，而是缺一种非破坏性地把触觉写入 MLLM 的机制。LoRA/adapter 类方法虽然参数高效，但它们本质上仍然会改变原模型的函数路径；对于小模型，新增低秩分支可能看似温和，实际仍会在推理时重排表征流，尤其当触觉训练数据规模有限且分布窄时，模型会用最容易优化的方式覆盖原有视觉语义。
作者的核心观察是：预训练 MLLM 内部存在不均匀的参数重要性。并非所有权重都同等承担 VL 能力，一些对视觉-语言校准样本响应弱的权重可以被视为 dormant subspace。缺口在于，以前 PEFT 主要问“如何少改参数”，Splash 问的是“哪些参数可以被改而不伤旧能力”。这个问题定义的变化比具体触觉模块更重要。
Core Idea
Splash 的核心思想是把触觉适配从“附加新模块”改成“重分配内部参数子空间”。它先用 VL-relative importance metric 找出对原有视觉-语言行为重要的权重，把这些权重冻结为 critical anchor；剩余低重要性权重被当作 dormant capacity，用于吸收触觉对齐。训练时触觉前端和 dormant LLM weights 一起更新，而 critical VL path 保持不动。
这个设计引入的 inductive bias 很明确：新模态只能写入旧模型中对原任务贡献较低的路径，不能任意扰动原有推理主干。和 LoRA 的区别在于，LoRA 是在原权重旁边加一个可学习扰动，仍然可能改变所有经过该层的信息；Splash 是在原权重内部做结构性隔离，让触觉学习被限制在预定义子空间里。直觉上这更适合小模型，因为它把有限容量的冲突显式变成 parameter allocation 问题，而不是让优化器自由竞争。
Method
方法的关键机制可以压缩成三步。
第一，参数重要性估计。Splash 用类似 Wanda 的分数 |W| × activation norm 来衡量某个线性层权重对 VL 校准输入的贡献。它解决的是“哪些参数不能动”的问题；需要它是因为单纯按 magnitude 或随机 mask 都不能保证保护原有 VL 行为；核心变化是把 tactile alignment 前的模型参数空间显式分区。
第二，mask-isolated update。训练时 critical weights 梯度置零，dormant weights 正常更新。它解决的是 catastrophic forgetting；需要它是因为触觉数据会驱动 LLM 改写视觉语义路径；核心变化是从 parameter-efficient finetuning 转向 parameter-isolated finetuning。
第三，单阶段联合适配。触觉 ViT 前端与 dormant LLM 子空间一起优化，而视觉前端和 critical LLM 权重冻结。它解决的是两阶段 VTL 对齐中 representation gap 与训练复杂度问题；需要它是因为触觉最终要进入语言推理路径，而不是停留在独立 embedding 空间；核心变化是触觉被直接写入 LLM 的可塑子路径。
Key Insight / Why It Works
最可能有效的部分是“冻结 VL-critical path + 激活 dormant path”这一结构性约束，而不是触觉前端或训练 recipe。它的本质不是 scaling，也不是 retrieval，而是 memory reuse / latent capacity reallocation：把预训练模型中对当前 VL 分布不敏感的参数当作可再利用容量，同时保留高敏感参数作为原能力锚点。
这个机制成立依赖一个隐含假设：小型 MLLM 虽然总体容量有限，但仍存在足够多的低 VL-importance 参数可以承载触觉概念。消融里 60% 左右稀疏率效果最好，说明模型确实有可用冗余，但不是无限冗余；100% 更新直接遗忘，30% 更新触觉学习受限，这个趋势支持“plasticity-stability allocation”解释。
校准数据甚至用 unpaired noise 也能工作，是一个有意思的信号：mask 可能并没有精确捕获语义级 VL 重要性，而是在捕获模型结构中的通用激活/权重冗余。这既增强了方法的可迁移性，也削弱了“视觉相对重要性”这个叙事的精确性。换句话说，增益来源可能不是对 VL task 的细粒度保护，而是一个足够好的 activation-aware sparse finetuning prior。
哪些部分可能只是辅助：ImageNet ViT-Tiny tactile frontend、MLP projector、prompt 格式、单词属性输出，都更像工程选择。真正贡献不是“触觉编码更好”，而是 LLM 参数更新被限制在低重要性子空间。需要警惕的是，VTL benchmark 的输出多是短属性词，所谓 tactile reasoning 很可能主要是 attribute grounding，而不是复杂物理推理或交互规划。
Relation To Prior Work
Splash 最接近三条技术谱系：VTL alignment、PEFT for MLLMs、pruning/lottery-ticket/continual-learning 式参数隔离。它和 TVL、UniTouch 的本质差异不是是否使用触觉图像，而是触觉进入 LLM 的方式：prior 多是先学跨模态表征，再用 LoRA/adapter 改语言模型；Splash 直接在 LLM 内部划出可塑子空间，用 frozen critical weights 保护原能力。
看似新的部分，其实有明显重组来源：importance score 来自 Wanda/pruning，参数子空间隔离来自 PackNet/continual learning，冻结重要权重防遗忘来自 sparse finetuning。实质创新在于把这些思想从“任务级 continual learning”迁移到“模态级扩展”，并放在小型 MLLM 的触觉适配问题里验证。这个迁移是有价值的，因为新模态引入的干扰比新任务更强，参数隔离在这里比普通 PEFT 更有理由。
Dataset / Evaluation
评估覆盖了三个 VTL benchmark 和多个通用 VL benchmark，基本能验证论文的主要 claim：触觉能力提升的同时，原有 VL 能力没有明显掉。TacQuad 作为分布外触觉数据比只看 TVL/SSVTP 更有说服力，因为它更接近真实接触动态，但论文仍主要使用单帧代表轨迹，削弱了对时序触觉和主动交互的验证。
评估的明显限制是生成目标大多是短 tactile attributes，LLM-as-judge 评估语义相似度会放大语言风格和同义词匹配的影响。F1/Top-5 可以补充，但仍停留在属性词级别。它并没有真正验证机器人操作中的闭环性能、力控决策、长期状态估计或跨传感器泛化。因此，实验支持“非破坏性触觉属性对齐”，但不足以支持“高层触觉智能”或“复杂 embodied reasoning”这种更强 claim。
Limitation
第一，静态 mask 是核心瓶颈。参数重要性在离线 VL 校准集上估计，但机器人交互中的接触状态、任务阶段、视觉遮挡和触觉分布会动态变化。一个固定 dormant subspace 未必能覆盖长时序 tactile reasoning；它可能只适合短输入、短输出、属性级描述。
第二，泛化还没有被真正证明。TacQuad 提供一定分布转移，但仍是相近触觉视觉数据范式；跨传感器、跨接触动作、跨材料微结构、跨机器人末端执行器都没有系统验证。文中说 frontend-agnostic，但这只是架构上可替换，不等于表示上可迁移。
第三，增益归因不完全清晰。Splash 使用现代 Qwen2.5-VL/InternVL 小模型，而部分 prior 使用较旧 LLaMA-7B VTL 管线；虽然作者做了同 backbone LoRA 对照，但整体 SOTA 叙事里仍混有 backbone modernization、训练数据、prompt、judge 偏好的因素。某些提升可能主要来自更强 VLM 初始化，而不是 mask 本身。
第四，所谓 reasoning 可能被高估。输出约束为 2-3 个单词属性时，模型更像在做触觉属性检索/分类，而不是物理因果推理。没有 evidence 表明模型形成了可用于 planning 的长期触觉状态或可组合材料动力学表征。
第五，方法把问题从“如何避免遗忘”转移成“如何选择可塑容量”。当目标模态更复杂、需要持续学习多个新传感器时，dormant subspace 会被逐步耗尽；是否需要动态扩容、mask 重分配或冲突解决，文中未充分说明。
Takeaway
- 1. 值得记住的不是触觉模块，而是 modality expansion 可以被建模为 parameter subspace allocation：新模态不一定要加 adapter，也可以复用预训练模型内部低重要性容量。
- 2. 对小型 MLLM 来说，“少更新参数”不够，关键是“更新哪些参数”。
- PEFT 的下一步可能会从参数量压缩转向功能路径隔离。
- 3. activation-aware pruning 指标可以从压缩工具变成适配工具：它不只是删参数，也可以定义哪些参数适合承接新任务/新模态。
一句话总结
Splash 是一篇把 pruning/continual-learning 的参数隔离思想迁移到小型 MLLM 触觉模态扩展中的工作，其真正贡献是把触觉对齐从 LoRA 式全局扰动改造成 dormant subspace 复用，从而在属性级 VTL 任务上更好平衡新模态学习与旧 VL 能力保持。