精读笔记

Problem Setting

[Harnessing Textual Refusal Directions for Multimodal Safety]（arXiv preprint / 2026-07-01）

这篇论文解决的不是一般意义上的 MLLM 安全训练，而是一个更窄但很现实的问题：如果只有文本安全数据、没有多模态 unsafe 数据，能否仍然提升图像/视频输入下的拒答能力。关键矛盾是：MLLM 的 safety 多数来自 LLM backbone，但攻击面发生在视觉/视频输入；如果重新对齐，需要多模态安全数据，成本高且覆盖困难；如果只沿用文本 safety mechanism，又会遇到 modality shift。

真正困难在 representation 层面：视觉 token 进入 decoder 后，<assistant> 位置的 hidden state 不只是编码语义安全性，还混入了强视觉模态成分。这个成分可能系统性地与文本 refusal direction 对齐，使 safe 图像也看起来像“应该拒答”。因此问题不是有没有 refusal direction，而是它在多模态激活空间中是否仍然是安全语义方向，而不是模态偏置方向。

Motivation

已有路线的问题很明确：post-training alignment 需要多模态 unsafe 数据；SASA 类方法需要训练 activation classifier，本质仍依赖数据覆盖；ECSO 类 self-assessment 方法虽然少监督，但需要额外 forward，而且对视觉中携带的 jailbreak signal 并不可靠；AdaSteer 这类 text-only steering 在 modality shift 下不稳定。

作者真正抓住的缺口是：如果 MLLM 的拒答能力主要继承自 LLM backbone，那么多模态安全不一定要从多模态数据中重新学，也许可以直接复用文本中的 refusal geometry。这个动机成立的前提是 decoder 内部存在跨模态共享的安全相关坐标；论文的 preliminary finding 表明 unsafe 图像比 safe 图像更容易被文本 refusal direction steering 到拒答，这说明该方向并非完全 text-only。

但作者也指出 naïve transfer 会失败：safe 图像也会被过度拒答。这个观察比“文本方向能迁移”更重要，因为它揭示了真正 bottleneck 是 cross-modal representation alignment，而不是 refusal direction extraction 本身。

Core Idea

核心思想是把文本 refusal direction 从一个 LLM interpretability artifact 重新定位成 MLLM inference-time safety actuator。它不训练新的多模态判别器，也不要求模型显式识别 harmful content，而是利用 decoder hidden state 对 refusal direction 的投影作为模型内部的“隐式安全信念”，再在生成第一个 token 时放大这个信念。

本质区别在于建模方式变化：prior 多数把多模态安全看成输入/输出级别的分类或再生成问题，而 MARS 把它看成 activation geometry 的跨模态校准问题。它引入的 inductive bias 是：安全拒答结构已经存在于语言模型中，视觉/视频只是通过 projector 映射到同一 decoder manifold；如果去掉 modality-specific offset，文本安全方向可以跨模态复用。

这使方法更 scalable：它不需要为每种模态、攻击类别、视频场景重新标注 unsafe 数据，而是复用文本安全数据和少量无语义随机图像估计模态偏置。它的 generalization 不是来自更大数据覆盖，而是来自 latent structure reuse。

Method

方法层面真正必要的机制只有几个。

第一，文本 refusal direction：用文本 safe/unsafe prompt 中接受与拒答响应的 hidden-state centroid 差得到方向。它解决的是“安全拒答在 activation space 中如何被线性读出”的问题。这里沿用 Arditi et al. 的思想，创新不在方向提取，而在跨模态使用。

第二，activation re-centering：用随机彩色图像估计每层视觉输入带来的 neutral mean，并从多模态 activation 中减掉。它解决的是 modality component 与 refusal direction 偶然/系统性对齐的问题。核心变化是把 refusal projection 从“模态 + 安全”的混合信号，尽量还原为安全语义信号。

第三，ReLU-gated steering：只对 centered activation 在 refusal direction 上正投影的样本进行更新。它解决 safe 样本被对称扰动的问题。这个机制相当于把 refusal direction 同时用作 soft detector 和 actuator，避免额外分类器。

第四，adaptive trust region：更新幅度由 activation 到文本 accept/refuse centroid 的局部距离决定，而不是固定 alpha。它解决固定 steering strength 在不同模型/层/样本上不稳定的问题。其作用是把 intervention 限制在文本训练分布附近，减少 representation 被推到未知区域。

第五，layer selection：用文本方向一致性、safe/unsafe centroid 可分性、safe margin 选层。它解决 refusal signal 在不同层语义不一致的问题。这里不是 engineering 细节，而是承认 safety direction 是层局部现象，不存在一个通用全层注入策略。

Key Insight / Why It Works

最核心 insight 是：MLLM safety failure 并不总是因为模型没有安全知识，而是因为多模态输入激活中的 modality component 把已有的文本安全坐标污染了。MARS 的有效性主要来自 representation alignment，而不是更强的 safety reasoning。

真正贡献最大的部分应该是 centering。论文中 raw space 的现象很关键：safe 和 unsafe 图像都朝 refusal direction 投影，所以 naïve steering 当然会 over-refuse；减去随机图像 mean 后，safe 更接近 accept，unsafe 更接近 reject。这说明随机图像不是数据增强，而是在估计视觉模态的公共 offset。这个机制解释力强，也最值得迁移。

ReLU gating 是第二重要的机制。它把 refusal direction 从一个连续控制轴变成单边安全触发器，本质上是在做 latent-space conditional intervention。它可能不是复杂创新，但非常必要：没有 gating，safe activation 也会被扰动，utility 会掉。

adaptive strength 更像稳定化组件。它的理论直觉合理：不要把 activation 推出已知 accept/refuse centroid 覆盖区域。但它是否是主要增益来源不如 centering 清楚；文中 ablation 更多说明固定/错误 steering 会坏，而不是严格证明 trust-region 是最优。这里增益来源不清，可能部分是避免灾难性 alpha 的 engineering。

Layer selection 也是必要但偏工程的部分。不同模型最佳层不同，说明 refusal direction 的跨模态可用性是局部的、模型特定的。layer score 用文本 validation 来选层，避免多模态 safety tuning，但它仍依赖文本数据能预测多模态可迁移性。这个假设在当前 benchmark 上成立，但泛化边界文中未充分说明。

整体上，这篇不是 scaling paper，也不是 retrieval/data coverage paper；它更接近 latent structure reuse + representation alignment。所谓 safety gain 大概率不是模型学会了新安全规则，而是把 backbone 里已有拒答电路在多模态输入下重新激活。

Relation To Prior Work

最接近的谱系是 activation steering / representation editing，尤其是 Arditi et al. 的 refusal direction 和 AdaSteer。MARS 与它们的本质差异在于方向来源仍是文本，但目标空间变成多模态 decoder activation；问题从“如何控制 LLM refusal”变成“文本 refusal axis 在 multimodal hidden state 中如何去偏后复用”。

相对 training-based MLLM safety，如 SASA 或 multimodal safety fine-tuning，MARS 不学习新的多模态分类边界，而是复用 LLM 内部 refusal geometry。这是实质差异，也解释了为什么它在视频上能泛化：它不需要视频监督，只要视频输入最终进入同一 decoder manifold。

相对 ECSO 这类 self-checking 方法，MARS 不依赖输出后自我评估，也不需要额外 forward；它在生成轨迹开始前改变 hidden state。这是信息流上的区别：ECSO 是 output-level repair，MARS 是 first-token trajectory steering。

看似新的部分中，refusal direction extraction 和 activation steering 都不是新思想；真正新增的信息是 cross-modal misalignment diagnosis，以及用 neutral visual centering 把文本 refusal direction 变成可迁移安全信号。这一点比模块组合更有价值。

Dataset / Evaluation

评估覆盖了图像安全、图像 jailbreak、通用多模态 utility、视频 jailbreak，范围足以支撑“文本 refusal direction 可跨图像/视频迁移”的基本 claim。尤其视频结果有意义，因为方法没有使用视频安全数据，却在多个模型上提升拒答率，说明它不是简单拟合图像 benchmark。

但 evaluation 的核心指标仍偏 refusal-centric。拒答率提升不等价于真实安全提升：模型可能只是更频繁触发模板式拒答，而不是更准确地区分 harmfulness。HADES/MMSafetyBench/VideoSafetyBench 能测试 jailbreak robustness，但仍是离线 benchmark，距离真实 deployment 中的长上下文、多轮交互、用户规避、policy nuance 还有明显鸿沟。

Utility 用 MMMU/MMMUPro 检查是必要的，但不足以证明低 over-refusal。MMMU 类任务主要覆盖学科问答和视觉理解，不覆盖真实产品中大量 borderline safe-but-sensitive 请求。Qwen3.5 上 utility 明显下降也提示方法并非总是无损。

与 SASA 的比较有参考价值但不完全公平：SASA 是训练式且可能用到更多多模态/utility/jailbreak 数据，MARS 是 training-free；SASA 高拒答也经常伴随 over-refusal。论文更应该被看作提出一个强 training-free baseline，而不是全面替代训练式 alignment。

Limitation

第一，方法强依赖 backbone 已经有 refusal direction。如果 LLM 本身拒答很弱、拒答与 harmfulness 解耦严重，MARS 只能放大已有倾向，不能创造新的 safety competence。LLaVA 弱对齐实验显示仍有提升，但这不证明极弱或错误 safety prior 下仍可靠。

第二，centering 假设 modality bias 可以用线性 mean subtraction 去除。这个假设在当前模型和 benchmark 上有效，但对复杂视频、OCR-heavy 图像、domain-specific medical/legal imagery、或高度非线性的 projector 表示，文中未充分说明。随机彩色图像能估计“视觉公共成分”，但是否能覆盖真实视觉分布中的结构性偏置仍不确定。

第三，方法把 harmfulness 判断压缩到 refusal direction 的正负投影上。这会天然偏向二元拒答，不适合细粒度安全策略，例如允许高层安全讨论但拒绝操作步骤、区分新闻报道/教育/艺术/滥用意图等。它可能把 policy reasoning 简化成 latent refusal trigger。

第四，评估可能高估实际安全。模板匹配 refusal rate 和 LLaMA Guard proxy 都可能受回答风格影响；模型输出“我不能帮助”并不代表不会随后泄露细节，反之安全回答也可能不匹配模板。真实 adversarial users 可以针对 activation steering 设计 acceptance-direction attack，双用风险文中承认但没有实证。

第五，layer selection 仍是模型特定的离线校准。虽然不需要多模态 safety data，但需要访问内部 hidden states、能 hook decoder、能控制 first-token activation；对闭源 API 或高吞吐部署并不直接适用。所谓 negligible overhead 更适用于可本地部署的 open-weight MLLM。

Takeaway

• 1. 最值得记住的是：多模态安全失败可能是 representation alignment 问题，而不是单纯缺少多模态安全知识；先诊断 activation geometry，再做 alignment，比直接加数据更有解释力。
• 2. 文本 safety direction 可以作为跨模态 safety prior，但必须去除 modality-specific component。
• 这个 insight 可迁移到其他 latent control 问题，例如 truthfulness、toxicity、copyright、privacy 等跨模态控制。
• 3. MARS 推动的是 training-free safety baseline 的下限：在没有多模态 unsafe 数据时，activation-space intervention 已经能显著提升安全性。

一句话总结

这篇论文把文本 LLM 中已有的 refusal direction 通过多模态 activation re-centering 转化为 training-free 的 MLLM 安全控制器，真正贡献在于揭示并修正跨模态表示偏置，而不是发明新的安全学习算法。