精读笔记

Problem Setting

这篇论文实际解决的是 split LVLM 部署中的 representation integrity 问题：边端产生 vision tokens，云端把这些 tokens 当作视觉语义条件继续推理；一旦中间 token 在链路上被修改，整个 LVLM 的视觉理解可能被劫持。真正困难点不是如何构造高精度 adversarial perturbation，而是在黑盒、预算有限、不能破坏张量形状的条件下，找到足以改变云端生成行为的 token-level 操作。以前方法卡在两个方向：图像攻击假设能改 raw image，cloud-edge LLM 攻击主要看文本中间表示；都没有把 vision token transmission 当成独立攻击面。关键矛盾是部署效率要求把高语义密度表示外包传输，而安全上这些表示比原图更直接、更脆弱、更难由人类审查。

Motivation

已有路线不够，是因为它们默认攻击面在输入端或文本端，而 cloud-edge LVLM 的真实弱点可能在“视觉已经被编码之后、语言模型消费之前”的中间接口。作者的核心观察是 vision tokens 同时具备两种危险属性：它们已经压缩了语义，因此小幅操纵能产生大影响；它们又是连续高维向量，因此操纵不需要满足图像可感知约束。这个方向自然来自 split inference 的信息流重组：计算被拆开后，模型内部表示第一次变成网络上传输对象。关键缺口是缺少针对这个接口的 threat model、攻击 primitive 和跨模型经验验证。

Core Idea

论文的核心思想是：不要在图像空间和 prompt 空间绕远路，直接攻击云端实际消费的视觉条件变量。vision tokens 是 LVLM 的视觉语义入口，修改它们等价于在模型内部重写视觉上下文；只要保持维度一致，云端 pipeline 不会报错，但生成分布已经被改变。

与 prior 的本质区别在于攻击对象从“可感知输入”变成“不可感知中间语义表示”。这引入了一个新的 inductive bias：token 的方向、范数、相对位置和 attention 关系比像素级扰动更接近 LVLM 的决策边界。方法因此更 generalizable，不依赖具体图像纹理或人眼约束；也更像系统安全问题，因为攻击成功来自架构暴露的语义接口，而不是某个模型的白盒梯度漏洞。

Method

方法只需要抓住几个机制。第一，budgeted MITM token replacement 解决的是现实可行性：攻击者只能改少量 token，且必须保持 shape-compatible，否则会变成显式 DoS 而不是隐蔽语义攻击。第二，permutation/masking/Gaussian/sign flip 四个 primitive 分别测试不同失效模式；其中 sign flip 最关键，因为它保持范数但反转语义方向，把检测难度和破坏强度结合起来。第三，optimization-based selection 解决随机选 token 浪费预算的问题；它用 self-attention disruption 近似“这个 token 被改后会不会重排视觉 token 间交互”。第四，norm-aware regularization 不是防御也不是核心攻击，它只是避免优化器被高范数 token 吸走，试图找到更结构性的脆弱 token。

Key Insight / Why It Works

最重要的 insight 是：LVLM 的视觉 token 空间不是鲁棒通信编码，而是面向下游语义融合的脆弱 latent interface。模型训练时通常假设 projector 输出可信、分布一致、顺序正确；云端 LLM 并没有被训练去处理少量 token 被恶意反向的情况。因此 sign flip 会造成一种非常不自然但 pipeline 合法的 out-of-distribution condition：范数看起来正常，方向却与原视觉语义相反，attention 相似度结构也随之改变。

真正有效的部分大概率是 representation direction attack，而不是复杂优化。sign flip 的效果远强于 permutation 和 masking，说明模型对 token 内容方向的依赖超过对局部缺失或顺序扰动的鲁棒性。optimization selection 是合理的工程增强，但从结果看并非所有模型都有显著增益；它更像在一个已经很强的 primitive 上做 budget allocation。该工作本质上不是 scaling、retrieval、curriculum 或 test-time compute，而是暴露了 representation alignment 的安全假设：视觉编码器与 LLM 之间的对齐只在干净 token 分布上成立，一旦中间表示被轻微恶意改写，对齐会快速失效。

模型族差异也很有信息量。InternVL3.5 明显更稳，尤其大模型更稳，而 Qwen2.5-VL 常出现近乎归零。这提示鲁棒性可能主要来自架构/投影层/归一化/训练数据覆盖的组合，而不是参数规模本身。文中没有充分归因，因此不能把结果简单解释成“大模型更鲁棒”或“某个攻击 universal”。

Relation To Prior Work

它最接近三条谱系：输入空间 adversarial attack、split inference 中间表示攻击、以及 multimodal representation alignment 脆弱性分析。与图像 adversarial attack 的差异是它不关心人眼不可见扰动，而是直接改 latent token；与 prompt injection/文本中间表示攻击的差异是视觉 token 具有空间结构和连续 embedding 几何；与传统 feature corruption/activation attack 的差异是它绑定到 cloud-edge 部署链路，攻击面是系统架构自然暴露出来的。

看似新的部分，如 masking、Gaussian、permutation，本质上是已有 corruption 思想在 vision token 上的重组；实质创新是把 cloud-edge LVLM 的 token transmission interface 明确建模成安全边界，并证明简单 direction-level manipulation 就足够破坏当前 LVLM。optimization-based token selection 的思想也不算全新，更像用 attention discrepancy 做黑盒 surrogate saliency；新增信息在于这个 surrogate 在传输 token 场景下足够有用。

Dataset / Evaluation

评测覆盖两个主流 LVLM 家族、多个模型规模和四类视觉语言任务，任务覆盖面可以支撑“这不是单一 benchmark 偶然现象”的 claim。OCR、VQA、指令和数学视觉推理都被破坏，说明攻击影响的是通用视觉条件注入，而非某个任务格式。

但 evaluation 更像离线 benchmark stress test，不是真实 cloud-edge deployment 评测。它没有充分模拟安全信道、token 压缩/量化、传输协议、丢包、延迟抖动、边端硬件限制或真实 MITM 条件。延迟分析说明攻击计算开销相对传输很小，但这不等价于真实可部署攻击链成立。benchmark 能验证“如果攻击者能改 token，模型会脆弱”，但不能完整验证“现实 cloud-edge LVLM 普遍暴露此攻击面”。

Limitation

最大限制是安全前提偏强：攻击者能截获并修改 vision tokens，且系统没有完整性保护。现实中这类问题通常首先由通信安全解决，而不是靠模型鲁棒性解决；因此论文更像提醒系统设计不要裸露 token interface，而不是证明 LVLM 无法防御。

第二，攻击目标是 untargeted degradation，更多展示 collapse 而不是可控误导。对安全应用来说，targeted manipulation、stealthy semantic drift、长期交互中的状态污染会更关键。第三，optimization 部分的理论 proxy 比较粗：Attn(V)=softmax(VV^T/sqrt(d))V 是简化自注意力，不一定对应具体 LVLM 的投影、RoPE、cross-modal fusion 和 normalization 路径；文中未充分说明这种 proxy 为什么跨架构稳定。第四，模型族差异巨大但归因不足，增益来源不清，可能主要来自 projector/normalization/token distribution 或训练时 corruption robustness，而非论文方法捕捉到的通用规律。第五，实验没有系统考察检测与防御；sign flip 这种强方向反转可能在 token covariance、cosine distribution 或邻域一致性上并不隐蔽。

Takeaway

• 最值得记住的不是某个攻击数值，而是 cloud-edge LVLM 把内部语义表示变成了外部通信对象；这会把模型鲁棒性问题转化为表示完整性问题。
• sign flip 是一个很强的 diagnostic：如果保范数反向少量 vision tokens 就能让模型崩溃，说明视觉-语言对齐对 latent direction 的安全 margin 很小。
• 未来真正值得做的是 token-level authentication、secure split inference、robust projector/LLM fusion、以及对 corrupted latent tokens 的训练时暴露；单纯在输入图像上做 adversarial defense 不会覆盖这个风险。
• 这篇推动的是 attack surface reframing，而不是复杂攻击算法本身；可迁移 insight 是：任何把高语义密度 latent representation 跨设备传输的系统，都应默认 latent interface 是安全边界。

一句话总结

这篇论文把 LVLM 安全从输入扰动推进到 cloud-edge 中间表示完整性问题，真正贡献是证明裸露的 vision-token 接口本身就是脆弱安全边界，而方法上主要属于 representation-level corruption attack 的系统化重定位。