精读笔记

Problem Setting

[论文标题] Steal the Patch Size: Adversarially Manipulate Vision-Language Models（arXiv preprint / 2026-07-02）。这篇论文解决的是黑盒 VLM 中视觉 tokenizer / preprocessing configuration 的可窃取性问题，尤其是 patch size P、动态/固定分辨率预处理、固定 target resolution S。真正困难不在于生成合成图像，而在于 API 输出只有文本，且内部 resize/pad/crop 会把用户像素空间中的尺度关系扭曲到未知 tokenizer 空间。以前的模型窃取大多试图恢复功能、类别边界、encoder 表征或超参数，较少把视觉前端的离散化几何当作可由任务行为泄露的对象。这里的关键矛盾是：patch size 看似是 implementation detail，但它直接决定哪些视觉边界能进入 token 表征；因此“私有配置”会通过特定任务失效显性化。

Motivation

已有路线不够的原因是它们通常把视觉输入管线当成已知常量，或者只关心最终模型是否可被攻击，而不问攻击为什么在某些模型上更可迁移。作者的核心观察很尖锐：VLM 在人类显然能完成的 grid counting 上会对某些 cell size 突然崩塌，这不是语义推理失败，而是 tokenizer 粒度和任务信息粒度发生了对齐性冲突。类比 LLM 的 strawberry 不是为了科普，而是指出 tokenization 会制造不可逆的信息遮蔽。关键缺口是：视觉 patchification 的结构性盲点此前没有被当作黑盒 side channel 来利用，也没有和后续 preprocessing-aware adversarial transfer 系统连接起来。

Core Idea

核心思想是把隐藏的 patch lattice 映射成一个可观测的任务级周期信号。作者构造随机彩色 N×N 网格，让任务依赖 cell boundary 的检测；然后扫 cell size D。当预处理后的 D_eff=kP 时，patch 完全落在单个纯色 cell 内，边界落在 patch 之间，patch token 不再携带局部 edge/contrast cue，模型计数准确率出现周期性 valley。这个机制把“模型看不见什么”变成“曲线上哪里掉点”。

本质区别在于，它不是通过拟合目标模型输出分布来蒸馏功能，也不是寻找通用 adversarial perturbation，而是设计一个与 tokenizer 几何共振的 probe。它引入的 inductive bias 是 spatial discretization awareness：攻击者不再把 VLM 当作任意黑盒函数，而是假设其前端存在规则 patch grid，并用可控尺度输入去扫描该 grid。这个 bias 很强，但在当前 ViT/VLM 部署中足够现实，因此比泛泛的黑盒 probing 更 query-efficient、更可解释。

Method

方法只需要抓住三个机制。第一，unpadding sweep 解决动态分辨率场景：如果模型基本保留输入尺度，D_eff 与 D 近似线性同尺度，accuracy valley 的 fundamental period 就直接估计 P；这一步同时也是动态 vs 固定预处理的诊断。第二，zero-padding sweep 解决固定 resize 抹平周期的问题：把 grid 锚定在左上角、padding 到 canvas L，若内部统一 resize 到 S，则 D_eff=(S/L)D，valley period T(L)=PL/S；跨多个 L 的线性关系恢复 S/P。第三，relative answer consistency 解决 S 与 P 的比例歧义：如果候选 S 是真实内部 resolution，用户侧先 resize 到 S 后再送入模型应更接近 baseline 行为；错误 S 会引入额外 resampling，导致回答更不一致。

这些步骤的核心变化是把未知 preprocessing 从噪声变成可控变量。padding 不是工程 trick，而是在外部构造一个已知缩放杆杆，使固定内部 resize 的比例通过 T(L) 暴露出来。统计检验是辅助可信度工具，主要防止把随机 dip 误读成周期；它不是主要创新。

Key Insight / Why It Works

最重要的 insight 是：ViT patchification 不只是降采样或 token budget 设计，而是一个会选择性删除边界信息的空间采样算子。当任务信息恰好编码在 patch 间边界上时，模型后续再强的 reasoning 也无法恢复已经没进 token 的 cue。这解释了为什么强 VLM 也会在简单 grid counting 上崩塌：不是 cognition 失败，而是 representation-level evidence 被前端抹掉。

真正有效的部分是“边界敏感 probe + 尺度扫描 + patch-grid 共振”这个组合。padding 和 consistency test 是把这个机制推广到未知 fixed resize 的必要工程化，但核心贡献仍是 side channel 的构造与几何解释。它本质上不是 scaling、retrieval、memory reuse 或 test-time compute；更接近利用 latent structure / representation bottleneck 的黑盒系统识别。所谓 adversarial manipulation 的收益中，preprocessing awareness 是合理归因，但具体 ASR 增益可能混有 surrogate 选择、contrastive objective、augmentation recipe 的贡献，文中未充分说明。

Relation To Prior Work

它最接近三条线：黑盒模型窃取/属性推断、ViT patch-level vulnerability、VLM adversarial transfer。和传统 model extraction 的本质差异是目标不是复制函数，而是恢复视觉前端的离散化超参数；和 timing/property side channel 的差异是信号来自任务准确率曲线而非硬件或低层接口；和 VLM jailbreak/transfer attack 的差异是攻击前先做 tokenizer geometry identification。

看似新的部分中，扫输入尺度、用合成 probe、做 hypothesis testing 都不是新思想；实质创新在于把 patchification 的边界擦除效应建模成周期性 behavioral side channel，并进一步用 padding 把固定 resize 的未知缩放因子显式化。它属于“architecture-aware black-box probing”的技术谱系，而不是普通 adversarial example 或 benchmark attack。

Dataset / Evaluation

评估覆盖了开源模型和闭源 API，这一点对 claim 很关键，因为论文声称的是 deployed VLM 的黑盒可窃取性。开源 Qwen / InternVL 提供了 ground-truth verification，GPT 与 Claude 提供真实 API 场景。grid counting 是高度合成任务，但这不是缺点本身：side channel 攻击本来就应使用攻击者可控 probe，而不是追求自然图像分布真实性。

不过 evaluation 的边界也明显。核心参数恢复 claim 主要在 ViT-like、规则 patch、相对稳定 preprocessing 的模型上成立；对多尺度 routing、stochastic preprocessing、content-adaptive crop 的覆盖不足。下游 adversarial attack 用 NIPS 2017 和 VLM caption/judge 流程验证安全影响，方向是对的，但它并不能完全证明所有收益来自 stolen S/P。benchmark 支持“知道 preprocessing 有用”，但对“精确窃取参数是不可替代因素”的验证还不够干净。

Limitation

方法成立高度依赖空间前端的规则性：非重叠 patch、稳定 origin、方形对称 resize、无内容裁剪、以及 boundary cue 在 tokenization 前不被其它机制保留。如果 tokenizer 有 overlapping convolution、anti-aliased edge-preserving patch embedding、多尺度融合或随机化预处理，PSM valley 会变弱甚至消失。作者承认非可识别场景，但没有给出完整 identifiability theory。

scalability 上限也明确：攻击需要大量查询来估计 accuracy curve，且依赖模型在非 valley 区域对 grid counting 有非平凡准确率；如果任务太难或太易，周期信号都会被淹没。方法不是恢复完整 preprocessing pipeline，只恢复少数几何参数。防御上，随机 resize / routing 可能显著抬高 query complexity，但 utility-security trade-off 文中未充分说明。下游攻击部分的增益归因不清，可能部分来自更强 optimization 和 augmentation，而不完全来自参数窃取。

Takeaway

• 最值得记住的有三点。
• 第一，VLM 的视觉前端不是无害工程细节；patch size、resize resolution 这类配置会通过任务行为泄露，并且会影响攻击迁移。
• 第二，tokenization bottleneck 可以被设计成 side channel：只要能构造对被删除信息敏感的 probe，就能从失败模式反推前端结构。
• 第三，未来 VLM 安全不应只看 prompt policy 和输出过滤，还要把 preprocessing、tokenizer、resolution routing 当作攻击面。

一句话总结

这篇论文把 ViT patchification 的边界信息擦除从一个鲁棒性现象提升为可黑盒利用的架构 side channel，实质贡献是提出了一类 tokenizer-geometry-aware 的 VLM 参数窃取与定向攻击方法。