精读笔记

Problem Setting

这篇论文实际处理的是 inference-time visual token pruning 的可靠性问题，特别是在严格 token budget 下如何不丢掉小目标、局部文字、否定查询所需证据。关键矛盾是：VLM 的视觉 token 高度冗余，但任务相关信息往往稀疏、局部、由 prompt 决定；越强压缩，越不能只按全局 saliency 或局部最高分来删。已有路线卡在两个地方：global text guidance 过粗，只能给出宏观语义偏置；dense guidance 理论上更细，但功能词和标点的广泛响应会制造 noise floor。更深一层的问题是 Top-K selection 本身不是压缩目标，它只保留分数最高的点，不保证被保留集合能代表完整对象或视觉结构。

Motivation

作者的核心观察相当直接：EOS/global text feature 在细粒度任务上容易看背景或粗语义区域；把所有 text token 都拿来 dense matching 并不会自然变好，因为多数非实体 token 的视觉响应接近均匀分布，累积后反而淹没实体词的局部峰值。另一个观察是，即使人工挑出正确实体词作为 relevance source，Top-K 仍会集中采样对象的某个局部，例如头、尾、文字块的一小片，而不是覆盖完整语义区域。因此缺的不是又一个 importance score，而是两个约束：文本侧要能过滤无定位价值的 token，视觉侧要把选择建模为集合覆盖而非独立排序。

Core Idea

EADP 真正的核心是把 pruning 从“每个视觉 token 有多重要”改成“哪些 token 作为一个集合能在当前指令下代表原图”。这个转变很关键：前者天然导向 Top-K，容易过度选择局部峰值；后者允许显式引入 coverage、redundancy penalty 和 spatial prior。

文本侧，论文没有依赖 parser 或人工词性，而是用一个更贴近跨模态行为的统计量：某个 text token 对视觉 token 的相似度分布如果高熵，说明它没有定位能力，更可能是功能词/标点/泛化语义；低熵则更可能对应实体或局部属性。视觉侧，facility location objective 把每个原始 token 看作需要被代表的 client，被选 token 是 facility，目标是 relevance-weighted coverage。这比 DPP/多样性方法更贴近压缩：不是为了分散而分散，而是为了让高相关区域的语义邻域都有代表。

Method

关键机制可以压缩成三点。第一，entropy-aware dense scoring 解决 dense text matching 的噪声问题：它不是平均所有文本 token，而是根据每个文本 token 的空间响应熵筛选和加权，避免功能词把 relevance map 抬成一层均匀背景。第二，global-dense fusion 解决 dense signal 过局部、global signal 过粗的问题：EOS 提供稳定的宏观语义上下文，低熵 dense token 提供细粒度定位，两者互补而不是替代。第三，submodular selection 解决 Top-K 的冗余问题：目标函数奖励被选集合对全体视觉 token 的覆盖，并用 instruction relevance 加权覆盖价值，从而让选择结果更像任务条件下的视觉摘要。

Gaussian smoothing 和 polarization 的角色更偏中间表示整形：smoothing 把孤立峰值扩散到邻域，减少碎片化；polarization 再把平滑后的背景压下去，避免 relevance 被过度低通。这部分合理，但属于让 score map 更适合 facility-location 优化的工程 inductive bias，不是论文最本质的贡献。

Key Insight / Why It Works

最可能有效的核心不是“熵”这个公式本身，而是用视觉响应分布来判断文本 token 是否具备 grounding value。这个判断绕开了 NLP parser，也比固定停用词表更稳，因为同一个词在不同 prompt/image 下可能有不同视觉定位性。换句话说，EADP 做的是 test-time representation alignment cleaning：先清理文本到视觉的条件信号，再压缩视觉集合。

第二个核心贡献是把 selection 从 ranking 变成 submodular coverage。Top-K 的失败不是偶然，而是目标函数错了：它最大化独立分数，不关心两个高分 token 是否表达同一个局部。Facility location 则隐式把 token embedding space 当作视觉语义流形，用相似度覆盖来逼迫 selected set 成为原 token cloud 的代表子集。这本质上是 better inductive bias，不是 scaling，也不是训练数据覆盖。

但需要直说：论文的性能增益并不像一个全新范式带来的数量级提升，更像是在已有 pruning pipeline 上把几个正确 bias 叠起来。entropy filtering、negative cosine、smoothing、polarization、dynamic quota、facility location 都会贡献一点，单项 ablation 差距并不总是大。最核心的可迁移 insight 是“dense guidance 先去噪，selection 再做集合级覆盖”；其余不少部分可能是为了适配 CLIP/LLaVA/Qwen 视觉 token 分布的 engineering。

Relation To Prior Work

它最接近 CDPruner、TRIM、DivPrune、VisionZip 这一类 training-free / plug-and-play visual token pruning，而不是 learned policy pruning。和 CDPruner 的关系尤其近：都使用文本条件 relevance 和视觉 token 间关系来选 token，也都意识到单纯 attention/similarity 不够。真正差异是 CDPruner 更强调 conditional diversity/DPP，而 EADP 明确把目标改成 relevance-weighted representativeness；DPP 偏“选得不一样”，facility location 偏“选得能覆盖原集合”。

看似新的地方里，submodular facility location 本身不是新思想，在 summarization、subset selection、active learning 中非常经典；Gaussian smoothing、score sharpening 也不新。实质创新在于把这些老工具放到 VLM token pruning 的两个具体 failure mode 上：文本高熵噪声与 Top-K 碎片化。它属于从 heuristic pruning 走向 structured compression 的技术谱系，新增的信息不是算法理论，而是对 VLM pruning failure 的归因和相应的测试时结构化修正。

Dataset / Evaluation

评估覆盖面比较强：标准图像 VQA、高分辨率 LLaVA-NeXT、Qwen 系列、文档/OCR、hallucination、视频都做了，基本不是单 benchmark tuning。尤其 Qwen3-VL 上 DocVQA/InfoVQA 的结果比较契合论文 claim，因为文档类任务确实需要细粒度文字和布局覆盖，能检验 Top-K 是否丢局部证据。视频实验也有价值，因为时空冗余更强，coverage bias 理应更有用。

但 evaluation 仍有明显限制。首先，大多数指标是 offline benchmark average，未充分验证真实服务中的 latency-quality Pareto，尤其 facility-location overhead 在较大预算下并不小。其次，论文主要报告端到端分数，没有充分拆分错误类型：到底是减少 hallucination、保留 OCR、小目标识别，还是只是某些 benchmark 的统计偏好。再次，和强 baseline 的差距通常不巨大，且部分任务上并非全面领先，所以 claim 更适合表述为“更稳的 pruning bias”，而不是根本性突破。

Limitation

第一，方法强依赖跨模态相似度图的可用性。它假设 CLIP/SigLIP token-level similarity 能反映视觉定位，但补充材料又承认要用 negative cosine 来修正 CLIP 的 foreground/background 偏移，这说明 scoring foundation 本身并不干净。若换到更弱或更不对齐的视觉塔，entropy 可能只是在错误相似度上做精致筛选。

第二，低熵不等于任务重要。实体词通常低熵，但关系词、数量词、否定词、比较词可能高熵却决定答案；EADP 有误删这类 token 的风险。论文用 benchmark 平均分证明总体有效，但没有充分分析 compositional / relational / negative query 下的 failure case。

第三，submodular coverage 把视觉 token embedding similarity 当作语义覆盖代理，这在对象/纹理/OCR 场景中合理，但在需要细小差异判别时可能过度合并近邻 token。它把 Top-K 的局部冗余问题转移为“embedding space 中什么算覆盖”的问题。

第四，scalability 上限在 greedy facility location。虽然 scoring 很轻，真正耗时的是 selection；在 512 retained tokens 时 overhead 已经显著。若部署场景追求极低延迟或 batch serving，工程上可能需要近似、分块、并行或 learned surrogate，否则优势会被 selection cost 吃掉。

第五，增益归因不够清晰。文中未充分说明负 cosine、entropy filtering、global fusion、smoothing、polarization、dynamic allocation、submodular objective 各自在不同模型/任务上的必要性。当前证据更像证明组合 recipe 有效，而不是严格证明某个核心机制不可替代。

Takeaway

• 1. 视觉 token pruning 不应继续被简单建模为 saliency ranking；在强压缩下，集合级 representativeness 比单点 importance 更关键。
• 2. Dense text guidance 的问题不是信息太多，而是没有区分哪些 text token 具备视觉 grounding value；响应熵是一个简单但可迁移的测试时过滤信号。
• 3. 未来值得做的是把 facility-location 这类结构化目标做得更快、更可学习，或者蒸馏成低开销 selector，而不是继续堆 Top-K 变体。
• 4. 这篇真正推动的是 pruning objective 的重定义：从“保留高亮 token”转向“在指令条件下构造视觉摘要”。

一句话总结

EADP 是一篇把 VLM visual token pruning 从启发式 Top-K 推向文本去噪 + 集合覆盖式结构化压缩的工作，核心贡献在于明确了 dense guidance 的噪声来源和 Top-K 的目标错配，而不是提出全新的模型能力。