精读笔记

Problem Setting

[SeeMe: Mitigating Hallucinations in Large Vision-Language Models through Effective Visual Token Engineering]（arXiv preprint / 2026）

这篇论文真正处理的是 LVLM 中由视觉 token stream 引入的 hallucination，而不是一般意义上的语言模型幻觉。它的基本判断是：很多幻觉不是 decoder 在最后一步凭空编造，而是 decoder 从一开始就接收了冗余、弱相关或误导性的视觉 token，后续语言生成只是把这些噪声放大。

难点不在于识别“哪些 token 没用”这么简单，而在于视觉 token 的 usefulness 是 query-dependent、layer-dependent、granularity-dependent 的。一个 token 对当前问题的全局 attention 很低，不代表它没有局部证据价值；反过来，高 attention token 也可能只是语言先验牵引下的伪相关区域。以前方法卡在两个方向：decoding-side 方法太晚干预，只能修正输出分布；suppression-side 方法太粗暴，容易把 hallucination source 和 useful evidence 一起删掉。

所以这篇的核心矛盾是：如何在不训练、不改架构的条件下，同时减少视觉噪声传播和保留足够 grounding evidence。

Motivation

已有路线不够的地方在于它们默认 visual tokens 是固定输入，主要在 decoder hidden states、logits、attention heads 或层间一致性上做后验调节。这类方法对语言先验偏置有帮助，但如果输入视觉表示本身已经包含大量干扰 token，decoder-side 修正只能治标。

作者的核心观察是：在中间层做 cross-modal attention pruning 能提升 MME perception，但 retain ratio 过低会掉性能。这说明两个事实同时成立：一部分视觉 token 的确在诱发幻觉；被剪掉的 token 里也有仍然有用的细粒度视觉信息。关键缺口因此不是“更强剪枝”，而是“剪枝之后如何构造可被语言上下文再次筛选的视觉证据池”。

这也是他们引入 feature engineering 类比的原因：不是学习新参数，而是在 test-time 对 token feature 做选择、组合、再选择。这个方向的价值在于把 hallucination mitigation 从 output correction 前移到 input representation restructuring。

Core Idea

SeeMe 的核心思想可以概括为：把视觉 token 看成一组可编辑 feature，而不是 vision encoder 一次性给定的不可变上下文。它在冻结 LVLM 中做一种 test-time representation surgery：先删除明显弱相关的视觉输入，再从原始视觉 token 空间通过相似性融合生成候选证据，最后用语言条件重新筛选进入 decoder 的视觉 token。

这个机制引入的 inductive bias 是：可靠视觉 grounding 不是来自“更多 token”，也不是来自“更少 token”，而是来自 query-conditioned、低冗余、局部证据被保留的 token set。相比 prior，它不是直接压制某些 head/token，也不是在 logits 上做 contrastive correction，而是重新组织视觉信息流，让 decoder 消费一个更接近当前问题的视觉表示。

理论上它可能有效，因为 LVLM 的视觉 token 序列通常过长且冗余，语言 decoder 对视觉 token 的使用又高度稀疏；在这种设置下，适度 token filtering 相当于降低输入噪声，而 similarity fusion 相当于对局部视觉 manifold 做平滑与补证据。它的 generalization 不是来自学习能力，而来自 exploiting 当前 LVLM 普遍存在的视觉 token 冗余。

Method

方法层面不应理解成三个模块堆叠，而应理解成一个压缩—补偿—再压缩的信息处理过程。

第一步的 cross-modal selection 解决的是噪声传播问题。作者在中间 decoder layer 使用文本到视觉 token 的 attention score 选择 top tokens，本质上假设此时跨模态对齐已经形成但尚未被深层语言先验稀释。这个步骤的核心变化是把视觉上下文从 model-agnostic image tokens 变成 query-conditioned visual evidence。

第二步的 similarity-guided fusion 解决的是硬剪枝的信息损失。它没有简单把被剪 token 加回来，因为那会重新注入低相关噪声；而是从原始 embedding-level tokens 中根据 cosine similarity 构造融合 token。机制上这更像局部 token smoothing / semantic buffering：把可能分散在邻近视觉 patch 中的细粒度证据整合成候选特征。

第三步的 final selection 解决的是扩展后 token pool 的冗余和伪证据问题。Stage 2 生成的 fused tokens 不保证都对当前问题有用，因此需要再用文本 attention 做一次筛选。这个步骤让方法不是单纯增加 test-time compute，而是把额外生成的视觉候选重新压缩成语言对齐的证据集合。

Key Insight / Why It Works

最重要的 insight 是：LVLM hallucination 的一部分可以被看成 visual context contamination，而不是纯 decoder hallucination。只要 vision token stream 中有大量弱相关 token，decoder 的语言先验就有空间把它们解释成错误对象或属性。SeeMe 有效的第一性原因是降低了这种 contamination，同时没有像纯剪枝那样完全牺牲局部视觉细节。

最可能的核心贡献是“剪枝后的补偿机制”，而不是 cross-modal pruning 本身。Stage 1 类似 STAR / SparseVLM 这类 token reduction；真正有意思的是作者承认 pure pruning 会丢信息，并通过原始 token 空间的 similarity fusion 构造一个中间证据池。这个设计把 hallucination mitigation 从二元删除问题改成 candidate evidence construction + language-conditioned selection。

Stage 2 本质上更像 representation denoising / latent structure smoothing，而不是生成新视觉知识。它可能通过融合相似 patch 降低 token-level variance，使 decoder 更容易看到稳定的局部语义。这里不是 retrieval，也不是 data scaling，也不是 hidden supervision；更接近 better inductive bias 加一点 test-time compute。

Stage 3 的贡献从消融看是稳定但偏小，更像必要的 guardrail：没有它，Stage 2 扩展出来的 token pool 可能只是把冗余换一种形式带回来。它提供的是 alignment filter，而不是主要信息来源。

需要直接指出的是，论文把它包装成“feature engineering from traditional ML”有一定叙事成分。实质上它是 token pruning、token merging、attention-based selection 的组合，只是应用目标从 inference acceleration 转向 hallucination mitigation。真正成立的是 token stream restructuring 这个机制，而不是 feature engineering 这个概念标签。

Relation To Prior Work

它最接近三条线：visual token reduction、token merging、training-free hallucination decoding。和 DoLa、VCD、DCLA、DAMO 的本质差异在于干预位置：那些方法主要修改 decoder 内部动态或输出分布，SeeMe 修改进入 decoder 的视觉 evidence set。这个差异是实质性的，因为它把 hallucination mitigation 前移到了视觉表示层。

和 EAZY、SPIN 的差异在于不是简单 suppression。EAZY zero out hallucinatory tokens，SPIN suppress low-image-attention heads，本质上都是降低某些通道影响；SeeMe 则承认“被压制的信息里仍可能有用”，所以增加了构造候选 token 的环节。这是它相对 suppression-based 方法最有价值的新增信息。

但它并不是完全新范式。Stage 1 来自 attention-guided pruning，Stage 2 明显借用了 ToMe/token fusion 思想，Stage 3 是 attention reranking。创新主要在组合方式和目标函数的重新定位：把 efficiency-oriented token engineering 改造成 hallucination-oriented visual evidence engineering。

从技术谱系看，它属于 training-free inference-time representation editing，而不是 decoding algorithm，也不是 model alignment。更准确地说，它是 LVLM visual token routing / visual context curation 的一支。

Dataset / Evaluation

评估覆盖 MME、POPE、AMBER，并在 LLaVA-1.5、LLaVA-NEXT、INF-MLLM、mPLUG-Owl2 上测试，能说明方法在多个常见 7B LVLM 和 object/perception-heavy benchmark 上具有一定稳健性。POPE 和 AMBER 对 object existence / attribute / relation hallucination 有针对性，因此能够部分支持“视觉 token 噪声导致 hallucination”的 claim。

但这些 benchmark 主要仍是离线、短上下文、单图、判别或问答式评估。它们更容易验证 object-level grounding 是否改善，不足以验证复杂视觉推理、长程多轮对话、真实部署中的鲁棒性。尤其是 SeeMe 的机制高度依赖 attention relevance，benchmark 如果主要考察显著对象存在性，天然会偏向这种视觉 token filtering 方法。

实验中比较对象选择合理，但 claim 的强度略大于证据。结果说明 SeeMe 是有效的 inference-time token engineering trick；还不能说明它系统性解决了 LVLM hallucination，也不能证明 fused tokens 真正恢复了因剪枝丢失的语义，而不是对 benchmark 分布更友好的 token smoothing。

Limitation

第一，方法成立强依赖 attention-as-relevance 假设。LVLM attention 是否可靠表示视觉证据相关性一直有争议，尤其在深层 decoder 中 attention 可能已经被语言先验、位置偏置或模板化回答污染。文中只给了经验层面的层数扫描，没有充分解释为什么这些 attention score 可以作为通用 token quality estimator。

第二，泛化上限不清楚。超参数虽然给了经验规则，但 K、retain ratio、top-k、select-n 都是模型和 benchmark 相关的。所谓 training-free 并不等于 tuning-free；如果换到不同分辨率、不同视觉 encoder、多图、视频或更强 MLLM，当前固定策略可能不稳定。

第三，增益归因不清。SeeMe 的提升可能来自减少 token 数、降低 prefill 噪声、改变 attention 分布、融合带来的平滑、或 benchmark 对简洁视觉上下文的偏好。消融支持三阶段都有用，但没有充分隔离“token count matched”“random fusion”“spatially aware fusion”“attention-free selection”等关键对照。

第四，它可能只是把问题从 hallucinated decoding 转移成 evidence selection error。如果重要 token 在中间层 attention 中没有被选中，后续融合无法真正恢复语义；如果 fused tokens 被错误选中，模型仍会产生更自信的错误 grounding。

第五，它对非对象型 hallucination 的能力存疑。关系、计数、OCR、空间推理、细粒度属性往往需要结构化视觉解析，而不是低噪 token set。SeeMe 更像优化感知证据质量，不等价于提升视觉 reasoning。

Takeaway

• 1. 值得记住的不是“三阶段框架”，而是 hallucination mitigation 可以前移到 visual token stream，很多错误不是只能在 decoder 端修。
• 2. 纯 token suppression 是有上限的；下一步更有价值的方向是 evidence reconstruction：先删除噪声，再构造候选证据，再按任务筛选。
• 3. 这篇把 inference acceleration 中的 token pruning/merging 思想迁移到 reliability，是一个很自然但有效的方向。
• 未来更强版本可能会引入空间结构、object proposals、uncertainty 或 causal attribution，而不是只靠 attention 和 cosine similarity。

一句话总结

SeeMe 是一类 training-free visual token curation 方法：它的真正贡献不是提出新模型，而是把 LVLM 幻觉缓解从 decoder-side correction 推向 query-conditioned visual evidence restructuring。