精读笔记

Problem Setting

DnA: Denoising Attention for Visual Tasks（arXiv preprint / 2026）。这篇论文真正关心的不是 attention 的效率，而是视觉 attention 在复杂场景中把判别目标、共现物体、背景上下文混在一起的问题。标准 ViT 的 softmax attention 本质上做正权重加权平均：它擅长放大最强相关 token，但缺少显式机制去利用“这个 token 强烈不像目标、但和目标经常共现”的信息。真正困难点在于视觉场景的 distractor 往往不是随机噪声，而是语义上高度相关的次要物体，例如人、头盔、背景器具、手部、交互对象等。以前方法卡在两个位置：一类方法只调整 attention sparsity / efficiency / normalization，仍然是单一正向聚合；另一类如 differential attention 试图做信号相减，但两个分支共享 value subspace，容易把噪声和有用信号一起抵消。关键矛盾是：模型需要 suppress misleading correlated evidence，但又不能粗暴丢掉与目标共现的上下文，因为这些上下文有时正是分类或视频理解所需的细粒度证据。

Motivation

作者的核心观察是 softmax 的概率 simplex 约束让 attention 输出成为 value 的凸组合，这使得“低 score / 负 score”只能以接近零权重的形式消失，而不能作为显式信息参与表示。对视觉任务来说，这个缺口比 NLP 中更明显，因为图像和视频里大量错误来自共现对象和背景 shortcut，而不是完全无关噪声。论文用最大熵和 softmin 给这个设计找理论入口：如果 softmax 强调最大交互，那么 softmin 可以强调最小交互；如果不知道判别信息来自高端还是低端 interaction，就应该同时建模两端。这个动机有合理性，但要注意：从“softmin 捕捉低 interaction”到“低 interaction 是语义负证据”并不是严格推出的，文中更多是视觉直觉和 empirical validation，而非可证明语义对应。

Core Idea

核心思想是把 attention 从单通道的“找相关 token”改成双通道的“找支持证据 + 找排除证据”。正分支 Q+K 经 softmax 后投影到 V+，负责聚合支持目标的视觉特征；负分支 Q-K 经 softmin 后投影到 V-，负责聚合强低交互或潜在误导 token；两者通过可学习 α 合成输出。这个结构给 ViT 加入了一个很明确的 inductive bias：视觉 token 之间不仅有 positive affinity，还有 negative / contrastive affinity，而且两类 affinity 不应该在同一个 value 空间里竞争表达。和 differential attention 的本质差异在这里：differential attention 是两个 attention map 在同一个 V 上做差，更像 common-mode noise cancellation；DnA 是两套 query-value 几何空间上的证据分解，更像把目标证据和反目标证据投影到相对分离的子空间后再融合。它改变的不是 attention 的局部公式，而是信息流组织方式：负相关信息不再是被 softmax 抹掉的残差，而成为一条可学习、可组合、可分析的表示路径。

Method

方法层面最关键的机制只有三件事。第一，softmax + softmin 的双极值建模：softmax 保留最大 interaction，softmin 保留最小 interaction，解决标准 attention 只看正向强相关的问题；但单独加 softmin 不够，ablation 显示共享 Q/V 的版本甚至会退化。第二，Q+ / Q- 分离：两个 query 让模型可以用不同检索语义分别寻找目标支持 token 和误导 token，避免负分支只是正分支的镜像。第三，V+ / V- 分离：两个 value subspace 是论文最重要的结构选择，因为它避免 differential-style subtraction 在同一表示空间里取消有用信息。作者用 principal angles 的分类误差上界来论证子空间越分离越有利于判别，并用 quasi-orthogonality 解释为什么不显式加正交正则也可能形成分离。这里的理论更像设计 rationalization，而不是完整解释训练动态；但它确实准确指向了最有效的结构因素：分支分离，而不是简单负权重。

Key Insight / Why It Works

我认为 DnA 有效的核心不是“softmin 比 softmax 更好”，而是它给模型提供了一个专门吸收和编码 distractor 的 latent subspace。视觉分类和视频理解里的错误经常来自 shortcut token：它们和目标高度共现、attention score 不低、但对当前标签或问题是误导性的。标准 softmax 只能在同一 attention budget 内重新分配权重；DnA 则允许模型把这类 token 放进负分支表示，再由 α 控制其影响。这本质上是 better inductive bias 和 latent structure decomposition，不是 retrieval、curriculum、test-time compute，也不像纯 scaling。最可能的核心贡献是 Q/V 双分离带来的表示解耦；softmin 是触发负分支的简单实现，α 是稳定融合的辅助机制，理论里的最大熵和 quasi-orthogonality更多是解释框架。参数增加确实存在，但 parameter-matched baseline 只带来很小收益或退化，说明“只是 scaling”解释不充分。不过也不能完全排除工程因素：DnA 增加了 attention projection 的容量和路径多样性，尤其在 ViT-B 这种从头训练设置下，额外结构本身可能改善优化。Video LLM 上的 0.5% 平均增益很小，更多说明机制可插入 adapter，而不是证明它显著增强了 foundation model 的视觉推理能力。

Relation To Prior Work

这篇最接近的谱系是 attention normalization / signed attention / differential attention / polarity-aware attention，而不是高效 attention。和 Cog Attention 的区别在于，Cog 直接允许负权重，优化不稳定且仍然没有明确的正负子空间分解；DnA 不直接让 attention weight 变成任意 signed weight，而是用 softmin 分支承载负证据，相对更稳定。和 Differential Transformer 的区别最关键：Differential Transformer 在同一 V 上相减，主要是噪声抵消；DnA 用 V+ / V- 分离，让正负证据进入不同表示空间，因此不是简单把 differential attention 搬到 vision。和 PolaFormer 一类 polarity modeling 的相似点是都认为符号 / 极性信息不该被 softmax 抹掉；不同点是 DnA 不在 kernel 或 element-wise polarity 上处理，而是在 query-value 子空间层面组织 interaction。看似新的部分包括 softmin 的信息论解释、principal angle 的理论包装；实质创新是把“负 token interaction”做成独立检索和独立投影路径，并证明这种设计比共享空间变体更有效。

Dataset / Evaluation

评估覆盖面比较广：ImageNet 从头训练、鲁棒性数据、迁移分类、COCO dense prediction、传统视频 transformer、Video LLM adapter。它确实测试了“是否是通用 attention replacement”这一点，而不是只在单一分类 benchmark 上调参。最有说服力的是 ablation 和子空间分析：共享 query/value、只分离 query、只分离 value、完全分离之间的差异，直接对应论文核心 claim。ImageNet-A / O / R 和视频任务也部分支持“对 distractor / distribution shift 更稳”的叙事。但 evaluation 仍有明显 limitation：增益总体偏小，dense prediction 改善很弱；Video LLM 部分平均提升只有 0.5%，很难排除训练噪声、adapter 初始化或 benchmark variance。文中没有真正做 causal intervention，例如人为控制 distractor、交换背景、遮挡负分支关注区域，来证明负分支确实在建模语义反证据。因此实验支持“这个结构有用”，但还没有完全支持“它按作者声称的语义机制工作”。

Limitation

方法成立依赖一个隐含前提：最低 query-key interaction 中存在可用的判别信息，而不是纯噪声或数据集偏差。这个前提在物体分类和细粒度视频里常常成立，但在开放域、多目标、多标签或需要组合推理的场景里未必稳定。第二，quasi-orthogonality 的理论假设较强，训练后 V+ / V- 的低相似度不等价于语义解耦；文中未充分说明每个负分支 head 到底对应什么语义。第三，scalability 上限不清楚：DnA 额外引入 Q- 和 V-，ViT-B 上参数增加明显；在大规模预训练模型中，已有模型可能已经通过 head specialization、register tokens 或数据规模学到类似分解，DnA 的边际收益可能下降。第四，增益归因仍不完全干净：虽然 parameter-matched baseline 减弱了 scaling 解释，但更宽的 attention path、更复杂初始化、更高 FLOPs 都可能贡献收益。第五，Video LLM 结果更像 adapter-level representation alignment 改善，不足以说明模型形成了更强视频 reasoning；所谓 suppress query-irrelevant tokens 可能主要是 retrieval alignment，而不是长期状态建模或规划能力。

Takeaway

• 第一，视觉 attention 的下一步不一定是更稀疏或更快，而可能是显式建模“反证据”：让 distractor 有自己的表示空间，而不是被 softmax 静默丢弃。
• 第二，正负分支必须在 value space 上解耦，否则 denoising 很容易退化成有用信号抵消；这是比 softmin 公式本身更可迁移的 insight。
• 第三，这类方法适合迁移到开放词表检测、VLM grounding、egocentric QA、medical imaging 等 distractor 强、共现偏差强的任务，但需要更强的因果评估来证明负分支语义。
• 第四，未来真正值得做的是 parameter-efficient DnA：用低秩、共享 K、正交 regularization、head routing 或 sparse negative branch 保留子空间分离 inductive bias，同时降低额外投影成本。

一句话总结

DnA 是一类把视觉 attention 从单一正向聚合推进到正负证据子空间分解的 attention redesign，真正贡献在于用独立 query-value 分支显式承载 distractor / 反证据信息，而不是简单替换 softmax 或扩大模型。