精读笔记
Problem Setting
这篇论文实际处理的是 ZSAD 中一个更现实但过去被弱化的失败模式：辅助数据并不包含丰富异常类型，模型却被要求迁移到对象类别、成像条件、异常形态都未知的目标域。关键矛盾不是“有没有 target training data”，而是“source anomaly prior 很窄，但 target anomaly space 很开放”。
以前的 CLIP-based ZSAD 方法通常默认 auxiliary anomaly 足够多样，因此 learnable prompt 或 adapter 可以从中学到可泛化的 normal/abnormal boundary。但当 source 只提供纹理类异常时，这些方法容易把异常等同于某些局部纹理统计，迁移到医疗病灶、工业缺陷或结构性异常时就会失效。
真正困难点有两个：第一，异常本身不是稳定类别，而是跨对象、跨域、跨尺度的 deviation family；第二，CLIP 的视觉空间天然偏 object semantics，而 AD 需要的是 object-agnostic state semantics。也就是说，模型既要保留开放类别识别能力，又要压低对象身份对异常判断的干扰。
Motivation
作者抓住的缺口是：现有 ZSAD 的泛化能力其实被 auxiliary anomaly diversity 隐式支撑，一旦辅助异常稀缺，所谓 zero-shot 就会退化为 source-pattern matching。这个观察是成立的，而且比单纯刷 benchmark 更有价值。
已有路线不够的原因在于，它们大多只在 prompt 端调整 normal/abnormal 文本，或者在视觉侧加轻量 adapter，但没有显式回答：如何从很少的异常视觉模式中抽象出更通用的异常概念。learnable prompt 本身没有外部知识来源，容易把 source anomaly 的局部统计编码进 prompt。
因此作者引入两个方向：用 LLM 生成的通用异常/正常描述扩展 anomaly prior；用视觉嵌入解耦减少 object semantics 对 anomaly-state alignment 的污染。这个动机本质上是把 ZSAD 从“有限视觉样本监督下的 prompt tuning”推向“文本先验增强的异常状态表征学习”。
Core Idea
DIVE 的核心不是又设计了一组 prompt，而是改变了信息流：文本异常先验不只在最后做相似度匹配，而是在视觉编码过程中直接参与 patch token 的形成。浅层注入 semantic prompt，帮助视觉编码器维持对未知类别的适配；深层注入 LLM-generated normal/abnormal lexicon，让局部 patch 与一组更宽的异常概念发生 cross-attention。
这个设计引入的 inductive bias 是：异常不是若干 source dataset 中的具体模式，而是一组可由语言描述的跨域状态概念，例如 crack、stain、shadow、texture mismatch、color shift 等。视觉 patch 不再只从 DTD 纹理异常中学习 abnormality，而是被拉到一个更宽的 text-defined anomaly manifold 上。
和 prior 的本质区别在于，AnomalyCLIP / TPS / AF-CLIP 等更多是在构造更好的 normal/abnormal prompt 或局部对齐，而 DIVE 把文本先验作为视觉表征生成过程中的条件信息。它不是只优化 alignment head，而是在 frozen CLIP 上做轻量的 representation steering。
Method
第一，独立的 state prompt 与 semantic prompt 用来给后续解耦提供文本锚点。state prompt 对应 normal/abnormal，semantic prompt 对应 source object class。它解决的是一个常被忽略的问题：如果所有视觉信息都直接对齐 object-agnostic anomaly prompt，CLIP 视觉 embedding 中强对象语义会成为噪声。
第二，浅层 text-to-visual prompt injection 把部分 semantic prompt 映射到视觉 token 流中。它的作用不是异常识别本身，而是让视觉编码在早期局部结构抽取时不要过度绑定 source 类别，从而提高 unseen object generalization。
第三，深层 textual embedding injection 是更关键的机制。LLM 生成的 normal/abnormal 描述经 CLIP text encoder 后作为 key/value，与深层 patch token 做 cross-attention。它解决的是 limited auxiliary anomaly prior 下异常概念覆盖不足的问题，核心变化是用语言词表扩展 source visual anomalies 的可解释邻域。
第四，全局 visual embedding disentanglement 用两个 residual MLP 分别得到 state embedding 与 semantic embedding，并用 state/text、semantic/text 的不同监督以及 orthogonal constraint 拉开二者。这个机制主要影响 image-level anomaly score，因为全局分支直接决定分类。
第五，RCPRO 是评价层面的补丁：它惩罚正常区域 false positive 和异常区域过分膨胀。它不是模型能力的一部分，但确实指出了 AUPRO 在异常分割上过度偏 recall 的问题。
Key Insight / Why It Works
我认为最核心的有效来源是深层文本注入，而不是解耦。消融也支持这一点：去掉 text injection 的掉点明显大于去掉 disentanglement；去掉 deep injection 比去掉 shallow injection 更伤。这说明 DIVE 的主要收益来自额外文本异常词表带来的 anomaly coverage expansion，而不是模型从有限异常中纯粹学出了更强表征。
本质上，这更接近 retrieval / representation alignment，而不是 reasoning。patch token 通过 cross-attention 查询一组预先生成的异常/正常文本描述，把视觉局部区域投影到更丰富的状态词空间。它能泛化，是因为很多 benchmark 中的异常确实可被通用视觉词汇描述；如果目标异常难以语言化、或者不在 lexicon 的近邻里，机制上没有保证。
解耦机制的价值在于修正 CLIP 的 inductive bias。CLIP 预训练目标鼓励对象级语义聚合，而 AD 需要捕捉与类别无关的状态差异。把 global embedding 拆成 state 与 semantic 两个残差子空间，并让 state branch 对齐 normal/abnormal prompt，是合理的 representation alignment trick。但它是否真的形成了干净 disentanglement，文中证据不足；orthogonal residual 只能降低两个 offset 的相关性，不等价于语义因子可解释分离。
浅层 semantic injection 可能是辅助项。它继承 MaPLe 式 multi-modal prompt learning 的思想，帮助视觉编码适配文本 prompt，但从结果看不是主要增益来源。更可能的角色是稳定优化、减少类别迁移损失，而不是直接提升异常概念抽象。
RCPRO 的提出很有意义，因为它揭示了 segmentation benchmark 的评价偏差：AUPRO 可以给大面积误检很高分。这里作者的判断是对的。不过需要注意，提出新指标同时也改变了问题定义；若某些应用更关心召回而不是误检面积，RCPRO 不一定是唯一合理目标。
Relation To Prior Work
这篇最接近的谱系是 CLIP-based ZSAD + prompt learning，包括 WinCLIP、AnomalyCLIP、AdaCLIP、AF-CLIP、AA-CLIP、TPS。它没有脱离 CLIP 相似度匹配范式，也没有引入真正新的 anomaly detection paradigm。
相对 AnomalyCLIP，DIVE 不只是 object-agnostic prompt，而是进一步承认 object semantics 仍然残留在视觉 embedding 中，并用 semantic branch 显式建模它。这个差异是实质的，因为它把 prompt-side object-agnostic 变成 representation-side disentanglement。
相对 TPS / FAPrompt / AF-CLIP 这类 fine-grained prompt 方法，DIVE 的核心新增信息是 LLM-generated generic anomaly lexicon，并把它注入视觉深层 patch token，而不是只设计更细文本模板。看似是 prompt engineering，实质上是把外部语言先验作为异常覆盖扩展器。
相对 MaPLe，DIVE 的 shallow injection 是已有 multi-modal prompt tuning 思想的迁移；真正针对 AD 的创新在于 deep anomaly lexicon injection 与 state/semantic 解耦的组合。换句话说，论文的新意更多来自“已有 prompt-learning 技术按 AD 的 failure mode 重组”，而不是单个模块的算法原创性。
Dataset / Evaluation
实验覆盖工业与医疗、多数据集分类和分割，能够较好测试跨场景迁移。尤其是用 DTD 作为辅助数据模拟 limited anomaly prior，这比默认 MVTec 预训练更贴近作者 claim，也确实暴露了 baseline 对 anomaly diversity 的依赖。
不过 evaluation 仍是离线 benchmark 风格，不是真实 deployment。目标数据集虽然跨领域，但很多异常仍属于语言词表中常见视觉状态，例如 crack、stain、shadow、texture irregularity、lesion-like region。DIVE 在这些 benchmark 上成功，不能直接推出对 truly novel 或语义难以描述异常的泛化。
消融设计基本支持核心机制，但还不够彻底。缺少对 LLM lexicon 规模、词表来源、随机词表、人工词表、目标域相关词表之间的对照，因此无法干净区分“结构更好”与“文本 prior 更多”两种增益来源。
RCPRO 的实验分析有价值，特别是指出 AUPRO 对 false positive 不敏感。但新指标是否应作为主指标，还需要更多任务侧验证；否则容易出现方法和指标共同定义优势的情况。
Limitation
第一，方法成立高度依赖语言可覆盖的异常概念。DIVE 的泛化并不是无条件的，它要求目标异常能被 LLM 生成的 generic visual descriptions 覆盖或近似覆盖。若异常是设备特定、过程特定、或只能通过时间/物理上下文定义，text lexicon 的帮助会明显下降。
第二，增益来源不清。深层注入把 135 条 normal/abnormal 描述引入模型，这相当于额外先验数据。文中未充分说明这些描述与 benchmark 异常类型的 overlap，也没有严格剥离 scaling / data coverage 与 architecture 的贡献。核心能力可能主要来自数据覆盖，而不是模型学会了更抽象的 abnormality。
第三，disentanglement 的可解释性证据不足。orthogonal loss 约束的是两个 residual offset，不保证 state 与 semantic 在因果或语义层面真正解耦。它可能只是一个 regularized two-head projection，对分类有帮助，但不应过度解读为 clean latent factorization。
第四，深层 cross-attention 会引入边界 false positive，作者自己也观察到 DIVE 容易关注 object contour。这说明文本异常先验和视觉边缘/结构 cue 之间仍有混淆，尤其在异常与正常结构边界相似时，局部定位可能不稳定。
第五，RCPRO 虽然修正 AUPRO，但也引入阈值、连通域、over-segmentation penalty 等设计选择。它更符合精确定位任务，但不一定覆盖所有 AD 应用偏好。指标本身需要独立验证。
Takeaway
- 1. ZSAD 的关键瓶颈不只是 target domain unseen，而是 auxiliary anomaly prior 的覆盖度；以后评估这类方法应显式区分 rich-prior 与 limited-prior 设置。
- 2. 对 CLIP-based AD 来说，把文本先验只放在输出匹配端是不够的；更有迁移价值的方向是让文本状态概念参与视觉表征形成，尤其是深层 patch-level representation steering。
- 3. DIVE 最值得迁移的 insight 是：把异常从“source visual pattern”提升为“language-defined state manifold”。
- 这对医疗异常、工业缺陷、开放集质量检测都可能有用，但必须警惕它本质上依赖词表覆盖。
一句话总结
DIVE 是 CLIP-based ZSAD 从 prompt tuning 走向 text-prior-driven visual representation steering 的一次有价值推进，真正贡献在于把有限辅助异常转化为语言扩展的异常状态对齐问题，但其泛化能力很可能受文本词表覆盖和 benchmark overlap 明显约束。