精读笔记
Problem Setting
这篇论文不是在重新定义PAD,而是在处理跨域PAD中CLIP式prompt learning的失效模式:源域训练下,模型很容易利用传感器、背景、分辨率、压缩、屏幕纹理等非因果shortcut;到了未知域,这些shortcut消失或反转。传统DG-PAD试图直接学domain-invariant visual feature,但单模态监督不足;CLIP-PAD引入语言先验后有所缓解,但类别文本监督太粗,prompt最后仍可能只是把源域伪影压进real/fake决策边界。关键矛盾是:PAD需要的是局部、材料性、物理性、低层/中层视觉cue,而现有prompt监督主要是高层类别语义。CPG-PAD瞄准的就是这个语义粒度错配。
Motivation
已有路线缺的是一种能把CLIP视觉空间里已经存在的细粒度判别结构显式拿出来用的机制。人工prompt可以写“photo edge”“moire pattern”,但很难覆盖几何畸变、反射不一致、纸张折痕、遮挡边界、局部打印退化这类模型可能能感知但人不易稳定命名的cue。作者的观察是:concept-based XAI可以从CLIP内部激活中抽取模型级概念,并给出空间热图;这些概念不需要额外传感器,也不依赖人工属性标注。动机的本质不是解释性,而是把解释结果转化为一种弱辅助监督,使prompt learning不再只受二分类标签牵引。
Core Idea
核心思想是把prompt从“类别语义载体”改造成“视觉概念索引器”。传统CLIP-PAD让图像CLS token和real/fake文本prompt做相似度匹配;CPG-PAD则先在CLIP视觉encoder的激活空间中发现若干PAD相关concept,再训练多组learnable prompts,使它们通过与image tokens交互后能重建这些concept heatmaps。这样prompt被迫对齐局部视觉概念,而不是自由漂移到源域最容易降低CE loss的shortcut。
这个设计引入的inductive bias很明确:PAD判别应由多个可局部定位的概念cue共同支撑,并且这些cue最好来自foundation model中相对稳定的中间表征,而不是从小规模PAD源域数据中从零发现。与prior本质区别在于,prior主要把语言当作额外类别语义或风格条件;CPG-PAD把CLIP视觉内部的latent concept当作监督源,重新组织了信息流:visual concept → heatmap supervision → prompt alignment → PAD classifier。
Method
方法上最重要的是三件事。第一,VCE用冻结CLIP做概念发现,解决的是“哪些视觉cue值得prompt学习”的问题;Semi-NMF不是为了可解释性展示,而是为了把混合符号的CLIP激活分解成一组可复用概念基。第二,概念热图把全局二分类监督变成局部结构监督,解决的是PAD中shortcut太多、CE loss太弱的问题;它迫使训练过程关注概念出现在哪里,而不只是最后判对与否。第三,PCI/VPD让prompt特征和image tokens双向交互,再用Hungarian matching对齐无序concept heatmaps,解决的是多prompt和多concept之间没有固定语义编号的问题。分类头本身并不新,真正变化是prompt在参与分类前已经被概念热图约束过。
Key Insight / Why It Works
最可能有效的原因是representation alignment,而不是单纯prompt数量增加。CLIP的视觉encoder已经编码了大量材质、边界、局部形变和成像伪影相关特征;PAD数据规模通常不足以稳健学到这些cue。CPG-PAD通过VCE把这些latent structures显式蒸馏出来,再把它们注入prompt,使下游模型复用foundation model内部知识。这更像“latent concept reuse + auxiliary localization supervision”,不是新的推理能力。
最核心贡献应是concept-associated heatmap supervision。MLP本身提升不小,说明多prompt容量已经有帮助;CML进一步提升,说明概念监督确实提供了额外约束;VPD再提升,说明prompt-visual交互比简单卷积解码更适合把热图梯度传回prompt。但VPD是否是必要结构,还是一个更强cross-attention decoder带来的engineering gain,文中证据还不够彻底。
这篇的泛化收益大概率来自更好的inductive bias,而非纯scaling;但也不能排除data coverage和CLIP预训练记忆的作用。尤其PAD benchmark中常见攻击材料、拍摄条件和人脸外观模式可能已被CLIP预训练间接覆盖,所谓“发现概念”可能部分是在检索CLIP已有外观簇。它不是test-time compute,也不是planning/reasoning;本质上是把foundation model的内部概念结构转成训练期辅助监督。
Relation To Prior Work
最接近的技术谱系有三条:CLIP-based FAS prompt learning、辅助监督PAD、concept-based XAI。相对FLIP、CoOp/CoCoOp式方法,它的差异不是prompt更长或模板更细,而是prompt的监督源从class label/text semantics转向CLIP visual concept heatmaps。相对TF-FAS、CCPE等语义增强方法,它不主要依赖人工或LLM产生的语言细分,而是利用模型内部视觉空间,因此避开了“人能不能说清楚攻击cue”的瓶颈。
和传统辅助监督PAD相比,CPG-PAD相当于用CLIP概念热图替代depth、rPPG、NIR等额外物理信号;这是实质性迁移,因为它把“辅助监督提升泛化”的老思想扩展到foundation model自监督/弱监督产生的latent supervision。和XAI相比,它不是为了给结果解释,而是把解释作为训练信号,这一点是实质创新。看似新的VPD、Hungarian matching、多prompt,本质上是已有attention/matching/prompt learning组件的重组,服务于concept-to-prompt alignment。
Dataset / Evaluation
评估覆盖较广:ICMO多源/单源、CSW有限源、多模态传感器数据、SiW-Mv2未知PAI,以及CelebA-Spoof作为额外源数据。整体上,这些benchmark确实检验了论文声称的跨数据库、少源和未知攻击泛化,尤其未知PAI结果比只看ICMO更有价值。
但evaluation仍有明显边界。首先,很多PAD cross-database协议规模小且历史上存在协议依赖,HTER使用target test EER threshold会偏乐观;作者补充val-thr、BPCER/APCER和DET是加分项,但主要SOTA比较仍大量依赖传统协议。其次,真实部署中的摄像头ISP、压缩链路、活体交互、连续视频行为、攻击者自适应都没有被充分覆盖。第三,额外CelebA-Spoof的使用会显著增加攻击材料和场景覆盖,带来的提升不能简单归因于概念机制。
Limitation
最大限制是概念的因果性未被证明。VCE发现的是CLIP激活中的稳定分解方向,不等于PAD因果cue;它们可能只是源域中与real/fake共现的纹理、裁剪或采集偏差。文中展示了cut holes、fold lines等直观概念,但没有系统证明所有concept都任务相关,也没有说明错误概念如何影响训练。
第二,方法依赖CLIP内部已经有足够PAD-relevant representation。如果新攻击主要体现为时序生理信号、深度差异、近红外反射或传感器级异常,RGB CLIP概念热图的上限会很明显。第三,概念发现是离线过程,虽然计算开销不大,但scalability取决于每个域/类别能否稳定抽概念;跨数据集concept是否共享、是否需要重新发现,文中未充分说明。第四,增益归因不完全干净:Convpass适配、prompt数量、VPD容量、CLIP backbone大小、额外数据覆盖都可能贡献性能,概念机制的独立贡献还可以更强地隔离。
Takeaway
- 最值得记住的不是具体VPD结构,而是“用foundation model内部概念作为辅助监督”这条路线。
- 对PAD这种标签弱、shortcut强、真实因果cue细粒度的任务,比继续堆人工prompt更有前途。
- 这篇推动的是CLIP-PAD从text prompt engineering走向model-internal concept alignment。
- 未来更值得做的是验证concept的因果性、跨域复用性和失败模式,而不是继续调prompt长度或decoder深度。
一句话总结
CPG-PAD是CLIP式人脸PAD从类别文本提示走向内部视觉概念监督的一步,真正贡献在于把XAI发现的latent concepts转化为prompt alignment信号,以更强的归纳偏置缓解跨域shortcut。
