精读笔记

Problem Setting

这篇论文解决的是 adversarial robust UDA for CLIP：source 有标签、target 无标签，目标是在 target domain clean 和 adversarial 输入上都保持可用分类性能。真正困难点不在于普通 UDA 的 marginal alignment，而在于 adversarial perturbation 会把 target visual embedding 推到 CLIP 语义空间的模糊区域，使 pseudo-label 既受 domain shift 影响，又受 attack-induced feature drift 影响。以前方法卡在两个方向：UDA 方法通常没有显式 worst-case robustness，adversarial training 方法又往往假设 label 可靠；而在 UDA 中 target label 恰恰是模型自己生成的。这个任务的关键矛盾是：越想利用 target 数据适应 domain，越可能通过错误 pseudo-label 放大 adversarial error；越保守地避免 target pseudo-label，又越难完成 target adaptation。

Motivation

作者的出发点是：CLIP 的 pretrained visual-text semantic prior 在 clean domain shift 下很强，但 adversarial perturbation 会破坏 image-text alignment，text prompt 不会自动纠正被扰动后的 visual embedding。已有 prompt tuning / adapter 方法更多优化 clean transfer，对 adversarial target 的错误 pseudo-label 没有内建防护；传统 robust UDA 方法又不是围绕 CLIP 的 frozen semantic prior 设计，容易牺牲泛化。关键缺口是一个能同时保留 CLIP prior、获得 adversarial decision boundary、并逐步吸收 target distribution 的训练机制。作者因此把问题转化为：先构造一个不容易被 PGD 打散的 source-anchored classifier，再用置信过滤让 target adaptation 只从相对可靠的区域开始。

Core Idea

论文真正的核心是把 robust UDA 拆成两个不同角色的过程：source stage 不追求 domain alignment，而是提供 adversarially stable anchor；target stage 不追求一次性对齐，而是通过 confidence curriculum 逐步扩展 pseudo-labeled target support。这个拆分很重要，因为 adversarial UDA 的失败通常来自同时估计 target label 和 robust boundary，两个不稳定过程相互强化。SFT+RL 先把 boundary 稳住，再让 target data 进入训练，相当于降低 self-training 的初始噪声。

它引入的 inductive bias 是“CLIP backbone 不应被大幅改写，只有靠近 embedding/output 的小容量层负责吸收 domain 和 robustness 信息”。这使得方法更像是在 CLIP representation 上学习一个 robust adapter，而不是重新学习跨域视觉表征。和 prior 的本质区别不是用了 PGD 或 pseudo-label，而是把 PGD source training、partial unfreezing、confidence-gated target self-training 组织成一个抗噪声的课程；其 scalable 之处在于大部分预训练表示被复用，训练目标集中在低维 projection/classifier 上。

Method

关键机制可以压缩为三点。第一，source adversarial fine-tuning 解决的是初始决策边界对 ℓ∞ perturbation 极度敏感的问题；它需要 source labels，因为 target pseudo-label 在攻击下不可靠，不能作为第一阶段的鲁棒监督。核心变化是模型先获得一个 PGD-hardened classifier，而不是直接在 target 上自训练。

第二，partial unfreezing 解决的是 robustness adaptation 与 CLIP prior preservation 的冲突。只更新 classifier 和 visual projection，让模型有足够自由度调整 embedding-to-label mapping，但不把 source-domain texture bias 写进整个 ViT backbone。它的作用更接近容量控制和 regularization，而不是新的表示学习机制。

第三，confidence-guided target training 解决的是 pseudo-label precision/coverage trade-off。高阈值阶段牺牲覆盖来避免错误传播，阈值衰减阶段逐渐扩大 target support。这里的“RL”本质上是 iterative self-training with adaptive threshold；文中没有标准 RL 的 policy/reward/value 结构，因此不应把贡献归因于强化学习算法本身。

Key Insight / Why It Works

最可能真正有效的是三者的组合：CLIP pretrained representation 提供较好的 class-separable latent structure；PGD adversarial training 在 source 上把 classifier boundary 从脆弱区域推开；confidence curriculum 避免 target pseudo-label 噪声在早期污染模型。换句话说，方法有效主要来自 representation reuse + robust boundary shaping + curriculum data selection，而不是来自新的 RL 机制。

核心贡献应归因于训练顺序和噪声控制。直接 target pseudo-labeling 在 adversarial setting 下容易 confirmation bias；直接 adversarial training 又无法解决 target distribution shift。SFT+RL 用 source supervision 处理 robustness，用 target confidence 处理 adaptation，把两个噪声源解耦。这个 insight 可迁移：在弱监督或无监督鲁棒适应中，不应让最不可靠的数据源同时承担 label discovery 和 robustness learning。

哪些是辅助？partial projection tuning 很可能是工程上合理但不一定理论必要的选择；threshold decay 是经典 self-training curriculum 的再包装；clean+adv mixed batch 是标准 adversarial training recipe。所谓 cross-modal alignment 的论证较弱，因为算法主要更新 visual projection/classifier，text encoder 多数描述为 frozen，文中关于 alternating text encoder update 与算法不一致，增益来源不清。

需要直接指出：这篇论文的“RL”命名偏重包装，实际没有强化学习的关键结构；性能提升可能很大程度来自把 CLIP backbone 换入 robust UDA benchmark，再叠加 PGD training 和保守 pseudo-label filtering。若 baseline 没有同等 CLIP 初始化、同等 compute、同等 attack-aware tuning，部分 gains 可能是 backbone / training budget / data coverage 的结果，而非方法学突破。

Relation To Prior Work

技术谱系上，它最接近 robust self-training / adversarial UDA / CLIP adapter fine-tuning 的交叉，而不是强化学习。和 DANN/传统 UDA 的差异在于它不依赖单纯 feature alignment，而是把 adversarial examples 放进训练目标；和 UDA+AT/TRADES/MART 的差异在于它利用 CLIP frozen prior 和 target confidence curriculum，而不是在普通 discriminative backbone 上做鲁棒优化；和 RobustCLIP / prompt tuning 的差异在于它关心 closed-set UDA 下的 target pseudo-label adaptation。

看似新的部分中，PGD adversarial training、pseudo-label filtering、threshold decay、partial fine-tuning 都是已有思想重组。比较实质的新增信息是：在 CLIP-based robust UDA 中，这些组件的顺序和约束方式很关键——先 source robust anchoring，再 target conservative expansion，比直接 self-training 或直接 robust UDA 更稳。论文没有提出新的 robust objective，也没有新的 alignment theory；它更像是把已有 robust training 与 CLIP low-capacity adaptation 组合成一个有效 recipe。

Dataset / Evaluation

评估覆盖 OfficeHome、PACS、VisDA，基本覆盖了视觉 UDA 中常见的 object/style/synthetic-to-real shift；这足以说明方法在标准 closed-set benchmark 上有实用效果。PGD-20、不同 epsilon 和若干 attack variants 也比只报 clean accuracy 更能支持 adversarial robustness claim。

但 evaluation 仍有明显上限。首先，这些都是离线 benchmark，没有真实部署中的 streaming target、unknown classes、label shift、adaptive adversary 或 distribution drift over time。其次，pseudo-label confidence 本身没有被作为攻击面系统评估；adaptive attack 可以针对 confidence filtering 制造高置信错误样本。再次，baseline 公平性需要更细验证：若对比方法不是同样 CLIP backbone、同样 partial tuning、同样 adversarial training compute，则结果不能完全归因于 SFT+RL。最后，论文声称 cross-modal alignment，但评估主要是分类 accuracy/robust accuracy，缺少直接 alignment diagnostics。

Limitation

方法成立依赖几个强前提：target label space 与 source 闭集一致；CLIP pretrained feature 已经把多数 target class 放在可分区域；confidence 与 pseudo-label correctness 单调相关；攻击范数和训练时 PGD threat model 与测试一致；target unlabeled data 可批量访问并可多轮训练。这些前提一旦破坏，curriculum self-training 可能迅速退化。

scalability 上限也清楚：PGD-20 内循环使训练成本高，batch size 被压到很小；若迁移到更大 VLM 或更高分辨率，compute 会成为主要瓶颈。所谓泛化更多是 benchmark-level generalization，而不是开放世界鲁棒泛化。增益归因不清：可能主要来自 CLIP 数据覆盖和 adversarial training recipe，而不是 paper 命名的 RL。文中未充分说明 cross-modal cohesion loss 的具体实现，且方法描述中 text encoder 是否更新存在不一致；这会削弱其“维护跨模态对齐”的机制 claim。

更深的问题是：它可能只是把 target label 噪声问题转移给 confidence gate。高置信不等于正确，尤其在 adversarial setting 下，高置信错误正是鲁棒模型最危险的失败模式。如果没有显式 uncertainty calibration 或 adversarially robust pseudo-label validation，self-training 的上限会被 early pseudo-label bias 决定。

Takeaway

• 1. Robust UDA 中最重要的不是更复杂的 alignment loss，而是控制 pseudo-label 噪声进入鲁棒训练的时机；先稳边界，再扩覆盖，是可迁移的训练范式。
• 2. 对 CLIP/VLM 做 domain adaptation 时，小容量 projection/classifier tuning 可能是更稳的鲁棒适配接口；全量 fine-tuning 未必值得。
• 3. 这篇真正推动的是把 adversarial training 和 confidence curriculum 放进 CLIP-based UDA recipe，而不是提出 RL 新算法。
• 4. 未来更值得做的是 attack-aware pseudo-label selection、confidence calibration、adaptive attack evaluation，以及用 LoRA/adapter 降低 PGD fine-tuning 成本。

一句话总结

SFT+RL 是一篇将 CLIP prior、source-side adversarial anchoring 和 confidence-gated target self-training 组合起来的 robust UDA recipe，贡献主要在训练机制组织和噪声控制，而不是强化学习或新的跨模态理论。