精读笔记

Problem Setting

论文《Geometric Gradient Rectification for Safe Open-Set Semi-Supervised Learning》（arXiv preprint / 2026）实际处理的是 OSSL 中无标注数据带来的优化污染，而不是单纯检测 OOD。任务的关键矛盾是：过滤太强会丢掉 hard ID，导致 ID manifold 学不到；利用太多又会把 OOD 或错伪标 hard ID 的梯度注入训练，尤其 hard ID 被推向错误目标时会反向破坏监督目标。以前方法卡在 sample-level identification：它们默认只要能更好区分 OOD 与 ID，就能解决问题，但低标签场景下这个区分本身很不可靠。GGR 的切入点是承认样本判断会错，转而控制错误判断进入优化器后的梯度方向。

Motivation

已有 filtering/utilization 路线都把压力放在样本选择或伪标签质量上，但 OSSL 中最危险的未必是 OOD 样本本身，而是错误目标对 hard ID 产生的反向梯度。作者的核心观察是：OOD 梯度在经验上很多接近监督方向的正交噪声；而 misclassified hard ID 因为语义接近 ID，却被推向错误类别或 unknown，更容易形成与 oracle supervised direction 反向的 adversarial gradient。这个观察把问题从“找出哪些样本可信”改成“即使样本/伪标签不可信，也不允许其梯度反对监督信号”。关键缺口是一个以监督梯度为保护对象的 asymmetric optimization control，而不是又一个 OOD score。

Core Idea

GGR 的真正核心是 supervised-anchor-preserving gradient surgery：有标签梯度被视为局部可信方向，辅助梯度只有在不反对它时才被完整使用；一旦冲突，就投影到安全半空间，移除反向分量但保留正交分量。这相当于引入一个很强的 inductive bias：unlabeled objective 只能补充 supervised descent，不能改写 supervised descent。

这和 prior 的本质区别在于信息流组织方式变了。OpenMatch/ProSub/UAGreg/DAC 等方法仍然主要试图在样本、置信度、子空间或 disagreement 层面判断“该不该用”；GGR 不关心这个判断是否完美，而是在 optimizer 入口处加一层几何防火墙。它因此更 generalizable：只要某个方法能分离 supervised loss 和 auxiliary loss，就可以插入，而不依赖具体伪标签器或 OOD detector。

Method

VLR 是核心机制：用当前 supervised gradient 定义半空间，若 raw auxiliary gradient 与其内积为负，则减去沿 supervised gradient 的负向投影。它解决的是 hard ID 错伪标或 unknown assignment 造成的直接反向更新；核心变化是保留 auxiliary gradient 中非冲突的 representation 成分，而不是整样本丢弃。

Subspace rectification 解决 anchor 噪声问题。OSR 把辅助梯度投到监督子空间的正交补，牺牲利用率换稳定性；CSR 只裁掉监督子空间中负坐标，保留更多正向成分，但更依赖子空间质量。二者不是主贡献，而是对 mini-batch supervised gradient 不稳定性的工程化缓冲。

Surgery scope 是机制上重要的选择：只修 backbone、只修 head 或全模型会改变被保护的信息流。文中默认 backbone，但 ablation 显示不同 base method 的冲突位置不同，说明 GGR 不是一个完全无脑插件，scope 选择会影响归因。

Key Insight / Why It Works

最核心的有效性来自 asymmetric anchoring，而不是投影公式本身。投影到半空间是标准几何操作，真正新增的信息是：在 OSSL 中 supervised gradient 比 auxiliary gradient 有更高可信度，因此不能像 PCGrad 那样对两个任务做对称 compromise。对称梯度手术会在强冲突时削弱 supervised progress；GGR 则保证辅助更新对监督方向的一阶内积非负。

它本质上是 representation alignment + optimization-level robustification，不是 scaling、retrieval、test-time compute，也不是更强 data coverage。GGR 让无标注数据的正交/非冲突成分继续参与 representation learning，同时阻断反向 component；这解释了为什么它比 ConfDrop 更好，因为 ConfDrop 在冲突时丢掉整个 auxiliary gradient，容易回到 feature starvation。

最可能的核心贡献是“把 OSSL 的 ID/OOD 识别瓶颈改写为 applied gradient conflict regret”。这比单纯报告 accuracy 更有价值，因为它提供了一个可迁移的诊断量：raw pseudo-label 错误不可避免，但 applied update 是否冲突可以被控制。

不过，部分增益可能只是来自降低 auxiliary gradient variance 或类似梯度正则化的稳定训练效应，而不完全来自作者叙述的 OOD/hard-ID 几何分离。文中对正交分量为什么一定有用没有充分证明；它可能携带 representation signal，也可能只是低破坏性的噪声。

Relation To Prior Work

最接近的技术谱系不是 OSSL detector，而是 multi-task gradient surgery / constrained optimization。与 PCGrad 的区别是非对称性：PCGrad 假设任务地位对等，GGR 假设 supervised loss 是 label-verified anchor，auxiliary loss 是可疑信号，因此只修改后者。这是实质创新点。

与 filtering-based OSSL 相比，GGR 不试图更准确拒绝 OOD，而是降低错误接纳的损害；与 utilization-based OSSL 相比，它不盲目最大化无标注利用，而是只利用不反对监督方向的部分。看似新的 subspace variant 其实更像已有子空间/记忆平滑思想的重组，作用是稳定 anchor，不是概念核心。

这篇论文真正新增的信息不是“梯度投影能减少冲突”，而是把 OSSL 中 hard ID 与 OOD 的 sample ambiguity 映射到梯度几何，并证明在这个设定下应保护 supervised gradient 而非做对称任务协调。

Dataset / Evaluation

评估覆盖 CIFAR-10/100 和 ImageNet-30，包含不同 seen/unseen split 与低标签预算，能验证它在标准 OSSL 图像分类 benchmark 上作为 plug-in 的稳定性。它也跨了几类 baseline，包括 filtering、utilization/disagreement 方法，因此对“与现有 OSSL heuristics 互补”的 claim 有一定支撑。

但 evaluation 仍主要是离线闭集/开集分类 benchmark，没有真实开放流、长尾分布漂移、持续学习或部署反馈。open-set BA 使用 best closed-set checkpoint，也意味着模型选择仍偏向 ID generalization，不一定真实反映 open-world 选择策略。实验确实支持“减少 applied gradient conflict 可以提升 benchmark 表现”，但没有完全证明“正交 OOD 梯度可稳定提供有用 representation signal”这一更强叙事。

增益普遍存在但幅度有限，说明方法更像一个 robust optimization layer，而不是解决 OSSL 样本识别瓶颈的终局方案。控制实验比主表更有价值，因为它显示 GGR 优于 PCGrad、GradClip、ConfDrop，直接支持 asymmetric minimal intervention 的必要性。

Limitation

第一，supervised gradient anchor 的可靠性是硬前提。低标签极端场景、类别覆盖不足或 batch 偏差严重时，anchor 可能不是 population supervised direction，GGR 会把错误局部方向制度化。

第二，理论保证很弱但诚实：只是一阶、局部、选定参数块上的 non-opposition，不保证 full composite objective，也不保证长期训练更好。它把问题从 sample identification 转移到 gradient anchor estimation，并没有消除不确定性。

第三，subspace variants 引入新的上限：维度太小保护不足，维度太大压制 auxiliary signal；CSR 对 basis 质量敏感，OSR 可能过保守。这说明稳定性来自手工 bias，而不是自动学习到的 open-set structure。

第四，文中未充分说明在更强 OOD detector、更大预训练模型、更真实 open-world stream 下边际收益是否仍显著。若基础模型已经能较好分离 OOD/hard ID，GGR 的主要作用可能退化为轻量梯度正则化。

第五，增益来源不清：可能是减少 destructive gradient，也可能是额外 backward/gradient decomposition 带来的训练动态变化、variance reduction 或 implicit regularization。论文的 diagnostics 支持冲突减少，但不完全证明性能提升只由冲突减少导致。

Takeaway

• 1. OSSL 的一个关键瓶颈可以不从 OOD detection 切，而从 applied gradient safety 切；这为低标签 open-set 学习提供了更稳的控制点。
• 2. 对含噪 auxiliary objective 的任务，非对称梯度手术比对称多任务协调更合理：可信监督信号应被保护，而不是被平均。
• 3. 保留正交分量是这篇最可迁移的 insight：不必在“全用”和“全丢”之间选择，可以只移除可证明有害的方向。
• 4. 未来真正值得做的是学习更可靠的 supervised anchor / subspace，而不是继续堆 OOD scorer；GGR 的上限主要由 anchor 质量决定。

一句话总结

GGR 是一篇把 open-set SSL 从样本级 OOD/ID 判别推进到监督锚定梯度控制的工作，真正贡献是用非对称最小干预的 gradient rectification 阻断无标注目标对监督学习的一阶反向破坏。