精读笔记

Problem Setting

Mitigating Spurious Correlations with Memorization-Guided Dataset De-Biasing（arXiv preprint / 2026）。这篇论文实际处理的是一个很具体但重要的问题：在没有训练集 group label / spurious attribute 的条件下，能否只通过选择训练子集，使标准 ERM 获得 group robustness。关键矛盾在于：如果训练数据中多数样本满足 shortcut-label alignment，ERM 会优先学习 shortcut；但如果想用 coreset selection 纠正这种偏置，常规 coreset score 又恰好来自这个已经被 shortcut 主导的训练动态。也就是说，数据选择所依赖的观测量本身就是 biased 的。

以前方法大致卡在两端：debiasing 方法通常需要 group labels、group-balanced validation、特殊 loss、二阶段 reweighting 或额外优化；coreset/pruning 方法更工程友好，但主要优化 average accuracy 或 distribution coverage，没有显式处理 worst-group coverage。论文指出，在 spurious dataset 上，“hard sample”通常只是“shortcut 不支持 label 的样本”，并不等于 core feature 难；反过来，majority 中 core 很难但 shortcut 很强的样本会被视为 easy，而这些样本恰恰会强化模型对 shortcut 的依赖。

Motivation

作者最关键的观察是：loss-based 和 representation-based sample scores 都可能被 spurious feature 接管。EL2N、CSL、GraNd、margin area 等依赖模型输出的 score，在 simplicity bias 下会优先反映 shortcut 是否对齐；embedding similarity 即便来自 CLIP 或 ERM ResNet，也可能主要按背景/环境聚类，而不是按 causal object attributes 聚类。这解释了为什么直接把通用 coreset selection 用在 group robustness 上经常失败。

真正缺的是一个能把“spurious difficulty”和“core difficulty”分开的 sample diagnostic。已有方法通常给样本一个标量重要性，这在 IID pruning 中足够，但在 spurious setting 中信息被混叠：同一个高 loss 可能意味着 minority sample，也可能意味着 core 本身复杂；同一个低 loss 可能意味着 core easy，也可能只是 shortcut easy。论文的出发点就是：如果不能 disentangle 这两类信号，任何基于 hard/easy 的数据选择都会系统性偏向错误目标。

Core Idea

论文的核心思想不是提出一个更复杂的 robust optimizer，而是把模型训练过程当成一个 probe，用两个有意偏置不同的模型分别读出样本的 spurious 与 core 学习动态。第一阶段故意训练一个 biased/spurious model，让它尽可能依赖 shortcut；其 loss trajectory 产生 TCSL_s，用来识别哪些样本没有被 shortcut 支持。第二阶段在 frozen biased model 的基础上做 logit correction，让新模型被迫解释 biased model 解释不了的部分；其 loss trajectory 产生 TCSL_c，用来估计 core feature 的难度。

这改变了 coreset selection 的建模方式：从“每个样本一个全局难度”变成“每个样本有两个因子化难度”。引入的 inductive bias 是：spurious cue 是 early/easy/majority-aligned 的，core cue 是 later/harder/label-causal 的。和 prior 的本质区别在于，它不直接用二阶段模型作为最终 debiased classifier，而是把二阶段模型产生的信息转化为可复用的数据资产。这个设计比 training-time debiasing 更 scalable 的地方在于：诊断一次后，coreset 可以被任意标准训练 pipeline 复用。

Method

方法里真正必要的机制只有三个。

第一，biased model 的训练不是普通 ERM，而是通过 epoch-level low-loss upweighting 去强化 shortcut。它解决的问题是：如果第一阶段模型不够 biased，TCSL_s 就不能稳定区分 shortcut-aligned 和 shortcut-conflicting samples。这里的核心变化是主动放大 simplicity bias，而不是抑制它。

第二，core model 通过 frozen biased model 的输出做 logit correction。它解决的问题是：普通第二模型仍可能继续学习 shortcut，导致 TCSL_c 仍被背景/颜色污染。logit correction 相当于把 shortcut prediction 当作 prior 或 nuisance component，让第二模型在残差信号上学习。这里的核心变化不是提升最终模型性能，而是让 loss trajectory 更接近 core-feature difficulty。

第三，TCSL-CS 的 selection 先按 TCSL_s 找 high-spuriosity-conflict group，再按 TCSL_c 处理剩余 majority region。它解决两个不同目标：minority coverage 和 majority pruning。前者避免 coreset 丢掉 rare group；后者避免保留大量“shortcut easy but core hard”的样本继续诱导 ERM 走 shortcut。SelectHist/SelectBot 更像工程策略：小 ratio 时保持 difficulty diversity，大 ratio 时倾向剪掉有害样本。其必要性有经验依据，但理论上并不充分。

Key Insight / Why It Works

最重要的 insight 是：在 spurious correlation 下，sample memorization/difficulty 不是一个天然良定义的标量。loss dynamics 记录的是模型实际走过的学习路径；如果学习路径先经过 shortcut，那么 memorization score 就是在测 shortcut，而不是测样本对 causal decision boundary 的贡献。这一点比具体算法更值得迁移。

TCSL-CS 有效的最可能原因是 latent structure recovery + data coverage，而不是单纯 data pruning。TCSL_s 近似恢复 unknown group structure；TCSL_c 在 majority group 内进一步区分哪些样本会强化 shortcut。换句话说，它是在无显式 group label 下构造一个弱 group label 和一个弱 core-difficulty ranker。真正贡献在 score disentanglement；coreset selection 策略本身相对常规。

理论部分用 NTK + spiked covariance 给出 simplicity bias 条件 β_s(2α−1)>β_c：当 shortcut 强度乘以数据不平衡超过 core strength，早期 margin 会在 majority 上增加、在 minority 上下降，因此任何 loss-monotone score 都会被 spurious attribute 支配。这个理论不是对实际 ResNet 的严格解释，但它清楚说明了为什么单标量 loss score 在原则上不够。

需要直说的是，部分增益可能来自改变训练数据分布，而非 score 本身的全部精确性。选择 10% 数据会显著改变 shortcut exposure、group比例、重复模式和 optimization dynamics；这本身就可能提升 WGA。作者通过 group-label ablation、score similarity、cross-architecture transfer 缓解了这个疑问，但增益中 disentanglement、minority oversampling、majority pruning、训练步数重标定各自贡献仍不完全清楚。

Relation To Prior Work

这篇工作处在三条谱系的交叉点：simplicity-bias-based debiasing、two-stage/logit-correction debiasing、memorization/coreset selection。

和 JTT/LfF/LC/ULA 等二阶段 debiasing 最接近的地方是都利用 first model 的 failure 或 bias 来指导 second stage。不同点是 prior 通常把第二阶段模型作为最终模型，目标是改 optimizer 或 loss；本文把二阶段模型当作 scorer，最终仍训练普通 ERM。这是一个实质差异，因为它把 debiasing 从 training algorithm 转成 dataset curation。

和 EL2N/SelfSup/D2 等 coreset 方法相比，本文真正新增的信息是把 sample score 因子化。D2 试图用 difficulty + diversity 解决 pruning，但 difficulty 和 embedding 都可能被 shortcut 污染；TCSL-CS 则先承认 representation/score 已经 biased，再构造一个带 spurious/core 分离假设的 score。

和 SPARE、early-bias-identification 工作相比，本文利用了相同的 simplicity bias 观察，但目标从 upsampling/reweighting 转向 pruning/coreset。看似新的 TCSL 其实是 CSL/memorization proxy + two-stage logit correction 的重组；实质创新在于把这个重组用于无 group label 的 robust coreset selection，并明确指出普通 coreset score 在 spurious setting 下的失真机制。

Dataset / Evaluation

实验覆盖四个视觉 spurious benchmark：Waterbirds、colored MNIST、MetaShift、UrbanCars-B，既有合成背景/颜色，也有更自然的 context shift。对论文核心 claim 来说，这些 benchmark 是合适的，因为都存在明确 majority/minority group，且 group labels 只用于 evaluation。

结果基本支持两个层面的 claim：第一，TCSL-CS 作为 coreset selection 方法明显优于通用 pruning baseline；第二，选出的 coreset 能让普通 ERM 接近甚至超过一些需要 group info 或特殊训练的 debiasing 方法。尤其 cMNIST 中强 spurious correlation 下 baseline 崩得很明显，说明单标量 score 的失效不是小噪声。

但 evaluation 的外推性有限。Waterbirds 和 UrbanCars-B 都有相对清晰的 foreground/background decomposition，cMNIST 是高度人工的颜色 shortcut，MetaShift 虽更自然但规模和语义复杂度有限。论文没有真正证明在 open-world、多 shortcut、连续 spurious attribute、label noise、long-tail semantic subgroup 中同样有效。所谓“scalable”主要是相对二阶段 debiasing 的训练复用意义，而不是证明在 web-scale 数据上选择成本可忽略。

Limitation

核心前提很强：spurious feature 必须是 early-learned、majority-aligned、可由 biased model 放大捕获的信号。如果 shortcut 不简单，或者 core 反而更易学，TCSL_s 就可能不再对应 group conflict。理论中的 spiked covariance / additive decomposition 对真实深网只是解释性模型，不足以保证实际 disentanglement。

TCSL_c 的可靠性是最脆弱处。logit correction 只能削弱 first-stage captured shortcut；如果 first-stage 没捕获所有 shortcut，或者存在多个 shortcut，第二阶段仍可能学习残余 shortcut。作者在 appendix 扩展到 multiple spurious correlations，但实际算法仍基本按二簇 high/low TCSL_s 操作，复杂 group structure 下可能不足。

方法可能把问题从“训练时 debias”转移成“离线数据诊断”。这在工程上有价值，但不是免费：需要额外训练 biased/core models、保存 loss trajectory，并且 selection ratio 与策略会影响结果。对很大规模数据，前置 scorer training 的成本和稳定性仍是问题。

增益归因不完全清楚。10% coreset 下的提升可能来自 minority overrepresentation、删除 shortcut-heavy samples、减少训练集规模导致的 regularization、固定总 iteration 后的 optimization 改变等多个因素。文中未充分说明这些因素的独立贡献。

还有一个潜在 evaluation bias：这些 benchmark 的 spurious attribute 结构明确且二元，WGA 也按这些已知 group 计算。方法是否能发现未定义或未评估的 hidden subgroup，文中没有证明。

Takeaway

• 1. 在 spurious correlation 场景中，sample difficulty 必须因子化；单一 loss/memorization score 很可能只是 shortcut-consistency score。
• 2. 二阶段 debiasing 不一定要作为最终训练算法，也可以作为 dataset diagnostic tool；这条路线值得发展，因为数据资产比模型 recipe 更可复用。
• 3. Robust coreset 的关键不是平均意义上的 coverage，而是 latent group coverage + 去除会强化 shortcut 的 majority samples。
• 4. 未来更值得做的是把 TCSL 这类 loss-dynamics disentanglement 扩展到多 shortcut、连续 attribute、文本/多模态和真实长尾数据，而不是继续在二元背景 benchmark 上调 selection heuristic。

一句话总结

这篇论文把 simplicity-bias debiasing 和 memorization-guided coreset selection 结合起来，实质贡献是提出“spurious difficulty / core difficulty 分离”的数据诊断视角，使无 group label 的 robust data pruning 成为可行路线。