精读笔记

Problem Setting

DRDN 处理的是无外部预训练条件下的 ViT 类增量学习，且默认有 exemplar replay。它实际面对的矛盾是：模型需要一个固定共享 backbone 来承载所有任务的视觉结构，同时又要为每个新任务保留足够可塑性。动态扩展方法过去主要把注意力放在“旧任务模块不被改写”上，但共享 backbone 仍会在后续任务中被分类损失持续牵引。于是任务 token 虽然冻结了，输入给它们的共享表征却在漂移；这才是长序列下性能衰减和跨任务混淆的核心来源。

Motivation

已有 token-expansion 路线不够，是因为它们默认共享 backbone 会通过分类训练自然学到可迁移表示，但在 CIL 里这个假设很弱。分类监督来自当前任务与少量 replay，优化目标天然偏向近期类别边界，而不是全局视觉结构。作者的关键观察是：错误主要不是同一任务内的细粒度混淆，而是不同任务之间的边界塌陷；同时 shallow ViT 表示在增量训练下不够稳定。缺口因此很明确：需要一个持续、任务无关、直接作用于 backbone 的训练信号，并且要防止这个信号污染任务特化模块。

Core Idea

论文真正的核心思想是“按表示职责解耦优化路径”。backbone 不再只是分类损失的共享底座，而被显式要求维护可跨任务复用的视觉结构；task tokens 则作为任务条件化的判别读出器，只学习分类相关信息。这个设计引入的 inductive bias 是：通用结构应由共享参数承担，任务差异应由扩展 token 吸收，二者不能共享所有梯度。

和 prior 的本质区别在于，DRDN 不是继续扩大任务专属容量，也不是离线预训练一个更强 backbone，而是在每个增量阶段用在线 MIM 给 backbone 注入持续的自监督约束，并通过梯度屏蔽规定这个约束只能更新 backbone。它重新组织了信息流：重建路径提供 data-coverage / structure-preserving pressure，分类路径提供 task-discriminative pressure，两者在参数更新对象上被结构性分开。这比单纯加 loss 更可解释，也更可能随任务数增长保持收益。

Method

关键机制可以压缩为三点。第一，backbone-only continual MIM：它解决的是共享表示被当前任务分类目标过度塑形的问题；需要它是因为 replay 的类别覆盖有限，分类 loss 不足以维持全局视觉结构；核心变化是 backbone 获得一个跨任务的 reconstruction anchor。第二，hierarchical task tokens with isolated attention：它解决的是任务 token 之间直接互相注意导致的跨任务干扰；需要它是因为 joint inference 下不同任务 token 的边界容易互相挤压；核心变化是每个任务 token 只通过 image tokens 间接共享信息，而不直接读其他任务 token。第三，旧 token 冻结 + KD/diversity：它们解决的是 CIL 中标准的旧知识保持与 token 分化问题；这些是必要稳定器，但不是论文最有原创性的部分。

Key Insight / Why It Works

最可能真正有效的是梯度路由，而不是 MIM 本身。MIM 作为 auxiliary objective 很常见，但如果重建梯度也进入 task tokens，token 会被迫编码空间与低层结构，削弱其作为判别接口的专门化；这会把“通用表示”和“任务判别”重新纠缠起来。backbone-only routing 的价值在于强行建立一个优化分工：backbone 对齐输入结构，token 对齐标签空间。

这本质上属于 better inductive bias + representation alignment，而不是 test-time compute、retrieval 或纯 scaling。它也不是简单 memory reuse；replay buffer 仍在，但 MIM 让每个 batch 中的图像承担更多非标签监督，等价于提升了共享表示的 data coverage。多层 token 和 attention isolation 可能贡献很大，但它们更像结构上减少 interference 的工程化增强；从 ablation 看，MIM-only 和 token/attention-only 都有效，完整模型的叠加收益有轻微次加性，说明两者部分解决同一类 representation drift / confusion 问题。

需要直接指出的是，主结果提升幅度不算压倒性，尤其在 ImageNet100 上较小；这暗示当每个任务本身数据多样性足够强时，MIM 的边际收益下降。因此论文最强的 claim 应该限定为“from-scratch、小任务粒度、长序列 CIL 中，分类监督不足以维护 shared ViT backbone”，而不是泛化为所有 CIL 设置。

Relation To Prior Work

DRDN 最接近 DyTox/DKT 这条 ViT token-expansion 谱系，也借用了 MAE/MIM、KD、diversity regularization、task-token isolation 等已有思想。看似新的模块多数不是全新：MIM 不是新，动态 token 不是新，KD 不是新，多层 token 也接近 prompt/adapter 式层级注入。实质创新在于把在线 MIM 放进增量训练循环，并且明确规定 reconstruction gradient 只更新 shared backbone。

相对 DyTox，它不是只在末端加任务 token，而是把任务条件化扩展到所有层，并减少 token 之间的直接交互。相对 DKT，它更强调 backbone 表示质量，而不是知识迁移多样性。相对 MAECE/MAE-CIL，它不是先预训练再增量，而是在从零训练时持续用 MIM 作为 regularizer。相对 ResNet 动态扩展/任务混淆工作，它的差异是把解决点放在 ViT attention routing 与 shared representation maintenance 上。论文真正新增的信息是：在 from-scratch ViT CIL 里，辅助自监督目标的“梯度归属”比“是否有辅助目标”更关键。

Dataset / Evaluation

评估覆盖了 CIFAR100、ImageNet100、ImageNet1000 的离线类增量分类，设置上包含 B0 与 B50、不同 step 数，基本能验证“长序列下收益更明显”这个 claim。它也使用了 cross-task confusion 与 degradation 分析，较好地支撑了动机，而不只是报告最终精度。

但 evaluation 仍然有明显边界：全部是标准闭集分类，没有真实在线流、无分布漂移、无类不平衡动态变化、无部署端延迟压力；训练是每任务 400 epoch 加 replay fine-tuning，这更接近离线 incremental retraining，而不是真实持续学习。benchmark 能支持“在该协议下 DRDN 优于 from-scratch token baselines”，但不足以证明它是通用 continual representation learning 解法。文中排除 pretrained 方法是公平的协议选择，但也限制了结论外推到当前主流 ViT/CLIP 增量学习场景。

Limitation

最大限制是适用前提窄：from-scratch ViT、固定 replay buffer、离线充分训练、小规模 backbone。当前视觉系统大量依赖预训练，MIM 对已具备强通用表示的 backbone 是否仍有价值，文中未充分说明。第二，增益归因仍有残余不清：虽然 shared-gradient 对照说明梯度路由重要，但没有系统比较其他 SSL 信号、强 augmentation、更长训练或纯 reconstruction pretraining schedule，因此“为什么必须是 MIM”没有被完全证明。

第三，方法可能把问题从推理阶段转移到训练阶段：decoder 无测试开销，但训练时间和显存明显增加；在真实 streaming CIL 中，这可能不可接受。第四，cross-task confusion 降低并不等于语义空间真正全局校准，可能只是 task token isolation 改善了错误分布。第五，多层 task token 随任务数增长仍有线性 token 增长，虽然参数小，但 attention / 管理复杂度不是完全免费的。

Takeaway

• 1. 动态扩展不能只保护任务专属参数，还必须主动维护共享 backbone；否则冻结 token 也会因为输入表示漂移而失效。
• 2. 辅助自监督目标在 CIL 中的关键不是“加不加”，而是“梯度流向哪里”；gradient routing 可以成为 continual learning 里的核心设计维度。
• 3. 对 from-scratch ViT，分类监督在长序列小任务设置下明显不足，在线结构保持信号是合理方向；但在强预训练时代，未来更值得研究的是 token-level / feature-level self-supervised anchoring，而不是 pixel reconstruction。
• 4. 这篇推动的是 dynamic expansion 从“扩容量”走向“管理共享表示竞争”，这个 insight 可以迁移到 adapter、prompt、MoE、continual detection/segmentation 等共享底座场景。

一句话总结

DRDN 是一篇把 from-scratch ViT CIL 中的动态扩展问题重新表述为“共享 backbone 表示维护 + 任务 token 判别解耦”的工作，其真正贡献在于用 backbone-only online MIM 和隔离式任务 token 信息流来管理任务间对共享表示的竞争。