精读笔记
Problem Setting
[Learning Probabilistic Prompt for Continual Learning]（arXiv preprint / 2026）
这篇论文解决的不是一般意义上的 continual learning，而是冻结大规模 ViT backbone 后，如何让少量 prompt 参数承担持续类别增量学习中的可塑性。关键矛盾是：backbone 冻结带来稳定性，但也把学习新类的能力压缩到 prompt 和 classifier；prompt 太少或太确定性时，无法覆盖不断扩张的 query feature 分布。
以前 prompt-based CIL 方法卡在一个隐含瓶颈：它们假设 prompt pool 中的确定性向量可以作为足够好的任务/类别原型。但在 class-incremental 场景中，每个任务本身就是多个类别的混合分布，后续任务又持续改变整体 feature geometry。结果是多个 prompt token 在优化中趋同，prompt pool 名义上有容量，实际表达退化。论文把这个现象命名为 prompt collapse，并把它作为性能上限的核心原因。
Motivation
已有路线不够的地方不在于缺少更复杂的 prompt selection，而在于 prompt 的表示形式过于刚性。L2P/DualPrompt 依赖 key-query 选择，CODA-P/VQ-Prompt 改进了组合或离散化方式，但底层 prompt 仍主要是确定性 embedding。确定性 prompt 的问题是只能表示点，不能表达一个 query 局部邻域内的多样变体，也不能自然建模 prompt 与输入之间的不确定匹配。
作者的核心观察是：query feature 在同一增量阶段内已经高度多样，而已有 prompt token 之间却高度相似。这个 mismatch 暗示已有方法不是没有足够 prompt 数量，而是 prompt slot 没有学成彼此分工的区域。关键缺口是缺少一种机制，让 prompt 既能保持 input-conditioned，又能在每个 slot 内产生可控的局部变化，同时不因持续训练而剧烈漂移。
Core Idea
论文真正的核心是把 prompt 从 deterministic prototype 改成 probabilistic local region。每个 prompt component 被参数化为高斯分布，query 不是选择某个固定 prompt，而是根据它与各分布的 Mahalanobis 距离形成一个 mixture distribution，再从这个 query-conditioned mixture 中采样 prompt。这样 prompt pool 不再是一组离散点，而是一组可组合的局部概率区域。
这个建模引入的 inductive bias 是：持续学习中的新输入不是精确落到某个固定 prompt 原型上，而是落在多个 prompt distribution 张成的软区域中。相比 prior 的 key-value retrieval 或确定性加权，这里信息流从“query 匹配 prompt 向量”变为“query 决定 prompt 分布，再从分布中生成 token”。理论直觉上，它更适合覆盖复杂 feature distribution，也更不容易让所有 prompt 收缩成同一个点，因为协方差和采样过程给 prompt slot 保留了局部变化空间。
Method
方法只需要抓住几个机制层面的必要性。
第一，prompt distribution：每个 prompt slot 是一个对角高斯，而不是固定向量。它解决的是确定性 prompt 表达半径过小的问题，使一个 slot 可以覆盖一片局部区域，而非单个点。
第二，query-conditioned mixture：用 query 到每个分布的 Mahalanobis 距离产生 soft relevance，再计算 mixture mean 和 variance。它解决的是 hard selection 或简单向量加权过于粗糙的问题，使 prompt 生成显式依赖 query 与分布形状的关系。
第三，多样本采样与 query-aware aggregation：从 mixture 中采多个 prompt，再按与 query 的 cosine similarity 加权。它解决的是随机采样方差太大和简单平均会稀释 query-specific 信息的问题。这里更像训练时的 stochastic exploration + local ensemble，而不是单纯生成多个 prompt。
第四，distribution regularization：用相邻 training step 的高斯 KL 约束 prompt distribution 不要突变。它解决的是概率 prompt 在新任务梯度下漂移过快的问题，本质是把 continual learning 的 rigidity 约束施加在 prompt 分布空间，而不是 backbone 权重空间。
Key Insight / Why It Works
最可能真正有效的是“把 prompt 的容量从点原型扩展为 query-conditioned distribution”，而不是某个具体公式。确定性 prompt collapse 的根源是多个 prompt 在相同 CE 目标下被相似梯度驱动，尤其 backbone 冻结后，prompt 只能在有限空间中寻找能提升所有类的方向。概率化后，prompt slot 不必把所有变化压到 mean 上，variance 和 sampling 提供了额外自由度；mixture 又允许多个分布共同解释一个 query，因此 prompt 不容易完全退化成少数固定向量。
这本质上属于 better inductive bias + implicit ensemble，而不是 memory replay，也不是明确的 task reasoning。它没有保存旧样本，也没有显式建模任务边界；它只是让 prompt space 更柔性，并用 KL 让这种柔性不要在新任务中失控。多样本采样 Ns 很关键，低 Ns 不收敛说明随机性本身很吵，性能依赖足够采样带来的 Monte Carlo 平滑。这部分更像 test/train-time compute 换稳定性，虽然作者通过先聚合再送入 backbone 控制了 forward cost。
distribution regularization 是辅助但必要的稳定器。它不提供旧任务语义记忆，只是限制 prompt distribution 的局部参数速度。若增益主要来自防止 abrupt drift，那么它更接近 optimization regularization，而不是 continual learning 中强意义的知识保持。文中把它解释为缓解遗忘是合理的，但机制上仍是短期平滑，不是长期记忆。
需要警惕的是，prompt diversity 可视化不能单独证明 causality。prompt 更分散与 accuracy 更高相关，但不排除是更强方法训练后自然呈现的结果。真正强证据应当包含控制 prompt diversity 的干预实验，或在相同参数量/相同 stochastic regularization 下比较概率建模与普通噪声注入。当前增益来源不清，可能部分只是更丰富参数化和采样集成。
Relation To Prior Work
它最接近 L2P/DualPrompt/CODA-P/VQ-Prompt 这条 frozen ViT + learnable prompt 的 rehearsal-free CIL 技术谱系。与 L2P/DualPrompt 的本质差异是从非微分或半离散的 prompt retrieval 转向可微的概率生成；与 CODA-P 的差异不是是否加权组合，而是组合对象从 deterministic components 变成 distributions；与 VQ-Prompt 的差异是 VQ 更强调离散组件和 categorical perception，而本文强调连续不确定性和局部采样。
它也借用了 probabilistic representation / probabilistic prompt learning 的思想，但迁移点比较明确：不是在输出表示或 classifier weight 上建概率，而是在 prompt 本身建概率，并把概率路由接入 continual learning 的 prompt pool。这个实质创新在于把概率建模放到了 prompt-level collapse 的病灶位置。
看似新的部分中，Gaussian prompt、reparameterization trick、KL regularization 都不是新技术；真正新增的信息是它们在 prompt-based CIL 中形成了一个针对 collapse 的解释闭环：collapse 观察 → prompt distribution → query-conditioned mixture → distribution smoothness。创新更偏建模重组和问题定位，而不是算法原语发明。
Dataset / Evaluation
评估覆盖了 ImageNet-R、CIFAR-100、CUB-200，并比较了不同 task split 和不同预训练权重，基本能支持“在标准 rehearsal-free CIL benchmark 上优于现有 prompt 方法”这一 claim。ImageNet-R 的风格变化和 CUB 的细粒度类别对 prompt diversity 叙事有一定支撑，因为它们确实更需要覆盖复杂视觉模式。
但这些 benchmark 仍是离线构造的 class-incremental 分类，task 边界、类别集合、训练轮数和数据分布都相对干净。它们不能充分验证 open-world continual learning、真实流式数据、长尾类别、非平衡增量、未知任务数、或部署中持续漂移的情况。论文声称 generalize across pretraining regimes 有一定证据，但仍局限在 ViT-B/16 和分类任务。
实验支持核心 claim 的强度中等偏强：消融说明概率 prompt、mixture、KL regularization 都有用；但缺少更严格的归因控制，例如相同参数量的 deterministic prompt、普通 Gaussian noise prompt、dropout-like stochastic prompt、或 explicit diversity regularizer 对照。因此 benchmark 证明了方法有效，但没有完全证明“prompt collapse 是主要瓶颈且概率建模是必要解”。
Limitation
最大前提是强预训练 frozen backbone 已经提供了足够好的 feature space。方法并没有解决从新任务中学习新视觉表征的问题，而是在已有表征上学习更好的 prompt-conditioned adaptation。因此当预训练覆盖不足、domain gap 很大、或任务需要新底层视觉概念时，概率 prompt 的上限会很明显。
第二，方法可能把“prompt collapse”问题转移成“distribution overlap / sampling stability”问题。多个高斯分布的 mean 可以更分散，但 mixture 后的有效 prompt 是否真正形成可解释分工，文中未充分说明。对角协方差也限制了分布形状，复杂 feature geometry 下可能只是粗糙近似。
第三，Ns 对收敛非常敏感。Ns=1 失败、Ns=5/10 性能很差，说明方法并不是天然稳定的概率学习，而是依赖足够多采样抵消噪声。这使得“negligible overhead”的说法需要谨慎理解：backbone forward 没有乘 Ns，但 prompt-side sampling/aggregation 和训练稳定性确实依赖额外 compute。
第四，KL regularization 只约束相邻 step，不知道哪些变化对旧任务关键，也没有任务级或类别级记忆。它可能在长序列中累积漂移，尤其当未来任务分布持续偏移时，局部平滑不保证全局保持。
第五，增益归因不清。性能提升可能来自概率建模、参数量增加、随机正则、implicit ensemble、query-aware reweighting、或更好的 optimization landscape。论文目前没有把这些因素完全拆开。
Takeaway
- 1. prompt-based continual learning 的关键不只是如何选 prompt，而是 prompt pool 是否具备覆盖复杂 query distribution 的几何容量；确定性 prompt 很容易在 CE 目标下退化成相似原型。
- 2. 把 prompt 建模为 distribution 是一个可迁移 insight：当 adapter/prompt/LoRA 等小参数模块承担全部可塑性时，点估计可能太硬，概率化或局部区域化可以提升覆盖能力。
- 3. 对 continual learning，小模块的 plasticity 需要配套 rigidity 约束；本文的 KL-on-distribution 是一种轻量做法，但未来更值得做的是 task-aware 或 memory-aware 的分布演化，而不是只做 step-level smoothing。
- 4. 这篇推动的是 prompt CIL 从 deterministic retrieval 走向 probabilistic generation。
一句话总结
这篇论文把 frozen-ViT prompt-based CIL 中的 prompt collapse 重新表述为确定性 prompt 的表达几何瓶颈，并用 query-conditioned probabilistic prompt mixture 给出一个偏 inductive-bias 和 implicit-ensemble 的演化方向。