精读笔记
Problem Setting
[Continual Model Merging with Test-Time Adaptation for Whole-Slide Image Analysis]（arXiv preprint / 2026）
这篇论文解决的不是一般 WSI 分类，而是一个更窄也更实际的问题：病理任务持续到来，每个任务可以独立 fine-tune，但之后不能保留旧 WSI、patch、feature bag；系统仍需要在 CLASS-IL/TASK-IL 下服务所有已见癌种/亚型，并且测试域可能来自未见机构。关键矛盾是：WSI continual learning 需要历史知识，但历史数据由于隐私、存储和计算成本不可用；TTA 需要适应当前域，但当前无标签测试分布又可能把模型推向最近任务。以前路线的卡点很明确：regularization-based CL 在强分布差异和任务头扩展下保不住旧任务；replay 有样本存储假设；静态 model merging 虽然 exemplar-free，但合并权重不随目标域变化。本文真正研究的是：把“历史数据记忆”替换成“历史参数表示记忆”后，能否再用当前 test-time signal 做动态组合。
Motivation
已有路线缺的不是又一个 WSI aggregator，而是一个在无历史样本约束下仍能响应目标域漂移的机制。MergeSlide 这类静态 merging 已经说明 task vectors 可以作为 WSI continual learning 的 memory substrate，但它默认合并规则对所有未来测试域都合适，这在 TCGA site shift / institution shift 下很弱。另一方面，AdaMerging、AdaRank、Hi-Vec 证明了 test-time unlabeled data 可以调合并变量，但它们主要面向 multi-task merging 或单次 TTA，不处理 sequential accumulation 下的历史保护问题。作者的核心观察是：TTA-guided merging 似乎天然适合 pathology，因为旧数据不能存、新域又频繁出现；但它也天然危险，因为 TTA objective 只看当前分布。这个缺口比算法本身更重要：论文是在测这个技术族迁移到 continual WSI 后到底稳不稳。
Core Idea
核心思想是把 continual learning 的状态变量从“一个不断被 SGD 改写的模型”换成“一组从同一初始化出发的任务偏移量/子空间表示”。历史任务不以样本形式存在，而以 task vector、SVD component mask 或 hierarchical head/parameter update 的形式存在。测试时，不是重新训练所有知识，而是用当前无标签 WSI 的 entropy signal 决定哪些历史参数方向应该被激活、缩放或传播。
这个建模方式引入的 inductive bias 是：不同癌种/亚型任务在强 pathology encoder 后形成的参数偏移具有一定可加性和可重组性；当前域 shift 可以通过改变任务向量组合来吸收，而不必修改或存储历史数据。相比传统 CL，它把 plasticity 放在 merge variables 上，避免直接覆盖旧权重；相比静态 merging，它允许 inference-time conditional composition。它更 scalable 的地方在于新增任务只增加一个参数表示，而不是一个 replay buffer；但这种 scalable 是参数空间意义上的，不等价于任务数无限增长时的稳定泛化。
Method
方法的必要机制可以压缩成三点。
第一，独立 fine-tuning + shared initialization：每个任务从同一 θ0 出发，保证 task vector τk=θk−θ0 处在可比较的坐标系里。这解决的是参数空间不可对齐问题；没有共同初始化，后续线性组合基本没有语义。
第二，历史信息参数化存储：AdaMerging 存任务向量并学习系数，AdaRank 把任务向量分解成 singular components 并学习 mask，Hi-Vec 用层级 prediction/update 结构选择和传播目标相关层。这些机制的共同目的不是提升 WSI 表征，而是给“哪些历史知识参与当前预测”提供可调自由度。
第三，测试时无监督调合并变量：三者都用 entropy minimization 从当前 unlabeled test stream 中获得信号。它解决的是 static merge 无法适应目标域的问题；核心变化是 inference 前多了一步 conditional model construction。但这一步也把偏置引入系统：当前分布越窄，合并越可能偏向最近/最相似任务。
Key Insight / Why It Works
这篇最有价值的 insight 是：在病理 WSI continual setting 中，参数空间的 task representation 可以充当一种“无样本 memory”，而 TTA 则像一个当前域条件下的 routing/selection mechanism。它有效的前提不是 entropy minimization 多么神奇，而是 TITAN 这类 frozen pathology encoder 已经把大部分视觉差异压到较稳定的 embedding space，slide aggregator 的 task-specific 更新相对低维且可组合。换句话说，核心能力很可能来自强 foundation encoder + 同初始化 task vectors 的可线性重组，TTA 只是负责在测试域上选择组合。
AdaMerging/Hi-Vec 的稳定性说明，连续系数或层级 gating 比硬二值 SVD mask 更适合这种场景；AdaRank 在 BRCA/RCC 上表现不一致，暗示 singular component 的“重要性”并非 task-invariant。最可能的核心贡献不是某个模块，而是 benchmark-level 证明：TTA-guided merging 在 rehearsal-free WSI CL 中确实能把 forgetting 降到远低于 regularization CL 的水平。
但也要直接说：一部分增益可能主要是 engineering / scaling。使用 TITAN frozen encoder、TCGA cohort 的任务划分、TASK-IL head masking、10-fold CV 和 test-time compute 都可能贡献很大。Hi-Vec 在 TASK-IL 甚至超过 fully supervised reference，这个现象需要谨慎解读；它可能说明 task-head masking + test-time adaptation 对当前任务非常有利，也可能说明 fully supervised baseline 不是强上界或训练协议不完全公平。文中未充分说明这些增益如何在 encoder strength、merge rule、TTA objective 和 evaluation protocol 之间归因。
Relation To Prior Work
这篇属于 model merging × test-time adaptation × rehearsal-free continual learning 的交叉谱系，而不是传统 CL 方法论文。和 EWC/LwF 的本质差异是，它不试图在单一路径训练中约束权重漂移，而是保留多个任务解再组合；和 DER++ 的差异是 memory substrate 从样本变成参数；和 MergeSlide 的差异是合并规则从静态变成目标域条件化。
看似新的部分主要是把 AdaMerging、AdaRank、Hi-Vec 搬到 WSI continual protocol 并系统比较，这更像 benchmark construction 和 problem reframing，而非新的优化原理。实质新增信息在于揭示 TTA-guided merging 在 sequential setting 下的稳定性-可塑性冲突：当前测试分布驱动的 adaptation 可以提升当前任务，也会扰动历史任务向量的贡献。这个结论对 model merging 社区比对 WSI 社区更有价值，因为它指出 multi-task merging 的成功不能直接外推到 continual streams。
Dataset / Evaluation
评估覆盖六个 TCGA subtype cohort，包含 common/rare cohort、class imbalance、IND/OOD site split、CLASS-IL/TASK-IL 和 task-order reversal，范围比普通单数据集 pathology CL benchmark 更有说服力。它基本验证了论文的核心 claim：TTA-guided merging 在无 exemplar 下确实能和 replay/regularization baseline 竞争，尤其在 retention 和 TASK-IL 上强。
但 evaluation 仍有明显边界。首先，所有任务都来自 TCGA，domain shift 主要是机构/site 层面的 retrospective shift，不等于真实临床部署中的 scanner、staining、lab protocol、population drift。其次，任务是 cancer cohort/subtype 级别，类别结构相对清晰，可能有 dataset identity cues；CLASS-IL 难度虽高，但仍可能受 task-head concatenation 和 cohort-specific morphology 影响。第三，文中没有充分报告 TTA 预算、batch size、streaming 条件、是否允许多次遍历 test data，这会直接影响 deployment claim。第四，fully supervised reference 和 TTA methods 的训练/推理信息使用方式不完全同质，因此超过 fully supervised 的 TASK-IL 结果不能简单解释为方法更强。
Limitation
方法成立依赖几个强前提。第一，所有任务模型必须从同一初始化出发，且参数偏移要可线性/低秩组合；如果任务更异质、head 更复杂或 backbone 也大幅更新，task vector merge 可能失效。第二，TTA objective 默认低熵预测是好预测，在 class imbalance、OOD novelty、label shift 或 batch composition 偏斜时，这个假设很脆弱，可能把模型推向多数类或最近任务。第三，没有显式历史保护项，所谓 retention 主要依赖参数空间组合的自然稳定性，而不是机制上保证不遗忘。
scalability 上也有上限：任务数增长会带来 task vector / SVD component / head hierarchy 的存储和重构成本，TTA 每一步还要优化合并变量，长期在线部署未必便宜。泛化是否真实存在仍不充分；当前结果可能 heavily rely on TITAN 表征覆盖 TCGA pathology distribution。增益归因不清：是 merging 让模型保留历史，还是强 encoder 已经让任务足够线性可分，或是 TTA 在 test set 上做了额外 compute？文中未充分说明。更本质地说，这类方法没有消除 continual learning 的稳定-可塑性矛盾，只是把它从训练阶段转移到了测试时合并变量优化阶段。
Takeaway
- 最值得记住的不是具体数值，而是参数空间 memory 在 WSI continual learning 中是可行的：在不能存 slide/patch/feature 的病理场景，task vectors 比 regularization 更像一个合理的长期状态。
- TTA-guided merging 的未来关键不在更复杂的 entropy objective，而在加入历史子空间保护：例如 task-vector orthogonality constraints、Fisher/curvature-aware merge、prototype-free distribution anchors、或对旧任务 logits 的 parameter-space consistency。
- AdaRank 的不稳定提醒我们，低秩/稀疏选择并不自动等价于知识压缩；component importance 在病理任务间可能强烈依赖顺序和数据分布。
- 这篇推动的是 evaluation framing：把 multi-task test-time merging 放进 continual stream 后，问题从“能不能合并模型”变成“当前 test-time adaptation 会不会破坏历史参数记忆”。
一句话总结
这篇论文把 TTA-guided model merging 重新定位为 rehearsal-free WSI continual learning 的参数空间记忆机制，真正贡献是揭示其在病理场景中有效但受 task order 和当前分布驱动 adaptation 明显限制，属于从静态模型合并走向测试时条件化合并的技术演化。