精读笔记

Problem Setting

这篇论文处理的是 WSI survival model 的 continual adaptation：新癌种/新队列不断到来，但旧 WSI 不能反复访问或长期保存，模型还要保持此前队列上的风险排序能力。真正难点不是把 CL 套到 WSI 上，而是 survival label 本身带有删失、风险分数是相对排序而非类别边界，不同 cohort 的事件率、删失机制、baseline hazard 和形态学信号都可能不同。以前方法卡在两个地方：rehearsal 在 WSI 场景成本和隐私都不友好；regularization 只在参数层面保守约束，未必能保护 Cox ranking 所需的任务特异方向。关键矛盾是：需要跨任务共享一个可部署表示，但 survival head 和风险尺度又天然有 cohort-specific 成分。

Motivation

作者选择 model merging 的动机是合理的：WSI continual learning 中最贵的是旧数据访问和重复训练，而不是保存若干参数副本。若每个任务都能独立从同一 pathology foundation model fine-tune，那么每个任务学到的东西可以被视作相对 prior 的参数增量；这些增量比原始 WSI 更轻、更易共享，也更符合隐私约束。缺口在于，已有 merging-based WSI work 主要面向分类，默认输出空间较清晰；survival analysis 则需要处理删失和连续风险，这使得“合并 backbone”与“如何读出风险”必须分开考虑。

Core Idea

MergeSurv 的真正核心是把 continual survival learning 从 sequential parameter updating 改成 task-vector composition。传统 naive fine-tuning 是在同一个模型上不断覆盖参数；MergeSurv 则让每个任务从相同 TITAN prior 出发独立学习，再把任务向量投影后合入一个共享 aggregator。这样引入的 inductive bias 是：不同癌种的可迁移组织学表征可以在 foundation-model 局部参数空间中以近似可加的方向表示，而冲突方向需要被压制。

相比 prior，它改变的是信息流组织方式：旧任务信息不再以样本、logit 或 Fisher 权重形式存在，而是以相对 prior 的参数方向存在。VEA 进一步承认 survival readout 的不可完全共享：backbone 合并，head 保留，测试时根据 WSI 表征与 task prompt 的相似度软选择专家。这个设计比 OFA 更接近真实问题，因为跨癌种 survival risk 的尺度和语义未必能靠简单平均 head 对齐。

Method

方法上只需要抓住三个机制。第一，ad hoc fine-tuning 不是普通训练细节，而是为了把每个任务的知识都锚定到同一个 TITAN prior；这个锚点是后续参数合并成立的坐标系。第二，OPCM 合并解决的是新旧任务向量冲突：通过对历史累计 update 做子空间分解，再移除新 update 中与历史方向重叠/干扰的成分，尽量让新知识以正交方向进入共享模型；这是一种参数空间的 interference control，而非数据空间 replay。第三，OFA/VEA 解决的是 survival head 合并问题：OFA 用平均 head 换取最小部署复杂度，VEA 用多头和 prompt-based routing 保留 cohort-specific risk mapping。核心变化是从“一个持续训练的 survival model”变成“一个合并的 WSI representation + 可共享或可路由的 risk head”。

Key Insight / Why It Works

最可能有效的部分是“同一 foundation prior 下的 task-vector merging”，而不是 survival loss 本身。TITAN 已经提供了强 pathology 表示，后续 fine-tuning 的 update 可能较小且位于同一局部线性区域；在这种条件下，参数向量加法/投影才可能不崩。换句话说，MergeSurv 的能力很大一部分来自 representation alignment 和 foundation-model scaling，而不是从零发明了新的 continual survival learner。

VEA 的提升也值得拆开看。它可能并不是证明了 merged backbone 学到了完全统一的跨癌种 survival representation，而是说明“合并 backbone + 保留 task heads + soft routing”比强行单头平均更稳。这里有明显的 memory reuse / expert ensemble 成分：虽然不存旧 WSI，但保留了旧任务 head，因此旧任务知识并未完全压缩进一个模型参数集合。OFA 更能检验真正统一模型能力，但表现弱于 VEA，说明 survival head 的任务特异性很重要。

OPCM 的正交投影提供了一个漂亮但强假设的解释：不同任务知识可以被分解到不干扰的参数子空间。但在深网中，Frobenius 正交不等价于功能正交；它可能只是经验上减少 destructive averaging。增益来源不清：可能来自避免 sequential fine-tuning 的覆盖效应，也可能来自 independent fine-tuning 的更好 task optimum，还可能来自 VEA 的专家路由。论文没有充分隔离这些因素。

Relation To Prior Work

它最接近三条线：task arithmetic/model soups/OPCM 的参数空间合并，WSI continual learning，和 WSI survival analysis。真正不同点不是提出了新的 Cox survival formulation，而是把 merging-based CL 移植到 survival WSI，并意识到 head 不能像分类器那样简单处理。相对 EWC/LwF，它不试图在训练过程中保护旧任务，而是在训练后合成多个独立 optimum；相对 ER/DER，它用参数向量替代样本 buffer；相对 MergeSlide，它把分类 prompt-aligned inference 改造成 survival risk head 的 OFA/VEA。

看似新的部分里，OPCM 合并和 task-vector 思想基本来自已有工作；TITAN 也是外部 foundation model；Cox loss是标准选择。实质创新主要在问题重组：把 continual WSI survival 的隐私/存储约束映射为 data-free model merging，并提出对 survival head 更保守的多专家读出。它属于“foundation model + parameter-efficient/data-free continual adaptation”的谱系，而不是传统 CL 算法谱系。

Dataset / Evaluation

评估覆盖四个 TCGA 癌种，能初步验证跨 cohort sequential survival learning，但还不是强真实世界验证。所有任务来自 TCGA，同源数据处理、同一 patch encoder、同一 WSI sampling 设定，域差异小于跨医院部署；因此结果更支持“在标准 TCGA 多癌种序列上有效”，不充分支持“真实跨机构 lifelong pathology”。

实验指标包含 C-index、IPCW C-index、forgetting/BWT 和 KM 曲线，方向上是合理的。值得注意的是，普通 C-index 上 MergeSurv-VEA 强，但 IPCW 上 EWC 最高，这说明在删失校正后优势没有那么干净。任务顺序固定为 BLCA→UCEC→LUAD→BRCA，也缺少顺序敏感性分析；四个任务规模太小，无法判断 merging 在长序列下是否稳定。KM 曲线提供风险分层的可视化证据，但 tertile 分组和 out-of-fold risk 仍是 benchmark 内验证，不等价于临床可迁移性。

Limitation

最大限制是方法的前提很强：任务必须共享一个足够好的 pathology prior，且各任务 fine-tuned update 必须在参数空间中近似可加。若新任务来自强域偏移、不同 staining/scanner、不同 endpoint 或不同删失机制，这个线性合并假设可能失效。正交投影也有容量上限；任务数增加后，可用的非冲突子空间会减少，λ 的 norm control 只能限制漂移，不能保证功能保持。

第二个限制是增益归因不清。VEA 保留多个 task-specific heads，本质上把一部分旧任务知识存在 head bank 中；这比纯 single-model continual learning 更宽松。prompt routing 是否真的理解 task relevance，还是利用 TITAN text-image alignment 做粗粒度 cancer-type retrieval，文中未充分说明。所谓 unified inference 在 VEA 下更像 mixture-of-experts，而不是完全合并后的单模型。

第三，survival 统计层面的假设没有被深入处理。不同癌种的 Cox risk score 未必共享尺度，平均 head 或加权 head 输出是否可比较需要更强论证。IPCW 结果不完全占优也提示删失机制可能影响结论。整体上，这篇更像把有效的 merging 工程范式推进到 WSI survival，而不是解决了 continual survival learning 的统计本质问题。

Takeaway

• 1. 对 WSI 这类旧数据昂贵/敏感的场景，data-free parameter merging 是比 rehearsal 更自然的 CL 方向，尤其当已有强 foundation model 提供共同坐标系时。
• 2. Survival continual learning 不能只合并 backbone；risk head 的 cohort-specific 性质必须显式处理。
• VEA 的成功说明未来更可能走向“共享表征 + 条件化/路由式 survival head”，而不是完全单头统一。
• 3. 这篇真正可迁移的 insight 是：把旧任务信息压缩为相对 foundation prior 的 task vector，可以作为隐私友好的知识交换格式。

一句话总结

MergeSurv 是一篇把 foundation-model task-vector merging 推进到 WSI continual survival analysis 的工作，实质贡献在于用参数空间合并和多专家风险读出替代旧数据回放，属于 data-free continual adaptation 从分类走向临床时间结局建模的一步。