精读笔记
Problem Setting
[FedProIn: Mitigating Client Drift for Learnable Prototypes in Federated Medical Imaging]（arXiv preprint / 2026）
这篇论文实际处理的是医学影像 FL 中“共享判别语义结构”在非 IID 条件下失稳的问题。难点不只是客户端参数平均失效，而是本地训练会同时改变 feature geometry 和 prototype geometry：同一疾病类别在不同客户端可能被映射到不同区域，而可学习 prototype 又会被本地病例构成、采集域和长尾类别牵引。
以前方法的瓶颈在于粒度不对。FedAvg/FedProx/MOON 约束的是参数或模型级表征，未必能对齐 class-level semantic anchors；FedProto/FedProc 这类方法用均值原型，默认每类单峰或至少可被一个均值代表，这在医学影像的类内异质性下很脆弱。关键矛盾是：原型需要足够灵活以表达多模态疾病表型，但又不能在每个客户端上自由漂移到本地域偏置。
Motivation
作者的核心观察是：prototype-based FL 过去多数把 prototype 当作 feature statistics，而不是可训练的判别参数。均值 prototype 可以传递类别中心，但无法主动塑造 decision boundary；单 prototype 还会把类内亚型压扁。医学影像中同一标签下的形态差异、采集差异和疾病亚型差异都使这个假设很弱。
缺口在于：如果引入 learnable prototypes，确实能获得更强的类间分离和类内紧凑性，但 FL 场景下它们会成为新的漂移源。也就是说，CPL 式 learnable prototype 在集中式训练中成立，不代表在异质客户端中可直接成立。FedProIn 的动机就是补上这个缺口：让 prototype 可学习，但同时给它们一个跨客户端的稳定化机制。
Core Idea
FedProIn 的真正核心不是“加了几个 loss”，而是把联邦模型中的共享对象从单纯参数平均扩展为“多原型语义锚点 + 使用感知聚合”。每个类别有多个可学习 prototype，用来承接类内多模态；encoder 仍通过 FedAvg 聚合，但 prototype 不按客户端样本量平均，而按本地训练中实际被激活的次数加权。
直觉上它可能有效，是因为它把两个层面的不稳定分开处理：feature alignment 保证不同客户端的 embedding space 不至于旋转/平移到不可比；prototype alignment 保证语义锚点不被局部分布拖走；influence aggregation 保证服务器聚合的是“被样本实际使用过的 prototype”，而不是所有客户端上传的同名参数。和 prior 的本质区别在于，它不再把 prototype 当作被动统计中心，而是把 prototype 当作可训练、可聚合、可被选择频率赋权的共享结构。
Method
关键机制可以压缩成三点。
第一，FDL 解决 feature drift。每个客户端用上一轮全局 encoder 产生 frozen reference feature，并惩罚当前本地 encoder 的 feature 偏离。这不是为了提升局部分类本身，而是为了维持跨客户端 embedding coordinate system 的可比性。没有这个约束，多 prototype 聚合会失去意义，因为 prototype 坐标系本身已经不一致。
第二，PCL 解决 prototype drift。它让当前 local prototype 更接近上一轮 global prototype，同时远离该客户端上一轮 prototype。这个设计的意图是削弱客户端历史偏置，让 prototype 的更新方向更多服从全局语义而不是本地惯性。不过这里的合理性依赖一个前提：global prototype 比 local historical prototype 更可信。这个前提在强偏置或少数类客户端中未必总成立。
第三，NIA 解决多 prototype 的信用分配。多 prototype 下，同一类别的不同 prototype 被使用频率高度不均；若仍用 FedAvg，未被使用的 prototype 也会被样本量放大。NIA 用 nearest-prototype activation count 聚合，相当于把“哪个 prototype 真正解释了本地样本”作为服务器端权重。核心变化是从 data-size weighting 转向 usage-based weighting。
Key Insight / Why It Works
我认为最可能贡献主要增益的是 representation alignment + usage-aware aggregation，而不是 PCL 本身。消融里去掉 FDL 掉得更明显，这符合直觉：在 FL 非 IID 下，如果 embedding space 不对齐，后面的 prototype 操作都只是对不可比坐标做平均。FDL 本质上是把上一轮 global encoder 作为 temporal teacher，减少本地训练造成的坐标漂移；这属于 representation alignment，不是新的联邦优化理论。
NIA 是更有迁移价值的部分。它承认多 prototype 下参数索引相同不代表信息量相同，因此不能用客户端样本量盲目加权。用 activation count 做 influence 虽然简单，但抓住了 prototype model 的核心统计：prototype 的可信度来自它解释过多少本地样本。这比 FedProto 的 class mean 更细，也比纯 clustering 更轻。
PCL 的作用更像辅助稳定器。它通过 global-vs-local-history 的 margin 约束限制 prototype local overfitting，但 formulation 比较启发式。尤其“远离 previous local prototype”这个设计并不总是显然正确：如果客户端分布稳定且包含真实稀有亚型，previous local prototype 可能是有价值记忆，而不是应当被排斥的偏置。因此 PCL 的贡献可能依赖实验设置，未必是可泛化机制。
整体来看，这篇论文不是在做 scaling，也不是 retrieval/test-time compute；它主要是 better inductive bias + representation alignment + prototype memory reuse。它把类内 latent structure 显式暴露给 FL 聚合过程，这是比单纯加正则更重要的 insight。
Relation To Prior Work
它最接近三条线：FedProx/MOON 的 drift regularization，FedProto/FedProc/FedTGP 的 prototype FL，以及 CPL 的 learnable prototype classification。FedProIn 的不同点是把 CPL 式 learnable prototypes 放进 FL，并针对它产生的 drift/aggregation 问题做定制处理。
和 FedProto/FedProc 的本质差异在于 prototype 的身份：prior 多数 prototype 是 feature 均值，是数据分布的摘要；FedProIn 的 prototype 是可优化参数，是分类边界的一部分。和 FedTGP 的差异在于 FedTGP 虽有 trainable global prototypes，但客户端表征仍偏向 unimodal mean-style representation；FedProIn 强调每类多个 learnable prototypes，并用 influence 做逐 prototype 聚合。
但也要直说：很多思想并非全新。feature distillation/teacher alignment、contrastive prototype regularization、usage-weighted memory aggregation都已有类似精神。实质创新在于把它们组合到“多 learnable prototype 的 FL 聚合”这个具体矛盾上，并提出一个足够简单的 NIA，使多 prototype 不至于被 FedAvg 式聚合破坏。
Dataset / Evaluation
实验覆盖两个公开医学影像分类数据集，且都带长尾属性；这能部分支撑作者关于医学类别不均衡和异质性的 claim。但 evaluation 仍是模拟 FL：10 个客户端、Dirichlet α=0.5、同构模型、固定预训练 backbone。这验证的是受控 non-IID partition 下的鲁棒性，不等价于真实多中心部署中的 scanner/vendor/protocol shift。
结果显示 FedProIn 在 IID 和 non-IID 下都优于 baselines，尤其 non-IID 掉幅更小；这支持“drift mitigation 有用”的经验 claim。但 benchmark 没有直接测 feature drift/prototype drift 的量，也没有展示 prototype 是否对应真实医学亚型，因此 claim 仍停留在性能相关性。Matek-19 上最优 prototype 数为 1，HAM10000 上为 2，也说明多 prototype 并非普遍必要，收益依赖数据的类内结构。
另一个问题是 baseline 公平性。FedProIn 同时引入 learnable prototypes、CPL losses、balanced sampling、adaptive augmentation 和 NIA；虽然有消融，但增益来源仍可能混杂。文中未充分说明这些训练 recipe 对所有 baselines 是否等价适配。
Limitation
最大隐含前提是 prototype index 跨客户端可对齐。NIA 聚合第 k 个 prototype 时默认不同客户端的第 k 个 prototype 表示同一语义子模式；但多 prototype 在本地训练中可能发生 permutation 或 semantic role drift。没有显式 matching 或 optimal transport，这个假设在更强 heterogeneity 下可能崩。
第二，global prototype 被假设为比 local prototype 更可靠。PCL 的方向依赖这个假设，但在真实医疗 FL 中，某些客户端可能拥有中心医院没有的稀有病理模式；把它们拉回 global prototype 可能会抹掉有价值的 domain-specific signal。方法可能不是消除 drift，而是把局部特异性压缩进全局平均语义。
第三，scalability 上限不清。类别数、prototype 数、embedding 维度增加后，prototype 激活会更稀疏，NIA 的 count-based 权重可能变得不稳定。长尾类别中未被频繁激活的 prototype 可能继续被低估；class-balanced sampling 能缓解，但这把问题部分转移到了数据重采样和 augmentation。
第四，泛化证据有限。只有两个公开数据集和模拟划分，没有真实 cross-site 验证、外部测试集、模型异构、通信/隐私成本分析。核心能力可能部分来自 ImageNet-pretrained ResNet-18 和数据增强，而不是 FedProIn 机制本身。增益来源不清。
Takeaway
- 1. 对 prototype FL 来说，关键不是“传 prototype”，而是 prototype 是否是可训练的判别结构，以及服务器是否知道每个 prototype 在客户端上的真实使用情况。
- 2. 多 prototype 的价值取决于类内 latent structure；如果数据本身接近单峰，额外 prototype 可能只是增加参数和调参自由度。
- 未来工作应显式评估 prototype 是否对应可解释亚型，而不只看分类指标。
- 3. NIA 的思想值得迁移：在 FL 中，对结构化参数做聚合时，权重应来自局部使用/贡献，而不是客户端样本量。
一句话总结
FedProIn 是把集中式 learnable prototype classification 推进到医学影像联邦学习中的一次结构化改造，真正贡献在于用多原型语义锚点和使用感知聚合缓解非 IID 下的表征/原型漂移，但其泛化能力仍依赖较强的 prototype 对齐假设和受控模拟评估。