精读笔记

Problem Setting

这篇论文实际解决的是 3D point cloud classification 在“隐私训练 + 边缘部署”组合场景中的评价与归因问题。困难不只是 non-IID FL 会掉点，也不只是小模型 KD 要保精度，而是两阶段 pipeline 的最终 student accuracy 可能完全不代表 federated teacher 的能力。以前方法卡在把 FL 和 KD 当作可串联模块：先联邦训练 teacher，再用 labeled proxy data 蒸馏 student，最后看 student accuracy。但如果 KD loss 里有 hard-label CE，student 可以绕过 teacher 直接从 proxy labels 学到任务，这使 FL 阶段是否成功变得不可见。关键矛盾是：FL 的动机是避免集中化敏感监督信号，而常规 KD evaluation 又把这些监督信号通过 hard labels 放回来了。

Motivation

已有路线不够的地方在于评价协议没有区分 teacher transfer 与 label supervision。3D FL literature 多数关注 aggregation under non-IID，KD literature 多数关注 compression ratio/accuracy trade-off，FL+KD 的组合工作则倾向于报告 end-to-end student accuracy。作者的核心观察是：在强 labeled proxy split 上，KD objective 只要保留 CE，student 就可能达到 centralized ceiling，即使 teacher 已经 collapse。缺的不是又一个 FL aggregator 或 KD loss，而是一个能判断 student performance 到底来自 federated teacher 还是来自 proxy labels 的 benchmark/control protocol。

Core Idea

核心思想是把 FL-KD pipeline 变成一个受控诊断实验：先用多个 FL algorithms 在极端 label-skew 下产生质量跨度很大的 teachers，再把这些 teachers 与不同 KD objectives 做交叉组合，观察 student accuracy 是否随 teacher quality 变化。这里真正改变的是评价的信息流：不再把最终 student 当作黑箱结果，而是把 teacher quality 作为输入变量，把 hard-label CE 作为干预变量，检查输出是否保持因果依赖。直觉上，如果 KD 真在传递 teacher knowledge，那么 teacher 崩溃时 student 也应崩溃；如果 student 仍然恢复到高精度，那说明评价中存在 hidden supervision。

和 prior 的本质区别是，这篇不试图证明某个新 objective 更强，而是证明一类常见 evaluation protocol 不可信。它引入的 inductive bias 不是模型结构上的，而是 benchmark 设计上的：通过 teacher-quality sweep 和 no-hard-label objectives 强迫 pipeline 暴露真实 transfer dependence。这比单一 leaderboard 更 generalizable，因为它测的是机制相关性，而不是某个数据集上的绝对精度。

Method

方法保留几个关键机制即可。第一，构造极端 label-skew federated setting，使每个客户端只覆盖标签空间的一段；这不是为了模拟所有现实场景，而是为了放大 client drift 和 aggregation failure，得到从 strong 到 collapsed 的 teacher spectrum。第二，固定 PointNet++ SSG teacher 与 compact PointNet++ student，把变量集中在 FL algorithm 和 KD objective 上；这降低了架构混杂，但也限制了结论外推。第三，把 KD objectives 按 hard-label CE weight 分成两类：CE-positive objectives 提供直接监督 fallback，CE-zero objectives 迫使 student 依赖 teacher outputs/features。第四，在 combined grid 中报告 student-teacher accuracy correlation；这个指标比最终 student accuracy 更接近“是否真的蒸馏了 federated teacher”。

Key Insight / Why It Works

最重要 insight 是：FL-KD pipeline 的 student accuracy 可以被 hard-label CE 完全接管。只要 proxy labels 足够强、student capacity 足够、任务本身可被 compact model 学到，teacher 的 logits/features 可以退化成几乎无关的 regularizer。此时所谓“从 federated teacher 蒸馏成功”其实是 supervised training on proxy labels，属于 hidden supervision/evaluation leakage，而不是 knowledge transfer。

论文有效的部分来自 representation alignment 的反面证据：当 CE 被移除后，feature/attention/relational objectives 不再有 label fallback，student accuracy 与 teacher quality 高相关，collapsed teacher 导致 collapsed student。这说明 label-free KD 才能作为 federated teacher 的 probe。这里最可能的核心贡献不是 13 个 FL 算法或 10 个 KD objectives 的规模，而是把 CE term 识别为混淆变量，并用交叉网格证明它支配了 combined pipeline 的报告结果。

FL 部分的发现也有价值，但归因更不干净。PointNet++ 在 extreme label skew 下退化，可能来自局部几何抽象层对客户端标签子分布过拟合，也可能来自 round budget、client count、server optimizer tuning 或 deterministic partition 过于苛刻。server-side optimizers collapse 的现象值得注意，但文中对“为什么 adaptive moments 在 3D hierarchical features 上特别坏”的解释仍偏经验性，文中未充分说明。KD compression 部分则更像 engineering/scaling：centralized teacher 强、student 仍有足够容量、proxy labels 完整时，多数 KD objectives 接近 ceiling 并不意外。

Relation To Prior Work

这篇最接近三条谱系：non-IID federated learning benchmark、knowledge distillation objective comparison、以及 FL+KD/privacy-preserving edge deployment。它与常规 FL benchmark 的不同点在于不只比较 aggregator，而是追问 downstream KD 是否忠实反映 aggregator；与常规 KD benchmark 的不同点在于 teacher 不是默认强 teacher，而是包含 federated failure modes；与 FL+KD 工作的不同点在于它把 labeled proxy distillation 视为潜在评价污染，而不是默认合理设定。

看似新的部分，如 13×10 cross-product、多 seed、多数据集，更多是 benchmark engineering；实质创新是 evaluation diagnosis：用 hard-label vs label-free objective 的分裂证明 student leaderboard 会奖励 collapsed teacher。这是已有 no-CE/unlabeled-proxy distillation 思想在 FL-KD 评价中的重新定位，但定位很重要，因为它直接改变了应该如何报告 FL-KD 结果。

Dataset / Evaluation

评价覆盖 ModelNet40 和 craniosynostosis clinical shape data，外加 supplementary 的 ModelNet10/OmniObject3D standalone 结果。就核心 claim 而言，ModelNet40 提供较大标签空间和可控 collapsed teachers，临床数据提供隐私语境和完整 13×10 multi-seed grid；两者足以支持“hard-label KD masks federated failure”这一主张。尤其 clinical grid 中 chance-level teacher 仍能经 CE objectives 得到 near-ceiling student，而 pure-transfer objectives 跟随 teacher，这是很强的机制证据。

但 evaluation 对“真实部署”支持有限。临床集规模小且接近 ceiling，容易让 CE fallback 显得更强；统计形状模型与真实跨机构扫描之间仍有 domain gap。非 IID 只测极端 label-disjoint partition，未覆盖更常见的 mixed label skew、feature shift、scanner/site shift、client imbalance 或 temporal drift。没有真实边缘硬件，只报告单 GPU latency，因此 edge deployment claim 更多是方向合理，不是完整系统验证。

Limitation

最大的限制是论文把问题诊断得很清楚，但没有真正解决 FL 在 3D non-IID 下的退化。label-free KD 可以让评价更诚实，却不能让 collapsed teacher 变好。换句话说，它把“虚假的高 student accuracy”去掉了，但实际部署仍面对低质量 federated teacher。

第二，结论对极端 label-skew 非常敏感。若真实机构之间共享部分标签、存在 public unlabeled data、或客户端分布不是按类别切块，FL 排名和退化程度可能显著变化。第三，单一 PointNet++ SSG backbone 限制了机制归因；hierarchical set abstraction 是否比 transformer/kpconv 更易受 parameter averaging 破坏，文中未充分说明。第四，KD 部分的高精度很可能主要来自 labeled proxy data 覆盖和 student capacity，而非蒸馏 objective 本身；增益来源不清。第五，multi-seed 只变化初始化/训练随机性，不变化 partition，因此方差没有覆盖最关键的 federation split uncertainty。

Takeaway

• 最值得记住的不是哪个 FL 算法第一，而是：FL-KD pipeline 必须报告 label-free/no-CE control，否则 student accuracy 没有资格代表 federated teacher。
• 第二，hard-label CE 在 combined distillation 中是一个强混淆变量，足以让 collapsed teacher 看起来成功，这类 leaderboard 应该被直接怀疑。
• 第三，未来 3D FL benchmark 应从“算法排名”转向“teacher quality 是否被 downstream pipeline 忠实保留”的因果诊断。
• 第四，真正值得做的是在真实 site split、无标签 proxy、强 backbone 和异构客户端条件下设计能抗 non-IID 的 federated representation，而不是继续堆 KD objectives。

一句话总结

这篇论文在 3D FL-KD 方向中的真正贡献是把“蒸馏后 student 高精度”重新定义为一个需要排查 hidden label supervision 的评价问题，而不是一个可直接宣称 federated teacher 成功的结果。