精读笔记

Problem Setting

题目：Cross-device Collaborative Test-time Adaptation with Zeroth-order Optimization and Model Merging（arXiv preprint / 2026）。这篇论文实际处理的是 CDC-TTA 中最难落地的一端：资源受限设备不能承受 BP，却仍希望利用 test stream 做目标域适应。困难不在于 TTA loss 怎么写，而在于传统 TTA 的优化变量是模型参数，哪怕只更新 norm affine，也需要反传图、activation 和梯度存储；这和 edge/quantized deployment 的内存约束直接冲突。以前 BP-free 方法通常牺牲了参数更新能力，变成 BN stats、prototype 或 cache 层面的修补；CDC-TTA 的 CoLA 虽然能利用多设备模型，但本质是基于特征统计相似度的静态选择/合并，不能真正针对当前目标 batch 优化。关键矛盾是：想要 test-time adaptation 的可塑性，但设备端只允许 inference-level memory。

Motivation

已有路线缺的是一个“可优化但低维”的 adaptation interface。直接 ZOO 到模型权重维度太高，收敛慢且噪声大；直接模型合并又太静态，合并权重不一定对应当前目标域。作者的核心观察是 CDC-TTA 不只是通信框架，它天然提供了一组已经在不同域上 TTA 过的参数偏移，这些偏移可以被视为跨域适应 basis。于是合理方向不是让弱设备重新学习参数，而是让弱设备在已有适应方向之间做 test-time routing/composition。这个缺口非常明确：用 forward-only optimization 去学习“如何复用历史适应经验”，而不是学习完整模型更新。

Core Idea

论文真正的核心是把 TTA 从高维权重更新重写成低维模型合并系数优化。多个设备上传的 TTA 后模型与 base model 的差分形成 task vectors；目标设备不直接改网络参数，而是在这些 task vectors 张成的子空间里，通过 ZOO 根据当前无标签 batch 的 loss 调整合并系数。这个建模方式引入的 inductive bias 是：目标域适应可以由若干已观察域的适应方向线性组合近似。它重新组织了 CDC-TTA 的信息流：强设备负责产生适应方向，服务器负责清洗/压缩这些方向，弱设备只负责低维在线选择。

和 prior 的本质区别在于，它不是单纯 BP-free，也不是单纯 model merging，而是用 model merging 给 ZOO 降维，用 ZOO 给 model merging 注入目标域反馈。CoLA 是基于统计相似度的 retrieval/weighting；本文是基于 test-time loss 的局部优化。它更 scalable 的地方在于设备端内存基本接近推理；更 generalizable 的地方只在于模型池覆盖足够多域时，目标域可由已有方向组合出来，这一点不是无条件成立。

Method

方法层面真正必要的机制只有三个。第一，task-vector 合并把不同设备的已适应模型转成可复用的参数方向，解决“弱设备没有能力自己产生梯度更新”的问题；核心变化是把 adaptation 变量从参数本身换成合并系数。第二，ZO-SGD/SPSA 用两次扰动前向估计系数方向上的 loss 差分，解决“不能 BP”的问题；它的作用不是提供高质量梯度，而是在低维空间内提供足够便宜的局部搜索信号。第三，服务器端预处理通过 top-k 去掉 task vector 中小幅、可能干扰的元素，再用 SVD/自适应 rank 把跨模型冗余压缩成低秩 basis，解决“模型数增加会重新抬高 ZOO 维度”的问题。

这里不应把 NWS/RR/ARS 看成三个平等模块。机制上 RR/低秩化最关键，因为它直接决定 ZOO 是否仍在可搜索维度内；NWS 更像借鉴 TIES/Breadcrumbs 一类模型合并经验来降低干扰；ARS 是工程上避免固定 rank 不适配不同层。random seed trick 是内存工程优化，不是核心算法创新。

Key Insight / Why It Works

这篇最重要的 insight 是：在 CDC-TTA 中，跨设备模型不是 ensemble 资源，而是一个可压缩的 adaptation memory。模型池记录了不同 shift 下 BP-TTA 已经找到的参数位移；弱设备的任务不是重新发现这些位移，而是用少量 forward-only compute 在这些位移之间做组合。这本质上是 memory reuse + low-dimensional latent structure，而不是新的优化理论。

最可能贡献主要增益的是两部分：一是 model merging 带来的域覆盖，二是低秩/稀疏预处理把合并空间变得适合 ZOO。ZOO 本身不是强贡献；如果直接对参数做 ZOO，论文也承认几乎没有收益。换句话说，ZOO 在这里成立是因为优化问题被改造成了低维、有结构、有先验的搜索，而不是因为 zeroth-order optimization 突然适合深网 TTA。

需要直说的是，性能提升很可能部分来自隐式 domain retrieval：目标 corruptions/style 与模型池中的其他 domains 有共享因素，合并系数优化相当于在已有域适应方向中找近邻/组合。它比 CoLA 强，是因为用目标 loss 做了比 feature-stat similarity 更直接的 routing；但这也意味着如果 benchmark domains 之间没有可组合结构，或者目标域完全 out-of-support，方法上限会很快暴露。所谓泛化更多是“在已有适应 basis 上插值”，不是开放域下从无到有的适应。

Relation To Prior Work

技术谱系上它位于 CDC-TTA、model merging、forward-only/ZOO TTA 三条线的交叉处。和 Tent/ROID/DeYO 等 BP-TTA 相比，它放弃直接参数梯度，换取设备可执行性；和 BN stats/T3A/cache/prototype 类 BP-free TTA 相比，它没有完全冻结模型，而是通过合并参数方向保留一定模型级可塑性；和 CoLA 相比，它不再用固定统计相似度决定合并，而是在目标 batch 上优化合并系数。

看似新的部分不少其实是已有思想重组：task vectors 来自 task arithmetic，top-k 抑制来自模型合并中的 interference 处理，SVD 低秩化也已有 model merging 先例，SPSA/ZO-SGD 是标准 zeroth-order。实质创新在于把这些组件放到 CDC-TTA 的资源分工里，形成一个清晰的系统级重参数化：强设备生产 basis，服务器压缩 basis，弱设备优化 basis coefficients。这比单个算法模块更重要。

Dataset / Evaluation

实验覆盖常见 corruption、style transfer、CNN/ViT、量化模型，足以支持“在标准视觉 domain shift benchmark 上，forward-only 低维合并优于静态合并/常见 BP-free baseline，并显著省内存”这个 claim。尤其量化模型实验对论文叙事有价值，因为 BP 在那里天然不可用，能突出 forward-only 的应用位置。

但 evaluation 没有真正验证完整 CDC-TTA deployment。共享模型是离线为每个 domain 先用 DeYO/ROID 适应一轮得到的，目标域模型还被从 pool 中排除，这比直接泄漏好，但仍是受控 benchmark 下的 domain library 设置。真实系统中的设备异步、通信带宽、模型上传频率、隐私约束、非平稳 test stream、batch size 受限、latency budget 都没有充分验证。实验主要证明算法在离线域集合上有效，尚不能证明真实跨设备协作 TTA 已经可部署。

Limitation

最大限制是模型池覆盖假设。方法依赖多个已有域的 adapted weights 能张成目标域附近的有效子空间；如果目标 shift 不在这些 basis 的线性/低秩组合附近，ZOO 只能在错误空间里优化。第二，方法把设备端 BP 成本转移到强设备和服务器端：需要先有 BP-TTA 产生源模型，还要做 SVD/预处理和模型分发；系统总体成本并没有消失。第三，上限受限于低维系数化，作者也承认精度达不到 BP-based 方法，这不是调参问题，而是自由度与内存约束之间的结构性 trade-off。

增益归因也不完全干净。model merging 本身已经带来大部分提升，ZO-SGD 的边际收益相对有限；低秩压缩既可能改善优化，也可能起到正则化/去噪作用，二者没有完全拆开。文中未充分说明不同 loss 在 ZOO 下的稳定性，也没有讨论 entropy-like objective 在错校准、高噪声或类别偏移下会不会把系数推向错误方向。对真实 edge 场景而言，两次额外 forward 的功耗和延迟也不是小问题，只是相对 BP 内存更可接受。

Takeaway

• 第一，CDC-TTA 的有价值抽象不是“多设备 ensemble”，而是“多设备产生的 adaptation memory”；未来值得研究的是如何维护、检索、压缩和更新这个 memory。
• 第二，forward-only TTA 要成立，关键通常不是 ZOO 算法本身，而是先把优化空间变成低维、有语义、有覆盖的 latent space。
• 第三，模型合并在 test-time 场景中更像一种参数空间 retrieval/routing，比传统 offline multi-task merging 更贴近部署。
• 第四，下一步真正有价值的问题不是再堆一个预处理模块，而是动态构建模型池、检测目标域是否 out-of-support、以及在内存预算允许时混合少量 BP 与系数优化。

一句话总结

这篇论文把 CDC-TTA 中跨设备模型池重新解释为可压缩的适应子空间，并用 forward-only ZOO 在该子空间内做目标域系数优化，是一类从“端侧反传适应”转向“端侧低维适应记忆路由”的方法演化。