精读笔记

Problem Setting

ZO-Act 实际瞄准的是 LLM fine-tuning 中“反向传播不可用或太贵”时的优化质量问题，而不是单纯节省显存。MeZO 一类 full-space ZO 已经把训练内存降到接近 inference，但代价是梯度估计维度等于 adapted parameter dimension，噪声随维度爆炸，导致每个 update 的信息密度很低。关键矛盾是：要保持 forward-only 的低内存属性，又要让随机扰动足够接近真实有效更新方向。以前方法卡在两端：full-weight perturbation 太吵；随机 low-rank / sparse subspace 虽降维，但子空间和任务梯度的对齐不稳定。ZO-Act 的问题定义更准确地说是：如何用一次性、低成本的数据相关结构，把 ZO 的搜索空间压到一个仍能承载有效 adaptation 的区域。

Motivation

已有路线不够的地方在于它们多把 subspace 当成 perturbation sampler，而不是当成模型更新的参数化。随机低秩方法降低维度但没有保证方向有语义；activation-guided perturbation 利用 activation 但仍偏向构造更好的随机方向；optimizer 改进如 Adam/Muon/curvature preconditioning 主要处理噪声后的更新几何，没有从源头降低无效扰动。作者的关键观察是线性层的权重梯度由输入 activation 左乘输出梯度得到，因此 activation 的右奇异主方向天然限制了梯度的主要行空间。如果输入 activation 本身低秩，那么大量权重方向对输出影响很弱，在 ZO 中扰动这些方向基本是在买噪声。缺口就是：需要一个固定、数据相关、显式可优化的低维变量空间，使 ZO estimator 的维度、optimizer state、quantized backbone 兼容性同时受控。

Core Idea

核心思想是把 activation-informed subspace 从“采样技巧”升级为“参数空间”。对每个线性层，先用 calibration activations 找到 top-r right singular vectors V_r，然后把所有可训练更新限制为 ΔW = V_r B。训练时 W 和 V_r 都冻结，只在 B 上做 zeroth-order finite-difference gradient estimation。这样模型不是在原始权重空间中被扰动，而是在一个由数据分布定义的低维坐标系中被优化。

这个做法引入的 inductive bias 很明确：task-specific update 应该优先改变那些输入 activation 经常激活、且对输出变化最有杠杆的方向。它可能更 scalable，是因为 ZO 的方差项和 finite-difference error 都直接依赖 perturbation dimension；把维度从 d 降到 k 会直接提升 estimator 的信噪比。和 prior 的本质区别不是“也用了低秩”，而是它把低秩方向固定为模型的可训练 reparameterization，从而让 optimizer、quantization、memory layout 都围绕 coefficient space 组织。

Method

第一，one-shot activation basis 解决的是子空间选择问题。它用 calibration batch 的输入 activation SVD 选择 V_r，相当于用数据分布替代随机先验；必要性在于 ZO 没有 backprop 梯度可直接指导方向，只能靠 forward loss，而 activation spectrum 是可用的低成本代理。

第二，ΔW = V_r B 解决的是高维扰动问题。由于 V_r 固定，训练变量 B 的维度为 rn 而不是 mn；核心变化是 ZO estimator 的随机向量不再覆盖整层权重，而只覆盖 coefficient matrix。这不仅减少方差，也让 optimizer state 只存 B 的状态。

第三，在 B 空间做 forward-difference ZO 并用 Adam 更新，解决的是 ZO 更新不稳定和缺少显式参数的问题。许多 in-place ZO 方法难以自然套用标准 optimizer，因为没有普通意义上的 trainable parameter；ZO-Act 把 B 暴露出来，使 Adam 的动量和自适应缩放可以直接作用于估计梯度。

第四，对 quantized model 的适配不是额外模块，而是该参数化的自然结果：低比特 W 冻结，只训练 full-precision 或轻量 coefficient B。这里的核心变化是避免对 quantized backbone 做反传或高精度权重更新，但仍允许低秩残差路径承载 adaptation。

Key Insight / Why It Works

最重要的 insight 是：ZO 的主要失败模式不是没有梯度，而是查询预算被浪费在无效维度上。activation-informed low-rank subspace 同时做了两件事：一方面降低 estimator variance，另一方面提高随机扰动对 loss 的有效影响概率。对于线性层，X ΔW 决定输出扰动；若 ΔW 落在 X 的右奇异主空间，输出变化会被大 singular value 放大；若落在尾部方向，forward loss 几乎不敏感。ZO-Act 实际是在最大化每次 function query 的信息密度。

真正的核心贡献是固定 activation basis + coefficient-space ZO，而不是 SVD 本身，也不是 Adam 本身。SVD 只是构造 inductive bias 的手段；Adam 是这个参数化释放出来的工程红利。rank=1 在 full-precision setting 上效果最好很有信息量：这说明 ZO-Act 的收益很可能更多来自强降维带来的方差压制和正则化，而不是更高 expressiveness。换句话说，它不是在逼近完整 FO 梯度，而是在找到一个非常窄但高信噪比的 adaptation 通道。

这本质上属于 better inductive bias + latent structure exploitation，不是 retrieval、curriculum 或 test-time compute。它利用的是 LLM activation/gradient 的低秩结构，以及 downstream adaptation 的低维性假设。论文中“activation subspace stability”和“gradient energy captured”实验是关键支撑，但仍偏诊断：只看了部分层、部分任务、FO run 中的 checkpoint。若任务需要大幅改变 representation，或者有效梯度能量分散在 activation tail directions，ZO-Act 的优势可能快速消失。

有限差分理论中的 k-vs-d 改善是成立的，但不是完整解释。因为实际优化的是 restricted objective，低方差和低 bias 之间没有免费午餐。论文的实验结果更像说明在这些 benchmark 上，bias 足够小、variance reduction 足够大；不能推出 activation basis 普遍捕获所有下游任务的有效更新。

Relation To Prior Work

ZO-Act 属于 MeZO 之后的 structured ZO fine-tuning 谱系，最接近 SubZero/LOZO/AGZO/ZO-Muon。和 MeZO 的差异是从 full-parameter random perturbation 转为低维 coefficient-space perturbation；和随机 subspace 方法的差异是子空间由 activation 决定而不是随机生成；和 AGZO 的差异更关键：AGZO 用 activation 辅助构造扰动方向，ZO-Act 用 activation 定义固定参数化。前者仍主要是 direction engineering，后者是 reparameterized optimization。

看似新的部分里，低秩更新、activation SVD、LoRA 式残差参数化都不是新思想；实质创新在于把它们放进 ZO 场景后形成一个很干净的 trade-off：用一次性 activation basis 换取低维 ZO、Adam-compatible trainable variables、quantized frozen backbone。它与 LoRA 的关系也很直接：形式上像固定 A=V_r、只训练 B 的 LoRA；区别是 A 不是随机/可训练，而是 activation-informed，并且训练信号来自 ZO forward queries。它也和 GaLore/gradient low-rank 的直觉相邻，但 ZO-Act 在没有梯度的情况下用 activation 作为 proxy。

Dataset / Evaluation

评估覆盖了语言理解、问答、commonsense reasoning，以及 full-precision 和 INT4 quantized LLM，任务面足够支撑“不是单一 benchmark trick”的基本判断。它也比较了多个强 ZO baseline，并控制了大致 forward-query budget；这对 ZO 方法很重要，因为 wall-clock 和 query count 往往比 step count 更有意义。

但 evaluation 仍有明显边界。首先，language understanding 部分采用每任务 1k train/test 的设置，容易放大 prompt、采样、seed、超参调节带来的波动；CB/RTE 这类小数据任务尤其如此。其次，很多 baseline 数字来自 ZO-Muon，AGZO 是作者实现，严格公平性依赖实现细节，文中未充分说明所有方法的调参预算是否一致。第三，commonsense reasoning 是合并训练后 open-ended answer-match，能说明多任务适配能力，但离真实 deployment 中的长上下文、指令跟随、安全对齐、持续学习仍有距离。

最能验证核心 claim 的其实是 ablation/diagnostic：rank sweep、activation subspace stability、gradient alignment、runtime/memory。它们支持 activation basis 的有效性和低维 ZO 的效率。但缺少更系统的 calibration sensitivity、layerwise basis choice、跨域分布偏移实验，因此“one-shot basis generalizes”这个 claim 还没有被充分压力测试。

Limitation

第一，核心前提是 activation top singular subspace 与 downstream gradient/update subspace 对齐。这个前提在 LLM 常规分类/QA fine-tuning 上可能成立，但不是理论必然。若任务依赖罕见 token、长尾语义、domain-specific features，calibration activation 的主方向可能反而对应通用高频模式，尾部方向才承载任务差异。

第二，方法把 full-space optimization 的困难转移成 subspace approximation bias。理论只说明在 coefficient space 中 ZO 更稳定，并没有说明 restricted optimum 接近 full optimum。文中的 least-squares 分析依赖残差能量集中在 top activation directions；这是有启发的，但对真实 transformer 非线性、多层耦合和 autoregressive loss 来说仍是局部直觉。

第三，rank=1 的强结果暗示上限也很明显。它可能适合小幅 task adaptation，却未必适合需要大容量更新的 instruction tuning、domain adaptation 或 alignment。INT4 设置使用 rank=32，也说明当 backbone capacity/precision 受限时，需要更大子空间补偿；这会重新引入 ZO 方差问题。

第四，one-shot frozen basis 的稳定性只在有限任务和少数 q-projection layer 上诊断。文中未充分说明 basis 是否在 MLP、K/V/O projection、不同深度、不同数据域上同样稳定。若训练过程中 representation drift 明显，固定 basis 会成为瓶颈。

第五，增益来源不完全清晰。ZO-Act 同时改变了子空间、参数化、optimizer 可用性、正则化强度和 query allocation；虽然 Adam-vs-SGD 提供了一点证据，但还不足以完全分离 activation-informed basis 与 explicit coefficient optimization 的贡献。

Takeaway

• 1. 对 ZO fine-tuning 来说，最关键的不是设计更复杂的随机估计器，而是先把 perturbation dimension 压到一个与梯度结构对齐的空间；维度本身就是优化难度。
• 2. Activation 可以作为无反传条件下的 gradient proxy。
• 它不提供梯度符号，但提供了哪些权重方向会有效影响输出的几何信息；这个 insight 可迁移到其他 black-box / low-memory adaptation 场景。
• 3. ZO-Act 更像“activation-conditioned LoRA with ZO training”，未来自然方向是动态/分层/任务自适应 basis，而不是简单增大 rank。

一句话总结

ZO-Act 是一类 activation-informed reparameterized ZO fine-tuning 方法：它的实质贡献是把 LLM 的低秩 activation/gradient 结构转化为固定 coefficient-space 优化，从而用受控 subspace bias 换取显著更低的 ZO 方差。