精读笔记
Problem Setting
[论文标题] Efficient PEFT Methods with Adaptive Checkpointing for Vision Models and VLMs on Resource Constrained Consumer-GPUs（arXiv preprint / 2026）
这篇论文真正解决的是：当只有 consumer GPU / edge-like 显存和能耗预算时，视觉模型 fine-tuning 是否仍然是合理选择，以及 PEFT、checkpointing、backbone architecture 应该如何组合。它不是在问“哪种 PEFT 精度最高”，而是在问“哪种适配路径在显存能装下、能耗能接受、推理可摊销的条件下仍然成立”。
关键困难不在参数量本身，而在 activation memory。PEFT 冻结大部分权重后，优化器状态和梯度确实下降，但前向过程中需要保留哪些 activation 取决于梯度流经过哪里；因此 trainable params 数量和 peak VRAM 不单调相关。BitFit 这种参数极少的方法反而可能因为每层 bias 都参与梯度而保留更长的 activation graph。
以前方法卡在两个地方：PEFT 论文通常把 trainable parameter count 当作 efficiency proxy，忽视显存/能耗；checkpointing 方法通常是静态或全局调度，不关心当前 PEFT 设置下哪些层才是真正的显存瓶颈。本文的关键矛盾是：越激进省显存，越多 recomputation，训练能耗越高；越少 recomputation，越可能 OOM。
Motivation
作者的核心观察是：在低显存视觉 fine-tuning 中，参数效率不是 deployment efficiency。真正缺的是一个同时观察 architecture、PEFT、activation retention、energy 的评估框架。
已有路线不够有三个原因。第一，LoRA/QLoRA/BitFit 等方法从 NLP PEFT 迁移过来后，常默认“少训参数 = 省资源”，但视觉模型在 224 分辨率下 activation footprint 很大，这个假设经常失效。第二，static checkpointing 虽然能把模型塞进显存，但它把所有层都重算，明显会浪费能耗，尤其在部分层本来不需要 checkpoint 的情况下。第三，DINOv2/OpenCLIP 等 foundation baseline 已经强到足以挑战 task-specific fine-tuning，因此必须重新判断“训练一次”是否还有必要。
所以这篇论文的动机不是发明一个新 adapter，而是补上一个 deployment-aware 的判断缺口：在真实受限预算下，哪些效率结论仍然成立，哪些只是云端 benchmark 上的错觉。
Core Idea
核心思想是把 PEFT fine-tuning 重新表述为一个 memory-energy constrained adaptation problem。PEFT 负责减少可训练状态和改变梯度路径；checkpointing 负责控制 activation 保存策略；architecture 决定 activation 曲线和 compute graph 的形状；foundation baseline 则提供“不训练”的参照系。论文的价值在于把这些变量放到同一坐标系，而不是分别优化。
Adaptive checkpointing 的直觉成立在一个简单假设上：对于层式网络，forward pass 中累计 activation memory 随层深大体非递减，因此可以等 memory_allocated 超过阈值后，从当前层开始 cascading checkpoint，而不是预先对所有层 checkpoint。这样做改变的是 activation information flow：前半段保留 activation，后半段用 recomputation 换显存。相比 static checkpointing，它不是更聪明地建模网络，而是更少地重算不必要的层。
和 prior 的本质差异在于 deployment constraint 被放进方法选择本身。LoRA/QLoRA/BitFit 仍是已有组件，checkpointing 也不是新概念；新增的是把 runtime memory threshold 作为调度信号，并把“是否值得 fine-tune”扩展到和 DINOv2/CLIP/VLM 的 energy-aware 比较。
Method
方法上只需要记住四个机制。
第一，PEFT × architecture 网格不是为了穷举 leaderboard，而是为了分离“参数效率”和“activation 效率”。同样参数量级下，ViT、TinyViT、Vim、MambaVision 的 activation graph 差异很大，因此能直接暴露“trainable params 不等于 VRAM”的问题。
第二，adaptive checkpointing 解决的是 static checkpointing 过度重算。它在每个 step 中监控 runtime allocated memory，超过 budget-derived threshold 后对后续层 checkpoint。核心变化是 checkpoint 决策从 architecture-agnostic static policy 变成 memory-triggered policy。
第三，NetScore 变体解决的是单指标误导。accuracy-only 会偏向 full FT 或大 foundation model；params-only 会偏向 BitFit；energy-only 又可能牺牲太多精度。NS_M / NS_# 的作用是把显存和能耗显式纳入排序，虽然权重选择仍带人为设计。
第四，foundation baseline 比较解决的是“训练是否必要”。DINOv2、OpenCLIP、SigLIP、小型 autoregressive VLM 被用来判断 PEFT 的机会成本：如果 frozen representation 足够强，fine-tuning 的一次性成本未必值得；如果目标域偏离预训练分布，PEFT 仍有优势。
Key Insight / Why It Works
最重要的 insight 是：低显存 fine-tuning 的主导变量不是 trainable parameter count，而是 gradient-carrying activation path。PEFT 真正有效，不只是因为参数少，而是因为它改变了 autograd 需要保留哪些中间状态。LoRA/QLoRA 往往把可训练模块局部化，使很多冻结层的 activation 可以更早释放；BitFit 虽参数极少，但如果每层 bias 都可训练，反而会让全网络 activation graph 保持活跃。这是比“PEFT 省参数”更有迁移价值的结论。
Adaptive checkpointing 有效的原因也很直接：在均匀 block 结构中，activation memory 累积相对平滑，阈值触发点稳定，因此只 checkpoint 后半段可以接近 static 的显存收益，同时减少 recomputation。这里真正贡献是 memory reuse / recomputation boundary 的 runtime 化，而不是新的优化算法。
但它的上限也很清楚：一旦网络有异质 stage，例如 TinyViT 的 MBConv stem，单一阈值会错误地把巨大 early activation 和后续轻量 block 混在一起处理，adaptive 可能比 static 更差。也就是说，该方法依赖“层间 activation footprint 近似均匀”这个隐含前提，泛化性有限。
Mamba 相关结论值得直接判断：论文显示 Mamba 不天然等于 efficient。Vim-S 的 sequential/deep block 带来高训练能耗，MambaVision-T 虽低能耗但 accuracy 较弱。所谓 Mamba 的线性复杂度优势在这些 224 分类设置下并没有自动转化为 edge fine-tuning 优势，增益来源更多受 block count、pretraining quality、activation layout 影响。
Foundation baseline 部分说明另一个更大的事实：DINOv2 的强性能很可能主要来自 data coverage / representation quality / scale，而不是某种 deployment-efficient mechanism。它在 accuracy 上很强，但推理能耗较高；是否胜出取决于推理次数和训练成本摊销。小型 autoregressive VLM 的失败则不是视觉编码器完全不行，更像 closed-set classification 与 generative decoding objective 不匹配，外加 instruction data 中分类监督不足。
Relation To Prior Work
这篇论文最接近三条技术谱系：PEFT for efficient adaptation、activation rematerialization/checkpointing、Green AI / deployment-aware evaluation。它不是 LoRA/QLoRA/AdaLoRA 的方法创新，也不是 DTR/Checkmate 那类通用最优 rematerialization 系统。
和 PEFT prior 的本质差异是评价对象变了：prior 通常评估 accuracy 与 trainable params，本文评估实际训练显存、训练能耗、推理能耗以及是否能在预算内完成。新增信息是：在视觉任务中，PEFT 的 memory behavior 由 activation graph 决定，和参数数量不单调。
和 checkpointing prior 的差异是粒度和目标不同。DTR/Checkmate 更像通用 tensor rematerialization scheduler，目标是最优或近似最优的内存-计算权衡；本文的 adaptive checkpoint 是一个简单 runtime heuristic，专门面向 PEFT 低显存训练。实质创新较小，但工程上抓住了一个重要 regime：static checkpointing 在 PEFT 下经常过度保守。
和 foundation model evaluation 的关系是，本文把“训练-free baseline”纳入同一 energy-aware 坐标系。这里真正新增的信息不是 DINOv2/CLIP 强，而是：在 deployment setting 中，training-free、one-time PEFT、repeated inference 三者必须按生命周期成本比较。
Dataset / Evaluation
评估覆盖 CIFAR-100 和 DTD，分别代表相对常规物体分类与较细粒度纹理域。这个选择能支持部分 claim：PEFT 在小数据/域偏移下可能比 full FT 更像 regularizer；DINOv2/CLIP 在自然图像覆盖较好的任务上非常强；autoregressive VLM 不适合 closed-set classification。
但 benchmark 覆盖仍偏窄。只有两个分类任务，没有检测、分割、长尾、多标签、视频或高分辨率输入；因此关于 Vision/Mamba architecture 的结论不能泛化到所有视觉 workload。特别是 Mamba 的长序列优势在 CIFAR/DTD 这类 224 分类场景中未必有发挥空间。
硬件方面，实验在 RTX 2060 SUPER 上用 per-process memory fraction 模拟 2GB budget。这比纯理论估计好，但仍不等于真实 Jetson Nano 或 GTX1650 的部署环境：带宽、功耗曲线、thermal throttling、shared memory 行为都不同。因此 energy claim 是相对比较可信，绝对部署数字需要谨慎。
evaluation 基本支持“PEFT 参数少不等于显存少”和“adaptive checkpoint 对均匀结构有效”这两个核心 claim；但对“方法可泛化到 resource-constrained consumer GPUs”支持不充分，因为缺少多硬件、多分辨率、多 batch size、多训练时长的 stress test。
Limitation
核心限制不是实验数字少，而是几个成立前提很强。
第一，adaptive checkpointing 假设 activation memory 沿层深近似平滑累积，并且触发点稳定。这对 ViT-S 这样的 uniform blocks 成立，对 TinyViT 这种 heterogeneous hybrid 直接破裂。方法本质上把“选择哪些 tensor rematerialize”的复杂问题简化成单阈值 cascade，scalability 上限明显。
第二，2GB budget 下的排序未必在更大显存、不同 batch size、不同 resolution 下保持。作者声称相对 ordering 可能向上泛化，但文中未充分说明；尤其当显存宽裕后，checkpointing 需求减少，PEFT 与 Full FT 的 trade-off 会变化。
第三，NetScore 变体虽然实用，但权重选择和参数定义会影响排序。比如 PEFT 表中 params 算 trainable params，而 foundation baseline 算 total params，这在跨范式比较时并不完全等价。指标是 decision aid，不是客观真理。
第四，foundation baseline 的结论存在 data/scale confound。DINOv2 的优势可能主要来自更大的模型、更强 pretraining、更广数据覆盖，而不是 KD-SSL 范式天然优越。OpenCLIP/SigLIP 和 PEFT backbones 的 pretraining 数据规模也不匹配，因此范式比较不能解释为严格 controlled comparison。
第五，小型 VLM 的低表现很可能来自 decoding/evaluation mismatch，但论文对 constrained decoding、label normalization、prompt ensemble、encoder probing 的系统性控制还不够。所谓 VLM 不适合分类的结论方向上合理，但当前证据更像“这些小型 autoregressive VLM 在这个 closed-set protocol 下不划算”。
Takeaway
- 第一，做 PEFT deployment 时，不要再用 trainable parameter count 估显存；应该看 trainable parameters 分布在哪些层、是否会延长 activation retention path。
- 第二，checkpointing 的未来方向不是简单 static on/off，而是 architecture-aware 或 stage-aware 的 rematerialization。
- 本文的 adaptive threshold 是一个有用但很粗的起点；真正值得做的是把 activation profile、layer cost、fragmentation risk 一起建模。
- 第三，Mamba-efficient 这个叙事需要拆开看。
一句话总结
这篇论文的主要贡献不是新的 PEFT 算法，而是把视觉 PEFT 从“参数效率”推进到“activation-memory-energy 生命周期效率”的 deployment-aware 比较框架，并用一个简单 adaptive checkpoint heuristic 暴露了低显存训练中真正的瓶颈。