精读笔记

Problem Setting

[论文标题] Hierarchical Reinforcement Learning for Neural Network Compression (HiReLC): Pruning and Quantization（arXiv preprint / 2026）。这篇论文解决的不是“如何设计一个更好的 pruning operator”或“如何做更准的 quantizer”，而是联合结构化剪枝与混合精度量化时的配置搜索问题。困难在于搜索变量同时跨层、跨 kernel、跨 bitwidth、跨 keep-ratio、跨量化类型和粒度，而且最终指标取决于压缩后 fine-tuning 的恢复能力。以前的 AMC/HAQ 类方法通常是单层 controller、单压缩轴、layer-wise 序列决策；它们可以做自动化，但很难显式表达全局预算与局部敏感性的耦合。本文真正面对的关键矛盾是：想要高压缩率必须让很多局部决策很激进，但模型中不同 block 的可压缩性极不均匀；如果没有全局协调，RL 很容易过压缩低 reward 噪声下看似便宜的部分。

Motivation

作者的核心观察是，联合 pruning + quantization 的搜索空间已经大到不能简单靠一个 flat RL policy 扫过去，而 layer sensitivity 又是一个很强但在 prior RL compression 中利用不足的信号。已有路线缺的不是更多动作维度，而是一个把“全局容量分配”和“局部压缩实现”分开的组织方式。Fisher sensitivity 在这里承担了一个工程上很实际的角色：它不是精确二阶近似，而是把模型内部的脆弱性排序提前暴露给 controller。另一个动机是评估成本：每个 candidate 都 fine-tune 再评估不可行，所以必须引入 cheap proxy 或 surrogate；否则 RL 搜索在这个问题上基本不可扩展。

Core Idea

HiReLC 的核心思想是把压缩搜索从 flat combinatorial action selection 改写为 hierarchical budget allocation。高层 agent 不直接决定每个 kernel 怎么压，而是给 block 分配 retained-size target 和策略倾向；低层 agent 在该预算内选择 per-kernel 的 bitwidth、keep-ratio、量化类型和粒度。这一建模改变了信息流：全局约束先被投影成 block-level budget，再由局部搜索细化成具体压缩配置。

这个设计的 inductive bias 很明确：压缩不是每层独立地最大化局部 reward，而是先根据敏感性和全局目标形成容量分配，再在局部搜索中执行。和 prior 的本质区别不在于“用了 RL”，而在于 RL 不再直接承担整个离散搜索空间的信用分配；它被拆成全局预算控制与局部配置搜索两个相对低维的问题。理论上这会降低策略方差，也让 Fisher 这类非学习先验有更稳定的注入点。

Method

方法里真正必要的机制有四个。第一，HLA/LLA 层级分解解决的是全局预算不可控问题：HLA 把 compression target 下发为 block retained-size target，避免 LLA 在局部 reward 下无约束过压缩。第二，Fisher sensitivity 解决的是层重要性先验缺失问题：高敏感 block 被 deterministic correction 和 reward penalty 双重保护，低敏感 block 承担更多压缩压力。第三，ensemble RL 解决的是单 policy 在短 episode、多离散动作空间中的方差问题；PPO/A2C 混合更像一种 robust search heuristic，而不是严格意义上的多智能体协作。第四，logit-MSE/surrogate 解决的是评估成本问题：它们不替代最终 evaluation，只用于 reward shaping，因此方法本质上是在用 cheap proxy 做搜索加速，再用真实 fine-tuning 结果校正。

Key Insight / Why It Works

最可能真正有效的部分是“预算分配 + sensitivity prior”，不是 RL 算法本身。论文中的 HLA removal ablation 很说明问题：没有高层预算时 LLA 倾向过压缩，CR 更高但精度明显更差。这说明核心难点不是找到更激进的压缩，而是让压缩压力落在正确位置。Fisher guidance 的作用也类似：它把结构化的层间非均匀性直接写进 reward 和 action correction，相当于给搜索空间加了一个强先验。

RL 在这里更像 adaptive combinatorial search，而不是学到深层“压缩规律”。episode 很短，state 中包含的历史有限，stability term 甚至是近似非 Markov 的 reward history shaping；因此所谓 hierarchical RL planning 不应被过度解读为长期规划能力。ensemble 也更像降低随机性的 engineering trick，而非方法论核心。surrogate/logit-MSE 是必要的 scaling 组件，但 CNN surrogate MAE 较高，说明它只是粗 ranking signal，不是可靠性能模型。

这篇论文的有效性可以理解为三种 bias 的叠加：层级结构降低搜索难度，Fisher 提供 sensitivity inductive bias，post-compression fine-tuning 提供恢复能力。最终效果很可能相当依赖 fine-tuning budget 和数据覆盖；如果目标从 storage CR 换成真实 latency/energy，现有 reward 和 accounting 可能需要重写。

Relation To Prior Work

它最接近 AMC/HAQ/HAWQ 这条自动压缩谱系：AMC 用 RL 做 pruning，HAQ 用 RL 做 hardware-aware quantization，HAWQ 用 Hessian/Fisher-like sensitivity 指导 mixed precision。HiReLC 的新意是把这些思想重组到一个 joint pruning + quantization 的 hierarchical controller 中，并把 sensitivity 同时放进高层预算和低层 reward。

看似新的部分里，很多是已有思想的组合：结构化剪枝、mixed precision、Fisher sensitivity、surrogate-assisted search、RL ensemble 都不是新概念。实质创新更偏系统建模：把压缩问题显式拆成 global budget allocation 与 local kernel configuration，并用相同 controller interface 跨 ViT/CNN。它不是 compression primitive 层面的突破，而是 search/control formulation 层面的工程化推进。

Dataset / Evaluation

评估覆盖 ViT、CLIP ViT、ResNet、MobileNetV2，说明 controller interface 具有一定跨架构适配性；但多数主实验在 CIFAR/Tiny ImageNet 上，ImageNet 结果又是 subset protocol，因此不足以作为强 deployment claim。实验能较好支持两个内部 claim：层级预算比 uniform budget 稳，Fisher guidance 有帮助。它不能充分支持“真实部署效率提升”，因为 CR 是 effective parameter-storage ratio，不是 measured latency、energy 或 memory bandwidth。

对 prior 的比较主要是 contextual，不是 matched benchmark。不同方法的 CR 指标混合了 FLOPs、latency、storage、quantization theoretical ratio，因此不能用表格数字判断 superiority。比较更适合说明 HiReLC 覆盖了 joint P+Q 这个 prior 较少覆盖的区域，而不是证明它在 Pareto frontier 上压过已有方法。

Limitation

最大问题是归因不清。层级 RL、Fisher、ensemble、surrogate、fine-tuning、mixed INT/FLOAT、log granularity 同时存在，控制变量不足；特别是 Experiment 6 的提升到底来自 mixed type、log quantization、随机性还是 fine-tuning，文中未充分说明。另一个限制是 architecture-agnostic 的边界：controller 是通用的，但 block parsing、sensitivity estimation、loader 和 kernel grouping 仍需要手工适配，泛化不是完全自动的。

scalability 也有上限。每个 block 都有 LLA ensemble，动作维度随 kernel 数增长；对 LLM 这种上百层、巨量 linear projection 的模型，直接扩展可能昂贵。surrogate 只有少量 replay 样本时容易噪声很大，CNN MAE 已经暴露这一点。预算 compliance 只有约 60% 左右，说明约束处理并不严格，RL 实际上仍可能把 constrained optimization 变成 soft reward trade-off。最后，剪枝以 mask 形式训练并按 packed structured representation 计 storage，如果没有实际 channel materialization 和 backend kernel 支持，部署收益可能被高估。

Takeaway

• 最值得迁移的 insight 是：联合压缩搜索应先做全局容量分配，再做局部配置搜索；不要让一个 flat policy 同时承担所有信用分配。
• 第二，sensitivity prior 不一定要作为精确二阶优化器，它作为 reward/action correction 的 inductive bias 已经很有价值。
• 第三，proxy/surrogate 在压缩搜索中应被定位为 reward shaping，而不是最终性能预测；最终仍要用真实 fine-tuning evaluation 闭环。
• 第四，未来真正值得做的是把这种层级预算框架接入硬件实测目标，并用更强的非 RL 搜索基线验证 RL 是否必要。

一句话总结

HiReLC 是一篇把自动压缩从单层单轴 RL 推向“sensitivity-aware hierarchical budgeted search”的系统型工作，真正贡献在搜索建模和信息流组织，而不是剪枝、量化或 RL 算法本身。