精读笔记

Problem Setting

这篇论文实际处理的是 LVLM 在极端 weight-only binarization 下如何保住多模态能力的问题。关键矛盾不是“如何把权重压到 1-bit”，而是 1-bit 表达容量极少时，误差应该被分配到哪里。LLM 里的二值化通常假设权重重要性可以从语言校准分布、magnitude、Hessian 或 residual reconstruction 中估计；但 LVLM 中同一个 language backbone 已经承担视觉 token 对齐、文本推理和跨模态融合，多模态任务对某些投影矩阵的局部权重更敏感。以前方法卡在把 LVLM 当作 LLM 压缩：最小化整体重构误差，却不知道哪些误差会破坏视觉 grounding、OCR、视频理解或空间关系。真正困难点是二值化误差会非均匀地打断 representation alignment，而这种 alignment 不能简单由全局 Frobenius error 捕捉。

Motivation

已有 binary PTQ 路线不够，是因为它们的 saliency 基本还是单分布、单目标、单模型类型的。PB-LLM 保留少量显著权重，BiLLM/ARB-LLM 优化二值 residual，但它们并不显式区分文本激活与视觉激活下的权重角色。作者的核心观察是：LVLM 中存在模态异质性，有些权重主要服务单模态编码，有些权重在多模态输入下共同被激活；如果二值化对这些位置一视同仁，就会把有限精度浪费在无关区域，同时损伤跨模态关键区域。缺的是一个把 calibration activation 的模态结构转化为 binarization objective 的机制，而不只是更强的 residual fitting。

Core Idea

核心思想是把二值化从“weight approximation problem”改写成“modality-conditioned error allocation problem”。SAB-LVLM 不试图让所有权重都被同等好地重构，而是根据文本/视觉输入诱发的 Hessian sensitivity，给不同权重分配不同的误差惩罚。这样做引入的 inductive bias 是：在 LVLM 中，权重重要性不是模型内生的静态 magnitude，而是由模态激活模式决定的局部属性。

这和 prior 的本质差异在于，它把跨模态结构引入 PTQ objective，而不是只改 binary basis 或优化算法。其 scalable 的地方在于它仍然是 PTQ：不需要重训，不需要任务标签，只需要少量多模态 calibration data。它重新组织的信息流是：calibration activation → modality sensitivity → significance map → weighted binary fitting。真正新增的信息不是二值展开，而是“哪些二值误差更危险”的模态条件先验。

Method

方法上最关键的是三层机制。第一，文本和视觉输入分开前向，构造各自 Hessian diagonal/sensitivity；这一步解决的是 LLM-style 单一 saliency 无法描述 LVLM 模态差异的问题。它的必要性在于，如果只用混合输入或只看语言路径，跨模态 alignment 的脆弱位置会被平均掉。

第二，spatial significance map 用 sensitivity 在模态维度上的稀疏性区分 unimodal 与 multimodal 激活。这个设计的核心变化是把“重要性”从一个标量强度变成带有模态结构的局部分布：同样大的 sensitivity，如果集中在一个模态和分散在两个模态，含义不同。

第三，modality-guided integration 用自适应 r 在单模态权重和跨模态权重之间分配强调程度，然后把最终 Lambda 放进二值化损失。它解决的是单纯偏向 unimodal 或 multimodal 都可能错的问题，因为不同层的功能不同。最后的 alternating significance-weighted update 本质上是把 ARB 类 residual fitting 改成 weighted least-squares；它不是全新的优化范式，而是让已有二值拟合服从模态感知误差预算。

Key Insight / Why It Works

最可能有效的核心不是 alternating update，而是 significance-aware error reweighting。1-bit 下模型没有足够自由度重构所有权重，因此性能取决于误差预算的分配。SAB-LVLM 的价值在于给这个分配问题提供了一个 LVLM-specific prior：对视觉/文本激活敏感、尤其和模态结构相关的位置，二值误差应该更小。

这本质上是 better inductive bias + representation alignment preservation，而不是 scaling、retrieval、test-time compute 或 data coverage。它没有增加推理时计算，也没有引入外部知识；收益来自更合理地保护已有模型内部的跨模态表示。论文中的 Theorem 只是说明加权二次误差会让高 Lambda 位置获得更小最优误差，这个理论并不深，但它准确表达了方法的核心：不是减少总误差，而是改变误差形状。

更具体地说，LVLM binarization 的灾难性失败可能不是平均量化误差过大，而是少数 alignment-sensitive 投影被打坏。SAB-LVLM 通过 Hessian activation 近似识别这些位置，因此在 OCR、文档、视频和空间任务上比 LLM binary baseline 稳定。辅助部分包括 T-order binary expansion、row/column scaling、group mask 和迭代次数，这些更像继承 ARB/BiLLM 的 engineering substrate。MGSI 是比普通 saliency 更实质的贡献，因为它承认层间模态角色不同；但 r 的解释性仍偏弱，文中未充分说明它是否稳定对应真实的跨模态融合。

Relation To Prior Work

它最接近 GPTQ/HAWQ 式二阶 PTQ、PB-LLM/BiLLM/ARB-LLM 式 LLM binarization，以及 LVLM quantization 中的 modality-aware 思路。看似新的地方有两类：二值展开和 alternating fitting 主要是已有 binary PTQ 的重组；真正实质的新信息是把文本/视觉 sensitivity 分开估计，并把模态结构显式写入 binarization loss。

和 GPTQ 的差异是，GPTQ 主要用二阶信息做逐层量化补偿，不关心模态角色；SAB-LVLM 用 Hessian 不是为了更精确求解局部量化，而是为了构造跨模态 saliency。和 PB-LLM/BiLLM 的差异是，它不只是找重要权重或做 residual approximation，而是判断重要性来自哪个模态以及是否跨模态。和 ARB-LLM 的差异最小也最关键：优化框架类似，但 SAB 把 ARB 的均匀 residual fitting 改成模态加权 residual fitting。它属于“activation/Hessian-aware PTQ 向 modality-aware PTQ 的演化”，不是新的压缩范式。

Dataset / Evaluation

评估覆盖两个 LVLM 家族和多个尺度，任务也覆盖图像理解、文档 OCR、场景文字、视频理解、空间推理，足以说明方法不是只对单一 benchmark 调参。尤其在 Qwen2.5-VL 和 InternVL3.5 上都优于 1-bit baseline，支持“LLM binary PTQ 不能直接迁移，模态感知有用”这一核心 claim。

但 evaluation 没有完全支撑“部署友好”的强 claim。论文报告 memory，但缺少真实 binary kernel 加速、端侧 latency、吞吐、能耗、batch/sequence length 变化下的 profiling。GPTQ 是 3-bit，只能作为性能参照，不是公平压缩比 baseline。benchmark 多为离线静态评估，不能验证长上下文视频、交互式多轮视觉推理、真实设备上的鲁棒性。实验说明 SAB 在现有 benchmark 上更稳，但没有证明它在真实 deployment 中达到预期系统收益。

Limitation

第一，方法高度依赖 calibration data 的代表性。它用 COCO 2017 的少量样本估计模态 sensitivity，但下游包括 DocVQA、TextVQA、Video-MME、VSI-Bench，这些分布和 COCO 并不一致。若 calibration 没有覆盖文档版面、长视频时序、空间导航等激活模式，Lambda 的泛化就不显然。文中未充分说明 calibration set 变化对结果的敏感性。

第二，增益归因不够干净。SAB 同时引入空间 map、自适应 r、element-wise reweighting 和 weighted alternating update；虽然有 ablation，但还不足以区分“模态结构先验”与“更细粒度 Hessian weighting”之间的贡献。部分收益可能只是更好的 Hessian-based importance weighting，而不是严格意义上的跨模态建模。

第三，方法可能把问题从二值优化转移到 saliency 估计。1-bit 权重本身容量有限，如果模型能力依赖大量细粒度权重协同，reweighting 只能保护一部分关键位置，不能恢复被整体压缩破坏的表示空间。InternVL3.5-8B 上一些任务仍明显低于 full precision，说明小模型/弱冗余场景下上限很低。

第四，所谓 reasoning/spatial gains 不能过度解释。benchmark 上的推理提升更可能来自保住视觉-文本表示和局部感知能力，而不是二值模型形成了更强 reasoning。没有证据表明它改善了 planner、长期状态建模或真正 compositional reasoning。

第五，部署 claim 不完整。约 1-bit memory 不等于实际延迟降低；若没有高效 binary GEMM、packing、dequant/scaling fusion，系统收益可能显著缩水。

Takeaway

• 最值得记住的第一点：LVLM 极低比特压缩的核心不只是量化误差，而是跨模态 alignment-sensitive error 的分配。
• 未来 LVLM compression 大概率会从 uniform PTQ 走向 modality-/task-/token-conditioned PTQ。
• 第二点：Hessian/activation saliency 在多模态模型中不应只作为一个强度指标，而应保留条件结构，例如模态、token 类型、视觉区域、时间位置。
• SAB 的可迁移 insight 是把 calibration activation 的结构性差异直接写进压缩目标。

一句话总结

SAB-LVLM 是把 LLM binary PTQ 推向 LVLM 的一个模态感知版本，真正贡献在于用文本/视觉条件 sensitivity 重写 1-bit 二值化的误差分配规则，而不是提出新的二值表示本身。