精读笔记
Problem Setting
[OrbitQuant: Data-Agnostic Quantization for Image and Video Diffusion Transformers]（arXiv preprint / 2026）
这篇论文实际处理的是 DiT 推理中的 low-bit W/A PTQ，而不是一般意义上的模型压缩。真正困难点在于 DiT 的 activation statistics 没有一个稳定 calibration target：同一层在不同 timestep、prompt、CFG branch、甚至 image/video 模态下的分布都在移动。传统 PTQ 依赖校准数据估计 range、scale、outlier channel 或 mixed precision 策略，这在 LLM 中相对可行，因为 decoding distribution 更稳定；但在 DiT 中，校准得到的统计量更像某条采样轨迹的局部拟合。
关键矛盾是：想要 W/A 低比特以获得 compute reduction，但 activation quantization 又最依赖输入分布；而 diffusion sampling 恰恰让输入分布沿时间连续漂移。OrbitQuant 的切入点是放弃追踪这个漂移，而是把所有 normalized vector 映射到一个由维度决定的固定边缘分布上。
Motivation
已有路线不够的原因不是它们量化公式不精细，而是它们默认“activation 分布可被一小批 calibration data 捕获”。这在 DiT 上是弱假设：timestep-conditioned denoising、CFG 双分支、文本条件和视频 token 结构都会改变 activation 的尺度和 outlier 形态。
作者的核心观察是：如果先消除 norm，再用随机正交旋转打散方向信息，那么任意固定 unit vector 的单坐标边缘分布在 Haar rotation 下是已知的。这样 codebook 可以从解析分布中离线得到，而不是从模型运行数据中拟合。缺口在于 TurboQuant 这类 dense random rotation 太贵，也只是 standalone vector codec；DiT 线性层需要的是可嵌入矩阵乘法路径、不会引入 inverse reconstruction 的 quantization basis。
Core Idea
论文真正的思想是把 DiT activation quantization 从“动态范围估计问题”改写成“固定分布上的非均匀编码问题”。对每个 token activation，保留 L2 norm，把方向旋转到一个近似 isotropic 的基中；在这个基里，每个坐标大致服从 f_d ≈ N(0,1/d)，因此 Lloyd–Max codebook 只依赖维度和 bit-width。这个 inductive bias 很强：它假设方向在随机基下足够无结构，量化器不需要理解 timestep / prompt / modality，只需要知道维度。
和 prior 的本质区别是，OrbitQuant 不再试图学习或校准“哪些 channel 重要、哪些 channel 是 outlier”，而是用随机化把 channel identity 本身弱化。再进一步，它把相同旋转折叠进 weight row，使 weight 和 activation 在同一 rotated basis 中相乘，避免了每层 inverse rotation。这个信息流重组使方法比 per-model calibration 更 scalable：新增 checkpoint 或 modality 时，不需要重新收集数据，只要维度相同，codebook 就可复用。
Method
1. Direction / magnitude 分解：解决的是 activation range 不稳定的问题。幅值 s 或 row norm r 单独保留，量化器只处理 unit direction。核心变化是把 scale estimation 从高维 per-channel 问题降成每个 token / row 的一个标量。
2. Shared rotated basis：解决的是旋转量化和线性层计算兼容的问题。weight 离线变成 WΠ^T，activation 在线变成 Πx，于是未量化时乘积保持不变。核心变化是旋转不再是 codec 的 pre/post-processing，而成为线性层内部坐标系。
3. Lloyd–Max codebook on f_d：解决的是无需 calibration 的码本构造。它不是 uniform quantization，而是把有限 levels 放在 rotated coordinates 高概率区域。低比特下这比 uniform grid 关键得多，因为 2–4 bit 时 level placement 直接决定是否 collapse。
4. RPBH rotation：解决的是 Haar rotation 太贵、full Hadamard 受维度限制的问题。随机 permutation 先打散 outlier channel，再 block Hadamard 在局部混合；核心变化是以近似理论边缘分布换取可接受的 O(d log h) runtime。
5. AdaLN 例外处理：动态 modulation projection 无法通过静态旋转折叠保持等价，因此只做 INT4 weight RTN。这个处理是必要工程折中，也暴露了方法边界。
Key Insight / Why It Works
最核心的贡献是“distributional codebook + shared rotation basis”，不是单纯换了一个 Hadamard 变体。它有效的原因在于 DiT activation 的主要难点是 channel-wise outlier 和 timestep drift；随机旋转把 outlier 从少数坐标扩散到许多坐标，L2 normalization 又消除了整体幅值漂移，于是每个坐标面对的是一个稳定的近高斯边缘分布。这样 calibration 的对象从不可预测的实际 activation range 变成了解析可知的 f_d。
RPBH 中 permutation 的作用很实质：没有 permutation，block-Hadamard 只能在固定 block 内混合，如果 outlier 集中在某些 block，block mass 不均会导致不同坐标方差不一致，固定 codebook 失配。随机 permutation 本质上是在做 data-independent mass balancing；这比 DuQuant / PeRQ 的 calibrated permutation 更弱但更泛化。
低比特优势大概率主要来自非均匀 Lloyd–Max codebook 与 normalized rotated marginal 的匹配，而不是来自更强的模型知识。QuaRot / SmoothQuant / ViDiT-Q 在 W2A4 / W2A3 collapse，说明 uniform quantization 或 calibrated scale 在极低 bit 下 level placement 不够；OrbitQuant 把 levels 放在近 N(0,1/d) 的密集区域，因此即使权重 2 bit 也能保持可用方向信息。
哪些可能只是辅助：block-Hadamard 的具体实现、最大 power-of-two block size、AdaLN INT4 策略更多是工程必要性；它们影响速度和稳定性，但不是思想核心。哪些可能是 engineering / scaling：跨多个大模型的结果很强，但一部分增益来自 DiT hidden dimension 较大，使随机投影的高维集中更容易成立；小维度、极端稀疏 outlier 或非 transformer projection 上未必同样稳。
Relation To Prior Work
这篇最接近三条谱系：LLM rotation-based quantization、TurboQuant / PolarQuant 这类 distributional vector quantization、以及 DiT calibration-based PTQ。它不是从零发明随机旋转量化；Haar rotation 后坐标边缘分布已知、Lloyd–Max codebook 也来自 TurboQuant。真正新增的信息是把这套 vector codec 嵌入 DiT linear layer，并利用 WΠ^T 与 Πx 的抵消关系，避免 rotate-back reconstruction。
相对 QuaRot / SpinQuant / QuIP，它的差异不是“也用了旋转”，而是旋转后的量化目标不同：LLM 方法通常仍依赖 uniform / scale-based quantization 或 learned rotation 来压 outlier；OrbitQuant 直接用解析边缘分布设计 non-uniform codebook。相对 DuQuant / PeRQ，它不校准 permutation，而用 uniform random permutation + 概率质量均衡保证，牺牲一点最优性换取 data-agnostic。
相对 SVDQuant / AdaTSQ / ViDiT-Q，OrbitQuant 的本质差异是拒绝 per-model / per-timestep calibration。SVDQuant 的低秩高精度分支、AdaTSQ 的 timestep-sensitive scaling、ViDiT-Q 的 per-channel calibration 都是在追踪 activation drift；OrbitQuant 是把 drift 通过 normalization + random basis 规约掉。这是实质创新点。
Dataset / Evaluation
评估覆盖 image 和 video DiT，且包括不同采样步数、CFG 设置、模型规模和 architecture，基本支撑“同一 recipe 跨模态可迁移”的 claim。GenEval 和 VBench 分别验证 compositional image quality 与 video consistency，能观察低比特 collapse 与质量保持，不只是 toy benchmark。
但 evaluation 的硬伤也很明显：所有 latency / memory 分析基于 fake quantization，matmul 仍在 BF16 中完成，因此没有证明真实 INT / low-bit kernel 下的端到端速度收益。论文声称 DiT 是 compute-bound、W/A 量化是自然 remedy，但实际硬件路径还缺 non-uniform codebook GEMM；这是从算法质量到 deployment 的主要鸿沟。
另一个 limitation 是 benchmark 主要验证 perceptual generation quality，而不是误差传播机制。它显示 OrbitQuant 在公开模型上表现好，但没有充分拆解误差在 timestep 维度如何累积，也没有系统分析 scheduler、resolution scaling、LoRA / finetuned checkpoint、control-conditioned generation 等真实部署场景。
Limitation
方法成立依赖几个隐含前提。第一，高维随机旋转后的坐标必须足够接近 f_d；如果 normalized vector 有极端单坐标能量，ρ 会变大，固定 codebook 会失配。第二，block-Hadamard 的局部混合要足够接近 dense Haar；这依赖 block size 和 dimension factorization，文中在评估模型维度上成立，但不是普适保证。
第三，非均匀 codebook 目前把问题从 calibration 转移到了 kernel 支持：质量上可行，不代表速度上可部署。没有 native low-bit codebook GEMM 时，实际系统收益可能被 centroid lookup、dequantization、activation rotation、norm 计算吞掉。文中未充分说明真实 tensor-core 路径下 memory bandwidth、index format、centroid gather 的代价。
第四，AdaLN / dynamic modulation 是结构性边界。凡是不能通过静态线性等价吸收旋转的路径，都需要例外处理；如果未来 DiT 架构中动态 conditioning 更重，OrbitQuant 的统一性会下降。
第五，泛化 claim 主要是经验性的。它确实跨 image/video 模型有效，但这可能部分来自大 hidden dimension 下随机投影天然好用，而不是方法理解了 diffusion dynamics。增益来源不清的地方在于：low-bit robustness 到底来自 Lloyd–Max codebook、RPBH permutation、norm preservation、还是 DiT 本身对特定量化噪声鲁棒，文中 ablation 还不够细。
Takeaway
- 1. DiT PTQ 的核心瓶颈不一定是更精细的 calibration，而可能是 calibration target 本身不稳定；把问题改成固定分布编码是更干净的建模方式。
- 2. Random rotation 的价值不只是 outlier smoothing，而是可以制造一个解析可知的量化分布；这使 codebook 从 data-dependent object 变成 dimension-dependent object。
- 3. 未来值得做的是 native non-uniform low-bit GEMM，而不是继续在 fake quantization 上堆指标；如果 kernel 路径打通，这类方法才真正变成 deployment solution。
- 4. 可迁移 insight：对任何 activation distribution 高度漂移的模型，先做 norm/direction 分解，再用随机基消除 coordinate identity，可能比校准每个场景更 scalable。
一句话总结
OrbitQuant 是把 DiT 低比特 PTQ 从校准驱动的 range fitting 推向解析分布驱动的 rotated-basis coding 的方法，真正贡献在于用共享随机旋转和 Lloyd–Max codebook 消解 activation drift，而不是为每个模型重新拟合量化参数。