精读笔记

Problem Setting

论文标题：ViQ: Text-Aligned Visual Quantized Representations at Any Resolution（arXiv preprint / 2026）。这篇论文不是在做普通 image tokenizer，也不是简单给 MLLM 换一个视觉 encoder，而是在问：视觉输入能否被压成类似文本 token 的离散表示，同时仍保留 MLLM 所需的语义和细节。真正难点是离散化天然会丢信息，而 MLLM 对视觉信息的需求又是双重的：高层语义要和语言对齐，低层细节要足以支持 OCR、文档、图表和局部感知。以前路线卡在两端：生成式 tokenizer 重建好但语义弱，CLIP/SigLIP/InternViT 这类连续 encoder 语义强但不离散，已有量化多模态 encoder 则在细节任务上明显崩。关键矛盾是有限离散码本的压缩约束和高保真视觉理解之间的冲突。

Motivation

已有路线缺的不是一个更大的 codebook，而是一个适合被量化的视觉表征空间。语义视觉特征通常高维、连续、分布复杂，直接 VQ 会把大量局部结构压坏；重建型 latent 虽然低层信息足，但没有被语言任务塑形，LLM 接收后不一定可解释。作者的核心观察是：量化失败往往发生在量化之前，即 continuous feature geometry 本身不适合离散近似。因此 ViQ 的动机是先用文本监督把视觉 encoder 对齐到 MLLM，再用渐进压缩和低层 latent 监督把空间整理成可量化结构。它补的是“text-aligned yet quantization-friendly latent space”这个缺口。

Core Idea

ViQ 的核心思想是把视觉离散化拆成 representation alignment 和 representation compaction 两个阶段：先让连续视觉 encoder 成为一个合格的 MLLM 视觉 encoder，再逐步把它压成离散码。这个顺序很关键，因为它避免了直接训练 tokenizer 时语义不足的问题，也避免了直接量化 CLIP/SigLIP 特征时空间太复杂的问题。

本质区别在于，ViQ 不把 VQ 当作主要学习能力来源，而把主要工作放在量化前的 latent shaping：文本 loss 决定这个空间对 LLM 有用，self-distillation 防止多模态数据把 foundation visual semantics 洗掉，VAE latent reconstruction 让空间保留低层细节，L∞ proximal constraint 和 bottleneck 让空间更接近有限标量量化可覆盖的形态。它引入的 inductive bias 是：好的离散视觉 token 不应从像素直接学，也不应从任意连续特征硬切，而应从一个被语言和重建同时约束、低维且几何规则的中间空间产生。

Method

方法上真正必要的机制只有几项。第一，any-resolution text-aligned pretraining 解决固定分辨率 encoder 与真实 MLLM 输入不匹配的问题；它的作用不是新 positional trick，而是让后续被量化的特征已经适应 native-resolution 多模态交互。第二，self-distillation 用原始固定分辨率 SigLIP2-g 类 teacher 约束 global semantic token，避免在下游 VQA 数据上过拟合并损害原始语义结构。第三，proximal representation 通过 bottleneck 和 L∞ 约束把高维视觉特征压到更规则的低维空间，本质是在降低量化难度，而不是增加表达能力。第四，FSQ 取代 learnable codebook，减少 codebook collapse / utilization 问题；这里的判断是，在已经被良好整形的低维空间里，非学习式标量量化比学习码本更稳定。第五，2D RoPE 和局部扩展量化给离散码注入位置与容量，否则 native-resolution 下 token 会缺空间可辨性。第六，VAE latent reconstruction loss 是为了给 OCR/文档/图表任务保留低层证据，而不是为了追求像素级生成质量。

Key Insight / Why It Works

ViQ 最可能有效的核心不是“视觉离散化”这个概念，而是渐进式 latent geometry control。直接量化高维 continuous feature 等价于在一个复杂流形上做粗分桶，信息损失不可控；ViQ 先把特征压成低维、有界、接近超立方结构的表示，使 FSQ 的有限标量网格更容易覆盖有效区域。这是一个比扩大 codebook 更干净的 inductive bias。

第二个关键是监督信号的分工明确：text loss 提供 LLM 对齐，distillation 保住 foundation semantics，VAE latent loss 补低层细节。这个组合解释了为什么它比 QLIP/UniTok 更平衡。只用文本监督会偏语义并损细节，只用重建会偏视觉保真但不一定可被 LLM 使用；ViQ 实际是在做 multi-objective representation allocation。

第三，效率提升主要来自 memory reuse / offline caching，而不是模型本身变小。训练时不用反复跑大视觉 encoder，当然会快；这是真实工程价值，但不是 representation theory 上的突破。若部署场景需要端到端在线处理新图像，离线码提取优势会下降。

第四，部分性能提升可能主要来自 scaling / data / recipe。文中使用强 SigLIP2-g 初始化、数十亿到三百亿视觉语言 token、Qwen-Image latent supervision、any-resolution curriculum 和大量 GPU。消融证明 proximal、RoPE、loss 组合有贡献，但很难完全排除训练数据覆盖和 native-resolution pipeline 对 benchmark 的贡献。这里增益来源仍不完全清楚。

Relation To Prior Work

ViQ 位于三条路线的交汇处：CLIP/SigLIP/InternViT 式连续 MLLM encoder、VQ-VAE/FSQ/LFQ 式视觉 tokenizer、QLIP/UniTok 式 text-aligned discrete tokenizer。它最接近 QLIP 和 UniTok，但本质差异是没有把离散 tokenizer 训练成单一语义或重建目标，而是把连续 MLLM encoder 逐步改造成可量化 encoder。

看似新的部分中，any-resolution adaptation、RoPE、FSQ、self-distillation 都不是概念新发明，更像已有组件在离散 MLLM encoder 场景下的重组。实质创新在于训练路径和空间整形：先 text-align，再 proximal compact，再 FSQ discrete；并且用 VAE latent 而非 pixel reconstruction 作为低层细节监督。这比“更大 codebook”或“直接 VQ CLIP feature”更像一个可迁移的 recipe。

和传统视觉生成 tokenizer 相比，ViQ 不以生成质量为第一目标，而是以 MLLM 可用性为主、重建为约束；和连续视觉 encoder 相比，它牺牲部分连续精度换取缓存、压缩和离散接口；和 prior quantized MLLM encoder 相比，它真正新增的信息是：离散化前的 representation geometry 比量化器类型更重要。

Dataset / Evaluation

评估覆盖了通用 VQA、知识、OCR、文档、图表和图示理解，基本能测试“语义 + 细节”的核心 claim。尤其是 InfoVQA、DocVQA、TextVQA、ChartQA 这类任务比普通 VQA 更能暴露离散码是否保留低层证据，因此论文选择的 benchmark 是合理的。相同 SFT 数据和 LLM backbone 的比较也比很多视觉 encoder 论文更干净。

但 evaluation 仍有明显限制。首先，它主要是离线 benchmark，不能充分证明真实 deployment 中的鲁棒性、长尾文档、高分辨率极端 OCR 和跨域细粒度识别。其次，训练数据包含大量 OCR、chart、diagram 相关样本，benchmark gain 可能部分来自 data coverage，而不是 tokenizer 的纯泛化。第三，效率实验验证的是训练 pipeline 加速，且依赖离线 code extraction；它不等价于在线推理全链路加速。第四，虽然有 reconstruction 评估，但重建 decoder 是额外训练的，说明离散码包含信息，不直接说明 LLM 一定能利用所有信息。

Limitation

最深层限制是 ViQ 仍受离散瓶颈控制：一旦压成有限码，极高频局部信息和小文字细节不可避免丢失，这也是它在部分 OCR 类指标上仍落后强连续 encoder 的原因。多头扩展和位置编码只是缓解，不会消除这个上限。

第二，方法强依赖强 teacher、强视觉初始化、强语言模型、强 VAE encoder 和大规模训练数据。若没有 SigLIP2-g 级初始化和 Qwen-Image latent supervision，proximal + FSQ 是否仍成立，文中未充分说明。所谓统一离散表示的泛化能力可能主要来自数据覆盖和 teacher transfer。

第三，增益归因不完全清楚。消融显示 L∞、FSQ、RoPE、reconstruction loss 都有效，但主表中的竞争力也可能来自 any-resolution recipe、训练 token 数、Qwen 系生态适配和 SFT 数据选择。这里不能把全部提升归因于“量化方法更好”。

第四，它把一部分成本从 MLLM 训练阶段转移到 tokenizer 预训练和离线码生成阶段。对于大规模重复训练，这是好 trade-off；对于频繁在线输入、动态数据或端侧场景，收益未必成立。

第五，离散 token 是否真的形成可组合视觉符号还没有证明。目前更准确的说法是“压缩后的视觉 embedding index”，而不是语言意义上的 token。它和文本 token 共享离散性，但不共享语义组合机制。

Takeaway

• 第一，视觉离散化的关键可能不是更强 VQ，而是先把 continuous feature space 整形成 quantization-friendly latent；这个 insight 可以迁移到音频、视频、3D 等高维模态。
• 第二，面向 MLLM 的 tokenizer 不能只优化重建，也不能只优化语言对齐；语义监督、foundation distillation、低层 latent supervision 的分工可能会成为后续统一 tokenizer 的标准 recipe。
• 第三，离散视觉表示最现实的近期价值不是“完全统一视觉和语言”，而是训练效率、缓存复用、存储压缩和可扩展多模态数据管线。
• 第四，未来真正值得做的是可变 bitrate、多尺度/残差量化、面向文档和视频的层级离散表示，以及证明离散视觉 token 能否被 LLM 当作可组合符号使用，而不只是压缩特征。

一句话总结

ViQ 是一篇把 MLLM 视觉 encoder 离散化从“设计 tokenizer”推进到“塑形 text-aligned latent space 后再量化”的工作，真正贡献在于量化前的表示整形与多目标监督，而不是某个单独量化模块。