精读笔记
Problem Setting
[AVTok: 1D Unified Tokenization for Holistic Audio-Video Generation]（arXiv preprint / 2026）
这篇论文实际在解决 AV generation 的前置表示问题：现有 A2V/V2A/JAVG 多数从 tokenizer 开始就是双分支，音频和视频分别进入不同 latent space，后续生成器再用 cross-attention、fusion block 或双 DiT 去补对齐。这使得系统重、训练贵，而且语义/时间对齐问题被推迟到 generation stage 才处理。
真正困难不是“把音频和视频都 tokenize”，而是二者的信息组织方式不一致：视频通常是高密度 3D spatio-temporal structure，音频是 1D waveform 或 2D spectrogram；视觉重建目标偏空间细节，音频重建目标偏频谱/相位/感知质量。直接共享 tokenizer 会出现模态竞争，视觉信息密度更高，容易压制音频学习。任务的核心矛盾是：既要统一 token space 以提高可扩展性和下游生成一致性，又必须给每个模态足够的适配自由度。
Motivation
已有路线不够的根源在 tokenizer 层面。两个独立 tokenizer 训练出的 embedding space 没有理由自然对齐，后续生成模型即使用同一个语义条件，也是在两个坐标系里分别采样，semantic alignment 和 temporal sync 都需要额外机制补救。作者的关键观察是：1D visual tokenization 已经把视频从 3D patch latent 转成类似语言/音频的序列化 discrete tokens，这让视频第一次可以在结构上和音频 tokenizer 接轨。
因此 AVTok 的 motivation 不是单纯省参数，而是把 AV 对齐前移：让音频和视频在压缩阶段就进入一个 shared discrete latent geometry。缺口在于，之前的 video tokenizer 强在 holistic visual compression，audio codec 强在 waveform/spectrogram reconstruction，但没有一种机制能同时满足统一 codebook、模态特异性、AR-friendly token order 和 joint reconstruction。
Core Idea
论文的核心思想是：把 audio-video pair 压缩为一个统一的 1D 离散 token 表示，并让这个表示同时承担重建接口和下游生成接口。相比 prior 在生成器里做跨模态融合，AVTok 直接改变信息流的入口：音频和视频不再作为两套 latent 被外部对齐，而是在 tokenizer 内部共享部分表示空间。
它引入的关键 inductive bias 是“共享几何 + 分流适配”。共享 encoder/decoder 和统一 codebook 迫使两种模态使用相近的 latent basis；模态特定 query 和 normalization 又避免模型把音频/视频硬压成同一种统计结构。这个设计理论上更 scalable，因为 downstream generator 可以面向一个序列空间建模，而不是维护两个 tokenizer、两个 generator branch 和显式 cross-modal adapter。它的本质区别不是多了一个模块，而是把 AV generation 的对齐问题从 generation-time fusion 改成 tokenization-time representation co-design。
Method
方法只需要抓住四个机制。
第一，1D holistic tokenization 解决 token organization mismatch。视频不再保留 3D latent grid，而是用 learnable holistic queries 从 patches 中抽取固定长度 token；音频用 mel-spectrogram patch 后也进入类似 query-based 序列化路径。这一步让 audio/video 至少在生成器看来都是 1D discrete sequence。
第二，dual-stream shared transformer 解决模态不平衡。vanilla 单流拼接会让模型在同一 attention 空间里同时处理两种统计分布，容易相互干扰；AVTok 用两个 forward pass、共享主体参数、分离 query/norm，使共享参数承担跨模态 common structure，query/norm 承担 modality-specific adaptation。
第三，VFAL 是优化层面的 curriculum，而不是概念上的统一。先训练视频建立强 latent/token basis，再冻结共享部分让音频适配，最后微调 decoder。它解决的是从零 joint training 时视觉信息密度压制音频的问题。这个策略有效但也说明 unified training 本身并不稳定。
第四，representation alignment 和 AR prior 分别补两个缺口：前者用 CAV-MAE Sync 的外部语义空间强化 AV correspondence，后者用 next-token prediction 约束 token order，使 tokenizer 不只为 reconstruction 优化，也为 AR generation 优化。
Key Insight / Why It Works
最可能的核心贡献是 latent structure，而不是某个 transformer 细节。AVTok 有效的根本原因在于它把两种模态的生成接口统一成同一种 1D token 序列，降低了下游生成器的结构复杂度，并让 cross-modal generation 变成 token continuation / conditional token prediction。这个 latent organization 对 AR 模型尤其重要，因为 AR generator 最怕异构 latent layout。
第二个关键是 query-based holistic compression。它绕开了 patch-grid token 的局部绑定，让每个 token 可以承载全局语义或事件级信息；这对于 AV 对齐比局部 patch reconstruction 更自然。这里的 insight 可以迁移：如果目标是多模态生成接口统一，latent token 不应过度绑定原始模态拓扑。
第三，VFAL 可能是工程上最关键但概念上不那么漂亮的部分。它本质是 curriculum + parameter freezing，用来避免 joint optimization collapse。没有 VFAL 音频指标明显恶化，说明模型不是天然学会 AV 平衡，而是需要人为规定学习顺序。
第四，representation alignment 的增益说明共享参数的隐式交互不足。AVTok 仍然依赖 CAV-MAE Sync 这类外部 foundation model 提供跨模态语义监督；因此“统一 tokenizer 自发学到 alignment”的说法需要打折。这里可能存在 hidden supervision：alignment 能力一部分来自外部 pretrained AV model，而非 tokenizer 架构本身。
第五，AR prior 明确体现 reconstruction-generation tradeoff。去掉 prior 后重建更好、生成更差，说明 tokenizer 的最优 latent 不等于 generator-friendly latent。论文真正有价值的判断是：tokenizer 应该和下游生成范式共同设计，而不是只追求 reconstruction metric。
Relation To Prior Work
AVTok 属于 1D visual tokenization、audio codec、AV generation 三条线的交叉，但最接近的是 LARP-style query-based 1D video tokenizer 加 CAV-MAE-style dual-stream AV pretraining。很多看似新的部分其实是已有思想重组：learnable queries 来自 TiTok/LARP/DETR 系谱，dual-stream shared transformer 与 modality-specific norm 来自 AV representation learning，AR prior 也继承 LARP。
真正新增的信息在于把这些机制放到 unified AV tokenization 这个问题里，并证明它能服务 A2V/V2A/cJAVG 三类生成任务。和双分支 AV DiT 的本质区别是：后者在两个 latent space 之间做交互，AVTok 试图先构造一个共享 latent space；和普通 audio codec/video tokenizer 的区别是：它的 tokenizer 目标不再是单模态最优压缩，而是多模态共享表示 + generation compatibility。
因此这篇不是从零发明新架构，而是一次有意义的表示层重构：把 prior work 中分散的 query tokenization、AV shared representation、AR-friendly latent 组合成一个统一 tokenizer。实质创新在问题定义和信息流重排，不在 transformer block。
Dataset / Evaluation
评估覆盖了 reconstruction、A2V、V2A、class-conditional JAVG，任务面比较完整，能说明 unified tokenizer 作为共同接口是可用的。重建和生成都在 VGGSound/TAVGBench 这类 sounding video 数据上进行，数据具有音画关联，但场景复杂度、分辨率和时长都有限；默认是 16 frames、128×128、约 4 秒音频。这验证的是短 clip、低分辨率、单事件分布下的可行性，不足以证明长视频或复杂多声源场景的泛化。
benchmark 支持“AVTok 在当前设置下比若干代表性 baseline 更高效/更好”，但不完全支持“统一 latent 根本缓解语义 misalignment”。原因有三：第一，自动指标如 FVD/FAD/IB/DeSync 对细粒度因果同步并不充分；第二，部分 baseline 需要文本条件，作者用 class label 替代，公平性有限；第三，tokenizer 训练数据、外部 CAV-MAE Sync alignment、vocoder 和 AR generator 共同影响结果，增益归因不清。
没有真实世界 deployment，也没有高分辨率长时序评估。效率结果有价值，尤其相对大规模 flow/diffusion 双分支系统，但这更多证明了 AR + compact tokens 的工程优势，而不是统一 tokenizer 在所有生成范式下都更优。
Limitation
核心限制是方法把一部分困难从生成器转移到 tokenizer 训练。统一 token space 并不是自然出现的，需要 VFAL、外部 foundation alignment、AR prior 和精心 loss balancing。文中未充分说明如果数据更复杂、模态更不对称、音画弱相关时，这个 shared codebook 是否仍稳定。
第二，泛化上限受固定分辨率/固定时长/短序列设定约束。1D holistic tokens 对短 clip 很合理，但长视频中的多事件、多对象、多声源同步可能需要局部时间结构；过度 holistic compression 可能丢失细粒度 temporal grounding。所谓 sync 目前主要依赖同步训练样本、共享参数、AR causal modeling 和 CAV-MAE representation，显式同步建模不足。
第三，音频路径依赖 mel-spectrogram + vocoder。论文把 mel 视作灰度图来 patchify，这在工程上方便，但它并不等价于真正的 waveform tokenizer；音频质量和上限部分由 vocoder 决定。增益来源不清，特别是与 BigVGAN/HiFi-GAN、CAV-MAE Sync、数据过滤之间的贡献边界没有完全拆开。
第四，结果可能有 data/domain bias。VGGSound/TAVGBench 的类别结构和音画共现模式较强，AR generator 可能学习到 class-level co-occurrence，而不是真正细粒度 AV causality。这里的“alignment”有可能相当一部分是 dataset prior / retrieval-like association，而非可组合的跨模态推理。
Takeaway
- 1. 最值得记住的是：多模态生成的瓶颈可能不在 generator fusion，而在 tokenizer 是否从一开始就制造了表示裂缝。
- 把对齐前移到 tokenization stage 是有价值的方向。
- 2. 1D holistic token 是一个强迁移 insight：当目标是把视觉接入语言式/AR 式生成器时，保留原始空间拓扑未必最优；更重要的是构造 generator-friendly latent order。
- 3. unified tokenizer 不能简单理解为“共享所有参数”。
一句话总结
AVTok 是把音视频生成中的跨模态对齐问题前移到 1D unified tokenization 阶段的一次有效表示重构，核心贡献在于用 shared latent structure + modality-specific adaptation 构造 AR-friendly 的 AV 生成接口，而不是发明新的生成模型。