精读笔记

Problem Setting

这篇论文处理的是 Omni-modal LLM 的推理期音视频 token 压缩：给定一个已有 OmniLLM、一个文本 query 和按时间窗口交错组织的 audio/video token，在固定 retained ratio 下选择哪些 token 进入 LLM backbone。关键矛盾是，压缩要同时降低 prefill cost、保留 query-relevant evidence、维持音视频时间对齐，还不能偏向某个模态。以前方法卡在把“时间重要性”当作可由单一模态估计的全局属性，尤其 audio-guided 方法默认声音事件密度可以代理视觉和 joint evidence；这个假设在 audio-centric task 上可能成立，但在视觉问题、互补问题、弱同步问题上会系统性丢证据。真正难点不是算一个 importance score，而是如何在低 token budget 下避免把跨模态理解退化成某个模态的 sparse retrieval。

Motivation

作者的动机来自对 unimodal-guided compression 的不满：它缺 query-awareness，也缺 modality symmetry。音视频长输入中，大量 token 是冗余的，但冗余不是静态属性；同一个片段对不同问题的重要性不同，同一时间窗口内 audio 和 video 的证据密度也可能完全不同。已有方法通常用 audio-side attention 或 audio event density 决定时间预算，这等价于假设 query-relevant evidence 与 audio saliency 同步。作者观察到这种策略会在视觉或 audio-visual joint 问题上产生 modality bias，因此需要一种不依赖单一模态代理的压缩信号。缺口不是“更复杂的 pruning”，而是“query-conditioned、modality-specific 的 evidence localization”。

Core Idea

OmniFocus 的核心思想是把音视频 token 压缩重写成一个轻量的 query-guided evidence selection 问题：先分别问 audio 和 video 在每个 temporal chunk 中是否存在与 query 匹配的局部证据，再基于这个判断分配该模态在该 chunk 的保留预算。这样做改变了建模方式：时间重要性不再是由某个模态提供的共享变量，而是 query 条件下、模态内独立估计的变量。

这个 inductive bias 很关键：query-relevant evidence 通常是 sparse peak，而不是均匀分布；audio/video 的 saliency 可以互补而非同步；保留跨模态对齐不等于只保留跨模态相似的 token。因此方法同时保留 inter-modal association token 和 intra-modal peak token。和 prior 的本质差异在于，OmniFocus 不让 audio 替 video 做判断，也不把压缩看成单纯的 redundancy removal，而是把它看成 LLM 前端的 query-conditioned retrieval。它更可能 scalable 的原因也在这里：不需要训练、不依赖 attention rollout、不进入 backbone，只在输入 embedding 空间做局部选择。

Method

方法上最重要的是三件事。第一，chunk-level query relevance：用 query embedding 与每个 chunk 内 token 的最大相似度估计该 chunk 对当前问题的证据强度。max 而非 average 的选择是合理的，因为压缩场景下真正需要保护的是 sparse evidence peak；平均池化会把少数关键 token 淹没在大量背景 token 中。

第二，modality-specific budget allocation：audio 和 video 分别估计 relevance，分别映射成局部 drop ratio，再校准到全局 budget。这解决的是单模态引导导致的预算错配。其核心变化是把“跨模态共享时间预算”改成“同一时间窗口下的模态独立预算”，同时仍保留原始 temporal chunk 结构。

第三，dual-score token selection：association score 选与另一模态局部均值接近的 token，用来保留同步证据；peak score 选偏离本模态局部均值的 token，用来保留模态内独特证据。这个设计避免了两种极端：只保留跨模态一致性会丢掉单模态信息，只保留模态内 saliency 又可能破坏 audio-visual correspondence。局部 drop range、binary-search calibration、1:1 split 属于轻量工程化控制，必要但不是最核心贡献。

Key Insight / Why It Works

这篇最有价值的 insight 是：OmniLLM 的音视频压缩不应该用“哪个时间段整体重要”来建模，而应该用“哪个模态在这个时间段对这个 query 有证据”来建模。这个转变使方法本质上更接近 retrieval，而不是传统 pruning。它有效的主要原因不是模型学到了新能力，而是 test-time 把 token budget 从无条件冗余消除转移到 query-conditioned evidence preservation。

最可能的核心贡献是 modality-symmetric relevance estimation。它直接击中了 audio-guided compression 的弱点：audio saliency 不是 visual saliency 的可靠 proxy。第二重要的是 intra-modal peak selection，因为它承认跨模态一致性之外还有大量单模态证据；这在真实音视频 QA 中很常见。inter-modal association 是必要的辅助，用来避免压缩后破坏原始 Qwen2.5-Omni 的 temporal alignment prior，但从 ablation 描述看，intra-heavy 往往更强，说明单模态 salient evidence 可能比作者主叙事中的 cross-modal correspondence 更关键。

哪些地方可能只是 engineering / scaling：prefill 和 E2E speedup 基本是 token 数下降的直接结果，不是算法层面的意外收益；budget calibration、local drop-ratio range、softmax vs sigmoid 都更像经验调参。实验增益也不大，且 random baseline 很强，说明 benchmark 中 token redundancy 很高，或者压缩比例下的证据保留并不特别困难。文中没有 error bars，多个 gain 在 0.x 到 1.x 的量级，显著性不清。没有明显 benchmark leakage 证据，但 modality-type 分析使用 Qwen3-32B 自动分类，只能作为诊断辅助，不能当作强因果证明。

Relation To Prior Work

最接近的是 OmniZip / OmniSIFT / DASH 这类 OmniLLM audio-visual token compression，以及更广义的 vision-language token pruning、video token selection、audio token pruning。OmniFocus 属于 training-free test-time token compression 谱系，不是模型架构创新，也不是 learned routing。

和 OmniZip 的本质差异是 compression signal 的来源：OmniZip 用 audio-side attention / event density 作为跨模态时间预算代理，OmniFocus 用 query 与 audio/video token 的独立相似性做模态内预算。前者是 unimodal-guided asymmetric compression，后者是 query-guided modality-symmetric compression。这个差异是实质的，因为它改变了错误模式：OmniZip 的风险是系统性偏向 audio，OmniFocus 的风险则是 embedding-space retrieval 不准。

看似新的部分中，query-token similarity、max pooling、centroid association、peak saliency 都不是全新思想，更像已有 retrieval/pruning/contrastive saliency 直觉在 OmniLLM token 组织上的重组。实质创新在于把这些简单机制组合成适合 interleaved audio-video chunks 的 budget policy，并明确指出 unimodal guidance 的 modality-bias 假设问题。它推动的是压缩策略的 inductive bias，而不是底层表示学习。

Dataset / Evaluation

评估覆盖 DailyOmni、WorldSense、OmniVideoBench、VideoMME，任务类型包含日常音视频 QA、同步真实世界感知、协同音视频推理和不同长度视频 QA。这个覆盖面基本能检验论文的主要 claim：query-guided modality-balanced compression 在多类音视频理解任务上比 audio-guided compression 更稳。DailyOmni 的 category-level 分析尤其契合 claim，因为 AV Event Alignment 的提升能直接对应“保留跨模态证据”。

但 evaluation 的限制也明显。第一，所有主实验都在 Qwen2.5-Omni 3B/7B 上，跨 OmniLLM 架构泛化文中未充分说明。第二，benchmark-level budget calibration 虽然保证公平，但弱化了真实部署问题；真实系统不会提前知道某个 benchmark 最合适的 audio/video budget。第三，缺少统计显著性，许多提升较小，很难判断是不是评测噪声。第四，实验主要验证 offline QA accuracy 和推理 latency，没有充分验证更真实的 streaming、噪声、错位、长时多事件场景。总体上，evaluation 支持“这是一个更好的压缩 heuristic”，但不足以支持“普适的 omni-modal compression principle”这种更强说法。

Limitation

核心前提有四个。第一，query embedding 与 audio/video token embedding 在 LLM 输入空间中可直接用 cosine similarity 比较；这是方法成立的基础，但文中未充分说明。若 encoder 输出的 token 更偏底层声学/视觉特征，或 query 需要抽象推理而非局部语义匹配，relevance score 会失真。

第二，max-sim 假设关键证据表现为局部峰值。它适合 sparse evidence retrieval，但不适合需要跨多个片段累计、比较、计数或长期状态跟踪的问题。所谓 reasoning 提升可能更多是保住了可检索证据，而不是改善了 reasoning。

第三，方法仍依赖预先校准的 global modality budget。它把一部分难题从 token selection 转移到 budget setting；如果部署分布变化，固定 benchmark-level budget 可能失效。实例级 modality demand estimation 才是更真实的问题。

第四，泛化上限受 backbone 输入组织限制。OmniFocus 假设 audio/video 已经按 temporal window 对齐；如果音画不同步、音频噪声强、画面遮挡、事件跨窗口，inter-modal association 可能选错 token。当前收益也可能高度依赖 Qwen2.5-Omni 的 token redundancy 和 benchmark 分布；文中未充分说明在更强模型、更长上下文或更低 redundancy 输入下是否仍有同等收益。

Takeaway

• 1. Omni-modal token compression 的关键不只是压缩率，而是 modality-aware evidence allocation；单模态 guide 会成为系统性偏差源。
• 2. Query-conditioned pruning 是比 input-agnostic pruning 更合理的方向，尤其在长音视频 QA 中，压缩本质上应更接近 retrieval。
• 3. 同时保留 cross-modal correspondence 和 modality-specific peaks 是可迁移 insight：多模态压缩不能只追求对齐，也要保留不对齐但有用的单模态证据。
• 4. 下一步真正值得做的是 instance-adaptive audio/video budget、利用 backbone 内部 attention/activation 的更准 relevance estimation，以及在 noisy/misaligned/streaming 场景中验证这种 compression policy 是否仍稳。

一句话总结

OmniFocus 是一篇把 OmniLLM 音视频压缩从 audio-guided token pruning 推向 query-guided、modality-balanced evidence retrieval 的工作，真正贡献在于修正压缩预算的归纳偏置，而不是提出复杂的新模型。