精读笔记
Problem Setting
[Seeing Once is Enough? Online Geometry-Aware Token Pruning for 3D Question Answering]（arXiv preprint / 2026）
这篇论文实际处理的是 2D VLM 在 3D QA 中的 inference-time token bottleneck：为了覆盖一个 3D scene，需要多视角输入；但多视角带来的大量 token 并不是等量信息，很多只是同一空间区域的重复观察。真正困难点在于 online setting：系统只能顺序接收帧，不能像 offline frame selection 那样先看完整场景再做全局优化。
以前方法卡在两个方向：3D MLLM 需要额外 3D 模块、3D-language 数据和再训练；frame selection / token compression 往往需要离线预处理或额外 selector。本文的关键矛盾是：3D QA 需要足够空间覆盖，但 VLM 的上下文和注意力机制对重复 token 非常敏感；增加帧数不一定增加有效信息，甚至可能降低性能。
Motivation
已有路线不够的地方不是“不会看 3D”，而是缺少一种在线、训练无关、可插到现有 2D VLM 前面的空间去重机制。uniform sampling 简单但不理解空间覆盖；maximum coverage sampling 懂空间但通常离线；DTC/token merging 能压缩，但也需要全局或额外相似度流程。
作者的核心观察很直接：RGB-D + pose 已经提供了跨帧 token 判重所需的监督信号，不需要再训练一个模型去猜哪些 token 重要。真正缺口是把“是否看过同一 3D 区域”转成 VLM token 级别的输入控制。这个方向成立的前提是：在 3D QA 中，空间新颖性比时间连续性更接近有效上下文的组织原则。
Core Idea
论文真正的核心是把多帧视觉输入从 temporal sequence 重新组织成 spatial coverage process。每来一帧，不是问“这帧该不该选”，而是问“这帧里的每个 token 对应的 3D 空间是否已经被看过”。这相当于在 VLM 前面放了一个轻量的几何记忆层：历史 voxel set 代表已覆盖空间，新 token 只有在贡献新的空间证据时才进入 LLM。
这个建模方式与 prior 的本质区别在于粒度和时序假设。frame selection 是帧级决策，会把一整帧保留或丢弃；offline coverage 是全局优化，需要未来信息；视觉相似度 compression 多半在 feature/image 层判重。本文用几何投影把 redundancy 定义到 3D 空间，再映射回 token。它的 inductive bias 更硬、更可解释，也更容易 generalize，因为它不依赖语义类别、问题分布或训练数据。
Method
方法层面只需要保留三个机制。
第一，跨帧几何对齐：每个 RGB-D pixel 通过 depth 和 camera pose 投到世界坐标，再量化为 voxel。它解决的是不同帧图像坐标不可比较的问题，把 2D patch 的相似性问题转成 3D occupancy overlap 问题。核心变化是 redundancy 不再由 appearance similarity 决定，而由是否占据同一空间决定。
第二，在线 voxel memory：系统维护历史出现过的 voxel set，新帧到来时只与过去 voxel 比较。这解决 online setting 中不能访问未来帧的问题。它不是 learned memory，而是显式空间记忆；可扩展性来自单通道累积，而不是全局重排序。
第三，token-level pruning：pixel overlap 被聚合到 vision patch/token 粒度，重叠比例超过阈值的 token 在进入 LLM 前被移除。这个机制真正减少的是 LLM 侧输入长度和 attention 干扰，而不是仅减少图像编码前的计算。阈值为 100% 时效果最好，说明保守剪枝比激进剪枝更符合任务需求：只删几乎确定重复的 token，不赌语义重要性。
Key Insight / Why It Works
最可能的核心贡献不是“token pruning”本身，而是用 3D occupancy 给 visual token 定义了一个训练无关的 redundancy criterion。多视角 3D QA 中，重复视角 token 会制造两类问题：一是计算成本，二是 attention dilution。当前 VLM 并不具备可靠的跨帧 3D memory，它看到的是一长串 2D patch；大量重复 patch 会把注意力预算耗在已知区域上。几何剪枝相当于把 test-time context 变得更接近 coverage-optimized memory。
这更像 memory reuse / better inductive bias，而不是 reasoning 能力提升。方法没有让模型学会新的 3D 表征，也没有显式建立 object-level scene graph；它只是利用传感器几何把输入分布清理得更适合 2D VLM。所谓性能提升，很可能来自“减少冗余 + 可输入更多帧后的有效覆盖增加”共同作用。尤其在线实验中，Ours 往往是在更多 sampled frames 上剪枝后与较少帧 baseline 比较，增益来源不完全可分离：可能不是 pruning 单独提升，而是“更密集采样后再保守去重”带来的 coverage advantage。
阈值 ablation 很关键：低阈值大幅省 token 但掉性能，100% overlap 反而最好。这说明模型仍需要大量局部冗余来处理遮挡、视角差异和细粒度语义；真正安全可删的是几何上几乎完全重复的 token。换言之，这篇论文的 insight 不是“看到一次就够”，而是“确定同一 patch-level 空间已完整覆盖时，再看通常弊大于利”。标题里的 Seeing Once is Enough 更像研究假设，实验实际支持的是 conservative geometry-aware deduplication。
Relation To Prior Work
它最接近三条路线：offline maximum coverage frame selection、voxel-based dynamic token compression、以及 3D-aware VLM input preprocessing。和 MC sampling 的区别是粒度从 frame 变成 token，且从 offline global selection 变成 online historical coverage。和 DTC 的区别是它不主要依赖视觉相似度或离线压缩，而是用 depth/pose 直接给 redundancy 下定义。和 3D MLLM 的区别是它不把 3D 信息注入模型参数或 embedding alignment，而是只在输入侧做几何过滤。
看似新的部分有一部分是已有思想重组：voxel coverage、overlap pruning、token reduction 都不是新概念。实质创新在于把这些组合成一个无需训练、在线可用、能直接接入 Qwen-VL 这类 2D VLM 的 token-level gate。它属于 test-time input organization / geometry-aware context compression 谱系，而不是 3D representation learning 谱系。真正新增的信息是：对当前强 2D VLM 来说，简单几何去重已经足以带来稳定 token-efficiency 改善，未必需要训练一个 3D adapter。
Dataset / Evaluation
评测覆盖 ScanQA、SQA3D、OpenEQA-HM3D，并在 appendix 扩到 VSI-Bench，说明作者试图覆盖传统 3D QA、situated QA、embodied QA 和 spatial intelligence。跨 Qwen2.5-VL、Qwen3-VL 以及不同 frame counts 的结果能支持“该机制不是单模型偶然”的 claim。
但 evaluation 对核心 online claim 的支持仍有限。数据集是预定义 benchmark，不是真实机器人流式部署；pose/depth 已给定，系统没有处理传感器误差、主动探索、长期场景记忆或动态环境。OpenEQA-HM3D 更接近 embodied QA，但实验仍是离线重放式输入，不等价于 real-time embodied system。
此外，实验没有完全隔离“更多帧带来更大覆盖”与“剪枝带来更少冗余”的贡献。在线表中 Ours 常用 30 frames 后剪枝对比 20-frame uniform，虽然 token budget 接近或更低，但信息覆盖本身不同。因此 benchmark 支持的是“dense sampling + geometry pruning 是更好的 inference recipe”，不严格证明 pruning 单独提高 reasoning。
Limitation
最大前提是 depth 和 camera pose 足够可靠，并且场景近似静态。只要 pose 漂移、depth hole、动态物体、镜面/透明表面或跨时间状态变化存在，voxel overlap 就可能错误地把有用 token 当成冗余。文中未充分说明这些 real-world failure modes。
第二，上限由 patch-level voxel overlap 决定。它只能判断空间是否重复，不能判断语义是否仍然有用。同一空间区域在不同视角下可能暴露文字、物体状态、遮挡边界、细粒度属性；这些 view-dependent cues 被简单剪掉后不可恢复。作者也承认 pruned tokens 可能包含有用 spatial cues，但没有系统分析。
第三，它没有解决高层 3D reasoning。核心能力可能主要来自 Qwen-VL 本身的大规模 2D/视频预训练和 benchmark 中相对静态、室内、短问答的结构；本文只是让输入更干净。所谓空间推理提升更像 better evidence retrieval / context filtering，而不是形成了真正的 scene-level latent state。
第四，泛化仍可能依赖 benchmark 的数据形态。ScanNet/HM3D 这类场景具有高帧间重叠、稳定相机轨迹和可用 RGB-D；如果换成稀疏视角、低重叠、户外、大尺度或无深度输入，收益可能显著下降。scalability 上，voxel memory 自身不重，但长期大场景需要 memory management；论文没有讨论如何遗忘、层级化或处理持续探索。
Takeaway
- 1. 对 3D QA 来说，当前最有效的低成本改进之一不是训练 3D 模型，而是在 test time 用几何结构重新组织输入上下文。
- 2. token pruning 的可靠信号不一定来自 learned importance；在多视角场景中，空间覆盖/重叠本身就是很强的 inductive bias，且比 appearance similarity 更稳定。
- 3. 这篇论文真正推动的是 online geometry-aware context compression：未来可以自然演化到 query-aware pruning、object-level memory、hierarchical voxel memory，以及与 token merging 的组合。
- 4. 最值得迁移的 insight 是：当 foundation model 缺少显式环境记忆时，可以在模型外部用传感器几何维护一个轻量 memory，再把输入裁剪成“新证据流”。
一句话总结
这篇论文不是在发明新的 3D VLM，而是证明了一个实用方向：用在线几何记忆对多视角 token 做保守去重，可以把 2D VLM 的 3D QA 推向更可扩展的 test-time context compression。