精读笔记

Problem Setting

【OneCanvas: 3D Scene Understanding via Panoramic Reprojection（arXiv / 2026）】

这篇论文关心的不是传统意义上的 3D reconstruction，也不是把点云喂给 LLM，而是一个更具体的问题：给定多视角 RGB-D / posed video，如何让 pretrained VLM 真正使用几何信息来回答 situated spatial QA、距离/方向/可见性/路径类问题。

真正的难点在于信息组织，而不是信息是否存在。depth、pose、multi-view frames 都可以给模型，但如果它们以独立帧序列或外接 3D token 的形式进入，VLM 仍然需要自己完成三个困难操作：跨视角对齐、参考系转换、metric relation readout。已有方法很多是在模型结构或数据规模上补偿这个错配：加 point-cloud tokenizer、geometry encoder、depth positional encoding，或者堆大量 spatial QA。问题是这些做法不保证模型一定使用几何；很多 benchmark 上，语言先验和场景统计已经能解释相当多结果。

这篇的关键矛盾是：3D 空间关系需要统一坐标系，但 VLM 预训练时习惯的是 2D image-like token layout。OneCanvas 的目标就是把 3D 场景重新组织成一种 VLM 原生可读的 2D-like 表示，同时不丢掉 metric geometry。

Motivation

作者的核心观察是：现有 3D-aware VLM 的瓶颈不是“没有几何模块”，而是“几何没有以合适的形式进入语言模型”。如果多视角图像仍然是 frame sequence，那么空间关系是隐式的；如果引入新 3D encoder，又需要昂贵对齐训练；如果只靠大规模 QA，模型容易学到 answer marginal、模板偏置和场景类别先验。

OneCanvas 想补的缺口是一个统一、低改动、可复用的 scene-level spatial substrate：所有 patch 都落在同一个参考系里，并且这个参考系可以按任务切换到 agent pose、query pose 或 scene center。这个动机很强，尤其针对 situated QA：许多问题不是问物理世界绝对坐标，而是问“从我这里看，哪个方向、能不能看到、往哪转”。如果输入表示本身没有把 viewpoint 作为坐标原点，模型就只能在语言层面补参考系转换。

因此这篇不是在追求更强 3D perception，而是在追求更好的 representation-to-backbone alignment。

Core Idea

核心思想可以概括为：把多视角 3D scene token 化成一个 panoramic canvas，让 VLM 像读一张图一样读一个场景。

具体地，每个 image patch 先通过 depth 和 camera pose 反投影到世界坐标，再以某个 canvas origin 为中心计算经纬度，作为其在 equirectangular panorama 上的连续位置。longitude / latitude 进入 VLM 原生位置编码；同时把该 patch 相对 canvas origin 的 metric 3D offset 编码后加到 feature 上，补回从 3D 坐标压到角坐标时丢掉的深度/尺度信息。

这改变了建模方式：prior work 多半让 VLM 在“多帧序列 + 额外几何信号”中学习空间关系；OneCanvas 则先把空间关系外显到 token layout 中，再让 pretrained attention 做关系读取。它引入的 inductive bias 是 spherical egocentric/global layout：角方向由 token position 表达，metric distance 由 feature-side 3D embedding 表达，时间轴保留 source-frame index。这样跨视角融合不再依赖一个新 encoder，而是被转化为同一 token 坐标系内的 attention 问题。

本质区别在于：它没有试图教 VLM 从视频中“发现 3D”，而是把 3D 几何预计算成 VLM 已知格式的空间组织。

Method

方法里真正关键的机制只有几项。

第一，patch-level 3D lifting。它解决的是多视角 token 不可比较的问题。每个 patch 不再只是某帧某像素位置的局部视觉特征，而有了世界坐标。这样不同帧中同一物体、相邻物体、遮挡表面至少在几何上进入同一个坐标系统。

第二，continuous panoramic placement。它解决的是如何把 3D token 放回 VLM 熟悉的 2D 位置结构中。作者没有 rasterize 到固定网格，也不对重叠区域做平均或深度选择，这一点很重要：rasterization 会提前做不可学习的融合，尤其会把同一视线方向上的不同深度表面压扁。OneCanvas 保留所有 patch 为独立 token，让 attention 自己决定聚合。

第三，metric 3D position embedding。panorama 的经纬度只表达方向，不表达距离；如果没有 metric embedding，模型只能靠视觉大小和场景先验估距离。把相对坐标、径向距离、水平半径、unit ray 编码后加到 patch feature，相当于给 VLM 一个显式的 metric channel。它不是额外 RoPE 维度，而是 content feature，这避免破坏 backbone 原有 angular / temporal positional semantics。

第四，canvas origin 可选。这个机制解决 situated reasoning 的参考系问题。SQA3D 中以 agent pose 为 origin 会显著提升 viewpoint-dependent 问题，说明“把问题参考系写进输入表示”比让 LLM 在文本里推参考系更可靠。

第五，spatial pretraining curriculum。它解决 downstream QA 几何监督弱、先验捷径强的问题。作者在空 canvas 上程序化放置 patch feature，并用 inline patch reference 代替 class name，尽量切断类别-尺寸-位置先验，让答案由坐标关系决定。这是该方法能够少数据/少算力工作的关键辅助机制。

Key Insight / Why It Works

我认为这篇最核心的贡献不是 panorama 本身，而是“把 3D spatial reasoning 对齐到 VLM 原生 token-position interface”。这是一种 representation alignment，而不是新架构。

为什么有效：

1. 它把跨视角绑定问题前置解决了。VLM 不再需要从 frame order 中隐式拼场景；所有 patch 已经被放到共享参考系。对 relative direction、route、multi-view MCQ 这类任务，这个 inductive bias 非常直接。

2. 它把 egocentric reasoning 变成坐标选择问题。agent-centered canvas 让“left/right/front/back/which”这类问题在输入坐标上天然成立。这比把 agent pose 作为额外数字 token 或 prompt 信息更强，因为它改变了所有 visual token 的位置关系。

3. 它保留了 pretrained VLM 的强项。没有强行引入 point-cloud token space，也不要求语言模型理解全新的 3D encoder 输出；视觉内容仍然是 Qwen3-VL vision encoder 的 patch feature，空间位置仍然通过 RoPE-like 机制进入。这降低了 alignment cost。

4. curriculum 很可能贡献很大。stage-1 的 synthetic-box / patch-reference 设计避免了真实场景 QA 中最危险的捷径：class prior、room prior、answer distribution prior。它教的不是物体语义，而是“如何从 token position / metric embedding 读几何”。从 ablation 看，route 和 metric 子任务对它敏感。这部分不应被看成普通 pretraining trick，而是让 representation 可被模型解码的关键步骤。

哪些可能只是辅助或 engineering：LoRA rank、训练分辨率、frame 数、crop ScanNet 边缘、A6000/A100 compute normalization 都不是核心。3D PE 的具体 sinusoid frequency 设计也可能不是唯一选择；重要的是显式 metric channel，而非这组频率本身。

哪些增益归因不清：stage-2 混合了 VSI-Bench-style、SQA3D、ViCA 数据，因此 VSI-Bench 上的提升不完全能归因于 representation。SPBench zero-shot 更有说服力，但仍需确认训练数据中是否覆盖了高度相似的 task templates。文中强调 order-of-magnitude less compute，但 OneCanvas 不是纯零样本方法，它仍依赖精心设计 curriculum 和下游混合微调。

这不是 retrieval，也不是 test-time compute；也不主要是 scaling。它更接近 better inductive bias + curriculum-driven representation decoding。

Relation To Prior Work

它最接近三条谱系。

第一是 lift-splat / BEV / lift-project 系列：把多视角特征 lift 到 3D 再投影到 canonical 2D layout。OneCanvas 的新意不是 lift-project 这个几何操作，而是把它接到 VLM 的原生 token-position system 上，并选择 panorama 而不是 BEV。BEV 更适合驾驶场景的地平面推理；panorama 更适合室内 embodied / situated QA，因为方向、可见性和 egocentric reference 更自然。

第二是 depth-aware / position-aware video VLM。相比 Video-3D LLM、LLaVA-3D、SD-VLM 等把 depth 或 3D PE 注入每帧表示的方法，OneCanvas 的区别是先统一坐标系，再让 token 进入模型。也就是说，它不是给每帧加 3D 注释，而是重排所有帧的空间结构。

第三是 geometry-encoder 3D VLM，如 VLM-3R、SpaceMind、Loc3R-VLM。那些方法把几何理解作为额外 encoder / fusion module 的能力；OneCanvas 则把几何作为输入 token layout 的属性。实质差异是训练对齐成本和 failure mode：geometry encoder 路线可能学到强 3D latent，但也可能出现 VLM 不使用该 latent；OneCanvas 的几何信号更直接暴露在 attention 的位置和内容通道中。

看似新的部分中，panoramic representation、feature lifting、procedural curriculum 都有前史；真正新增的是三者的组合：continuous panoramic token placement + metric feature embedding + anti-shortcut spatial curriculum，用最小架构改动让 VLM 读取 3D。

Dataset / Evaluation

评估覆盖 SQA3D、VSI-Bench、SPBench，基本覆盖 situated QA、数值距离/尺寸/房间大小、相对方向、路线、出现顺序、多视角/单视角空间推理。任务维度相对全面，尤其 SPBench zero-shot 能一定程度支持泛化 claim。

最有说服力的是两个实验现象：一是 SQA3D 中 agent-pose canvas origin 对 Which 等 viewpoint-dependent 问题增益明显，直接验证了 reference-frame-as-representation 的价值；二是 VSI-Bench ablation 中 panorama、3D PE、curriculum 对不同子任务的影响有结构性差异，不是所有指标一起涨，说明机制与任务类型有对应关系。

但 evaluation 仍有明显边界。第一，都是 offline benchmark，没有真实机器人闭环、在线 SLAM 噪声、动态遮挡、long-horizon memory。第二，很多空间 benchmark 本身存在模板偏置，作者虽然设计 curriculum 抑制捷径，但下游 evaluation 仍可能奖励 template matching。第三，stage-2 训练数据和 benchmark task family 存在较强相似性，尤其 VSI-Bench-style 数据用于训练后，VSI-Bench 结果不能完全作为 out-of-distribution reasoning 证据。第四，所有实验基于 Qwen3-VL-8B，不能证明这是 backbone-agnostic 的通用方法。

Limitation

这篇方法成立依赖几个强前提。

第一，depth 和 pose 必须足够可靠。论文用 ground-truth depth/pose 或在少量坏轨迹上用 feed-forward reconstruction fallback，这比真实部署乐观很多。实际机器人场景中，pose drift、dynamic object、depth holes 会直接污染 canvas；方法本身没有解决几何估计，只是消费几何估计。

第二，单一 panorama 有尺度上限。对于普通室内房间，equirectangular canvas 很紧凑；对于大楼层、室外、长走廊、多房间拓扑，单中心角投影会牺牲局部精度，并且远处区域 token 关系会变得不稳定。它更像 local scene representation，不是 general spatial memory。

第三，reasoning 能力可能被高估。route planning、observability、appearance order 在 benchmark 中可以由 token 坐标和 curriculum-learned operators 解出，但这不等价于形成长期状态、可执行 planning 或世界模型。更准确地说，它学会了在静态 canvas 上做若干空间读数。

第四，curriculum 是 hand-authored。新增一种空间能力需要写新 generator，这说明方法的泛化不是完全从数据中 emergent，而是依赖人工定义 operator family。它比收集百万 QA 便宜，但仍是 task engineering。

第五，增益归因仍不完全清晰。full model 同时改变输入表示、加入 3D PE、做 stage-1 curriculum、做 stage-2 mixed fine-tuning。虽然 ablation 有帮助，但无法完全分离“更好的 inductive bias”和“更接近测试任务的数据覆盖”。

第六，对 backbone 的要求较强。它假设模型有可控的 2D/3D positional interface，尤其 Qwen3-VL 的 MRoPE 正好适配。对只有 1D position 或图像位置编码不可外部指定的 VLM，迁移成本文中未充分说明。

Takeaway

• 1. 3D VLM 的一个重要方向不是继续堆 geometry encoder，而是重新设计输入表示，让几何关系以 pretrained VLM 可读的 token-position 形式出现。
• OneCanvas 是这个方向的一个很干净的实例。
• 2. Reference frame 应该成为输入表示的一部分，而不是只写在 prompt 里。
• agent-centered / query-centered representation 对 embodied spatial reasoning 可能是比更大模型更有效的 inductive bias。

一句话总结

OneCanvas 是一条把 3D 场景理解从“加几何模块”转向“重排 VLM 输入表示”的路线：通过 panoramic reprojection 和 metric token embedding，把多视角几何对齐到 pretrained VLM 原生位置接口上，再用反捷径 curriculum 教模型读取这种表示。