精读笔记

Problem Setting

[Panoramic Scene Analysis: A Survey from Distortion-Aware Engineering to Sphere-Native Foundation Modeling]（arXiv preprint / 2026）

这篇论文实际解决的是 panoramic scene analysis 领域的“问题重述”而不是某个单点任务。作者想把过去分散在 segmentation、depth、layout、VLM、tracking、open-world perception 里的方法，统一放到一个几何优先的框架下理解：panorama 的根问题不是视野更大，而是信号原生定义在 S² 上，主流模型却在 R² grid 上共享权重、做 attention、算 loss、复用预训练。

真正困难点是三个目标互相冲突：球面几何忠实性、计算/工程可用性、perspective-pretrained foundation model 复用。projection-based 方法保留预训练但引入 patch seam 和冗余；distortion-aware ERP 方法工程上最实用但投影绑定强；sphere-native 方法理论干净但与现有大模型生态脱节；foundation-model interface adaptation 则通常只是把球面问题包装成大模型能吃的 planar / sequence input。

以前方法卡住的地方不是“没有足够复杂的模块”，而是默认评测和训练协议没有逼模型证明自己真的理解球面。很多方法可能只是学会 ERP 的纬度统计、seam workaround 或 teacher model 的 pseudo-label 分布。关键矛盾是：当前最强性能路线几乎都靠 perspective foundation priors，但这些 priors 正是几何 mismatch 的来源。

Motivation

作者的核心观察是：panoramic vision 的发展不是简单从 CNN 到 Transformer 到 foundation model 的时间线，而是几何承诺不断加深的路线。早期工作把 distortion 当 nuisance，用 projection 或 deformable kernel 修；后续工作开始把球面作为 operator domain；最近 foundation-model adaptation 又把问题转成 interface design。这个变化如果按任务综述会被掩盖。

已有路线不够的原因在于它们通常只解决一个局部 mismatch。ERP-specific deformable module 能缓解纬度畸变，但不保证跨投影泛化；cubemap/tangent patch 能复用 perspective model，但把连续球面切成多个不连续视图；spherical CNN 有等变性，但无法吃掉 CLIP/DINO/SAM/Depth Anything 的知识；VLM 方法引入 ERP-RoPE 或 test-time decomposition，但离真正 sphere-native multimodal reasoning 还很远。

关键缺口有两个。第一，方法空间缺少“sphere-native × foundation-scale transfer”的组合；第二，评测空间缺少能检验 spherical understanding 的协议，包括 spherical-area weighting、seam consistency、latitude robustness、cross-projection generalization 和 open-world 标准化。论文的动机本质上是把“方法进展”与“评测盲区”同时暴露出来。

Core Idea

核心思想是把 panoramic scene analysis 重新组织成二维设计空间：横轴是 architecture 如何处理球面几何，纵轴是 training / transfer 如何获得知识。这个组织方式比 task-by-task survey 更有解释力，因为它揭示了不同任务背后共享的机制：所有方法都在回答同一个问题——球面先验到底应该进入 representation、operator、tokenization、attention、loss、teacher-student transfer，还是 evaluation。

本质区别在于，论文不是把 PB、DA、SN、GT 当成并列类别，而是把它们解释为几何承诺递进。PB 把球面局部近似成 perspective；DA 承认 ERP distortion 并补偿；SN 把 operator 定义在 S²/SO(3) 或离散球面结构上；GT 则试图在不破坏 pretrained backbone 的前提下改造输入接口。这个视角让许多近期工作的位置变得清楚：ERP-RoPE、OmniSAM、SAP、GoodSAM、PanDA 等并不是 sphere-native foundation models，而是 sophisticated interface adaptation。

理论上这个框架成立，因为 panoramic failure 的根源来自 group symmetry mismatch：平面模型假设 translation equivariance / planar positional structure，而球面任务自然涉及 SO(3) 或至少 SO(2)+gravity prior。直觉上，越靠近球面原生表示，几何泛化越可靠；越靠近 pretrained planar backbone，语义能力和 scaling 越强。整篇论文的核心就是指出这两端至今没有被统一。

Method

方法的第一层是几何形式化：把 panorama 视为 f:S²→R^C，把任务输出视为球面上的 g:S²→R^K，并用 equivariance 条件描述模型应如何响应旋转。这一步的作用不是数学装饰，而是把“perspective priors 为什么不直接迁移”变成结构性问题：权重共享、positional encoding、padding、loss weighting 都可能破坏球面一致性。

第二层是 architectural taxonomy。Projection-based adaptation 解决预训练兼容性，但把连续球面分割成局部视图；distortion-aware operator 解决 ERP 上的纬度畸变和 seam，但通常绑定具体 projection；sphere-native modeling 解决等变性和 projection-agnostic 的理想目标，但付出计算和预训练不兼容代价；geometry-aware tokenization 解决 foundation model 输入接口问题，但大多只在 PE、patch embedding、sequence reformulation 或 decoder prior 层面注入几何。

第三层是 transfer taxonomy。UDA、source-free adaptation、multi-source adaptation、foundation-model-assisted transfer 被视为正交维度，而不是单独任务 trick。这里最有价值的机制判断是 multi-projection self-supervision：同一球面信号的 ERP、cubemap、tangent views 之间存在确定几何对应，这提供了 planar domain adaptation 没有的免费监督信号。

第四层是 evaluation critique。作者把 spherical-area-aware metrics、seam tests、polar stratification、cross-projection evaluation、open-world protocol standardization 提为一等问题。这个部分很关键，因为如果 evaluation 仍按平面像素算，很多所谓进展可能只是优化了 ERP benchmark artifact。

Key Insight / Why It Works

这篇论文最强的 insight 是：panoramic vision 的主要 gap 不是 data gap，也不只是 domain gap，而是 geometry-model-evaluation 三者不一致造成的 structural gap。Perspective-to-panorama fine-tuning 之所以不够，是因为 translation equivariance、planar RoPE、zero padding、uniform pixel loss 这些 bias 写在模型和指标里，不会靠少量 panorama data 自动消失。

最可能成为核心贡献的是二维 taxonomy 和 empty quadrant 的提出。这个框架能解释为什么近期最强方法偏向中间路线：它们不追求严格 SO(3) equivariance，而是在保留 pretrained foundation weights 的同时加一点球面-aware interface。换句话说，当前进展大多来自 representation alignment + pretrained prior reuse，而不是从零学出了球面智能。

很多近期结果需要谨慎归因。OmniSAM/SAP 类方法的增益很可能主要来自 SAM2 memory reuse、patch sequence formulation 和大规模 pseudo / synthetic data，而不是模型真的形成了 sphere-native representation。Panoramic depth foundation adaptation 的改进可能大量来自 Depth Anything teacher、本身强 monocular prior、LoRA/augmentation/data scale，而非几何模块单独贡献。VLM spatial reasoning 的提升也可能是 test-time compute、crop-based grounding、entity recentering 或 RL reward shaping，而不等价于内在 3D spatial model。

论文对 sphere-native 方法的判断也比较到位：严格等变性在理论上干净，但如果不能复用 DINO/CLIP/SAM 级别的语义知识，实际 benchmark 未必赢。反过来，foundation interface adaptation 很 scalable，但上限受 perspective bias 限制。这里的关键不是哪条路线“正确”，而是未来必须做 architecture-training co-design，否则会一直在等变性和预训练之间二选一。

需要直接指出的是：survey 中很多 frontier claim 依赖各自论文的实验，不是统一验证。比如 SO3UFormer stress test、Dense360VLM ablation、PanoEnv RL 效果、DA²/DAP 的 large-scale depth gain，都可能受数据规模、benchmark 选择、teacher overlap 或 evaluation setting 影响。文中未充分说明如何在统一 protocol 下拆分 geometry bias、scaling、data coverage 和 foundation teacher 的贡献。

Relation To Prior Work

这篇最接近的是 panoramic / omnidirectional vision survey，但本质区别在组织原则。Gao/Ai 类综述偏硬件、任务和表示覆盖；Lin 等更横向地整理 perspective-to-panorama gap；Zheng 等把 omnidirectional vision 放到 embodied AI 系统框架里。本文的新增价值是垂直地追踪“几何进入模型的深度”，并把 training paradigm 作为独立轴。

从技术谱系看，它把 projection adaptation、distortion-aware engineering、geometric deep learning、foundation model adaptation、VLM spatial reasoning 这些原本分散的路线串成一条连续谱。很多看似新的方法在这个框架下其实是旧思想重组：cubemap/tangent decomposition 是 perspective reuse；ERP-RoPE 是 positional encoding 修正；OmniSAM/SAP 是把 spatial continuity 伪装成 temporal sequence 给 SAM2 memory；GoodSAM 是 teacher-student distillation；PanDA/DA360 是 depth foundation model 的 lightweight geometry adaptation。

实质创新在于提出了一个更硬的判断标准：方法是否真的改变了 operator 与球面几何的关系，还是只在接口层补偿 projection artifact。按这个标准，很多 foundation-model panoramic 方法并没有达到 sphere-native，只是 GT/FMA。这个分类虽然主观，但对研究方向很有用，因为它避免把 engineering wrapper 误认为范式突破。

Dataset / Evaluation

论文覆盖的数据和任务非常广：closed-set dense prediction、multi-task understanding、open-world segmentation/OOD、VLM captioning/grounding/VQA、video tracking/VOS/flow。它的评价不是一个新 benchmark，而是对 benchmark ecosystem 的系统审计。因此证据支持的是“当前评测不足以证明 spherical understanding”，而不是某个方法 superiority。

从 benchmark 角度，现有数据明显不平衡：indoor ERP dense labels 相对多，outdoor dense labels 很少；VLM/reasoning benchmark 近年快速增加但协议碎片化；video/tracking 起步更晚，直到 Leader360V 这类自动标注数据才开始接近规模化。真实世界和 embodied 数据存在，但多数方法仍没有在真实部署闭环中验证。

evaluation 对论文核心 claim 的支持是部分充分的。作者指出标准 mIoU/RMSE/HOTA 继承 perspective metric 假设，这个批评很强；但论文没有实际重算 spherical-area-weighted metrics，也没有构建 seam/polar/cross-projection benchmark。因此它成功提出了 evaluation debt，但尚未还债。对于“sphere-native foundation modeling 是未来方向”这一 claim，当前证据更多是反证式的：现有方法都没做到，而不是证明做到后一定更好。

明显 limitation 是 benchmark overlap 和 hidden supervision 很难排除。Foundation-model-assisted 方法尤其容易把 teacher 的 perspective bias、synthetic pipeline bias 或 web-scale pretraining coverage 带进结果。当前 evaluation 还不足以判断模型是在理解球面，还是在利用数据覆盖、projection-specific artifact 和 test-time decomposition。

Limitation

第一，论文作为 survey 没有自己的统一实验，因此很多技术判断无法完成因果归因。它能指出 geometry mismatch 是结构性问题，但不能量化在不同任务里 geometry、data scale、teacher quality、architecture capacity 各自贡献多少。增益来源不清是本文讨论的很多 frontier 方法的共同问题。

第二，taxonomy 虽然清楚，但边界有主观性。HUSH 被放在 sphere-native 与 GT 之间，Liu 等 weight re-instantiation 同时像 DA 和 SN，SAP/OmniSAM 既是 GT 又是 FMA/UDA。这个模糊不是坏事，但说明该领域很多方法本质上是 hybrid engineering，而不是干净范式。

第三，“strict spherical equivariance”本身未必是所有 panoramic task 的最优目标。室内 layout、robot navigation、driving segmentation 往往有 gravity-aligned prior；完全 SO(3)-equivariance 可能反而丢掉有用的世界坐标结构。论文承认 SO(3) 在实践中常退化到 SO(2)+gravity，但对任务相关 symmetry breaking 的讨论还可以更细。

第四，sphere-native foundation model 的上限受数据和计算双重限制。没有 web-scale spherical image-text corpus，没有成熟 spherical tokenizer，没有高效大规模 spherical attention，谈从零预训练仍偏愿景。短期真正可行的可能仍是 parameter-efficient sphere-aware adapters，而不是完全重写 foundation model。

第五，VLM 和 reasoning 部分容易高估“空间智能”。当前很多 panoramic VLM 改进更像 crop/recenter/reasoning-chain/test-time compute 的组合，所谓推理可能主要来自 retrieval、实体局部识别和 benchmark-specific prompt pattern，而不是稳定的 metric 3D state。文中未充分说明如何区分 language reasoning 与 geometric grounding。

Takeaway

• 最值得记住的第一点：panoramic vision 的核心矛盾是 spherical geometric fidelity 与 perspective foundation prior reuse 的冲突；当前强方法大多是在两者之间做 interface-level compromise。
• 第二点：geometry-aware tokenization 是近期最现实的方向，但它不是终点。
• ERP-RoPE、spherical patch embedding、SAM2 sequence reformulation、entity-centered rotation 都是在改变信息进入 pretrained model 的方式，本质是 representation alignment，而不是 sphere-native modeling。
• 第三点：multi-projection self-supervision 是 panoramic domain 独有的可迁移 insight。

一句话总结

这篇论文的真正贡献是把 panoramic scene analysis 从任务罗列重构为“球面几何承诺与预训练知识复用之间的结构性权衡”，并明确指出当前领域仍停留在 distortion-aware / interface-adapted foundation modeling，尚未到达 sphere-native foundation model。