精读笔记
Problem Setting
这篇论文实际在解决 panoramic MLLM 评测中的一个错位问题：全景图的核心优势是完整 360° 环境上下文，但现有 benchmark 大多只测局部目标识别、简单方向判断或一两步关系推理。因此模型即便不建立全局场景图，也能靠局部显著物、语言先验或短链模板取得可观结果。
真正困难点不是“输入是 ERP 图像”这么简单，而是模型需要在畸变视野中维护一个稳定的空间参考系：对象位置、相对方向、朝向变化、移动后的可见性都要跨步骤一致。这个任务的关键矛盾是：panorama 给了全局信息，但 MLLM 的视觉编码和语言推理往往仍是局部、片段式、短上下文的；benchmark 如果不强制多步全局依赖，就无法暴露这个矛盾。
Motivation
已有路线不够的地方在于，它们把全景图当成“更宽的图片”，而不是“可推理的环境状态”。这导致两个后果：第一，评测主要奖励 final answer，不知道模型是否真的使用了场景几何；第二，训练缺少过程级监督，模型可以写出空间上貌似合理但视觉上未 grounding 的推理。
作者的核心观察是：如果问题不要求跨视角、跨对象、跨动作状态更新，那么 360° FoV 的优势不会被激活。OmniCoT 因此把缺口定义为：需要一个同时覆盖全局多跳问题、过程级 CoT 质量、真实世界域差距、以及可 post-train 的结构化数据的 benchmark suite。
Core Idea
OmniCoT 的真正核心不是提出一个新 MLLM，而是重新组织全景空间推理的监督与评测单位：从“问一个答案”改成“构造一个必须经过空间状态更新才能得到答案的问题”。See-Locate-Move 的 taxonomy 本质上把全景推理拆成三类状态变换：视角变换、对象关系传播、行动后状态模拟。这个拆法给 benchmark 引入了更强的 inductive bias：模型必须维持一个隐式场景坐标系，而不是只识别某个局部 patch。
它和 prior 的本质区别在于，prior 多数测的是结果是否正确，OmniCoT 试图测“推理轨迹是否几何一致”。这种过程级约束使得数据也能用于训练：CoT 不只是解释文本，而是作为把语言步骤和全景证据连接起来的弱结构化监督。直觉上这会更 scalable，因为只要有 3D 场景标注，就可以自动生成多类型、多难度、可验证的问题；但它的 generalization 上限也明显受限于场景分布和生成模板。
Method
关键机制可以概括为四点。
第一，问题设计从任务源头消除局部捷径。MOT/RAC 强迫朝向累计，MOI/MDI 强迫对象关系链传播，PTM/RTM 强迫移动与可见性判断。它解决的是 benchmark 过短、过局部的问题，核心变化是把答案依赖从单点视觉 evidence 转移到全局几何链。
第二，结构化场景序列化把 3D 标注转成自然语言空间描述。它的作用不是提升自然语言性，而是让 LLM 能参与问题生成和判定，同时避免直接坐标泄露。这里的隐含代价是：生成问题的空间关系仍强依赖底层标注质量。
第三，CoT 数据生成与过程评测把 reasoning 显式化。VC/SES/RF 试图分别约束视角一致性、证据充分性和动作可执行性，解决 answer-only 无法区分 lucky guess 与真实推理的问题。核心变化是把 benchmark 从 outcome metric 扩展为 process metric。
第四，OmniCoT-R1 用 SFT+GRPO 做 baseline。SFT 主要学习格式化空间推理协议，GRPO 主要偏好正确答案、合规格式和非重复推理。这里更像把 benchmark 数据转化为同分布 post-training recipe，而不是提出全新的 panoramic architecture。
Key Insight / Why It Works
最重要的 insight 是：全景推理失败的核心不是单纯视觉分辨率或模型规模，而是全局参考系不稳定。anchor density 实验很能说明问题：给更多对象级参考点后，多数模型明显变好，尤其空间 CoT 指标提升。这意味着很多 MLLM 有一定 latent spatial reasoning capability，但缺少把 ERP 像素、对象位置和语言方向词对齐的外部坐标约束。
OmniCoT 有效的部分主要来自 better inductive bias 和 data coverage，而不是模型结构创新。See-Locate-Move taxonomy 给了一个 curriculum：先测视角，再测关系，再测行动模拟；CoT 监督提供了可复用的中间结构；空间 anchor 提供了 reference frame；GRPO 则在同分布数据上强化答案选择。最可能的核心贡献是 benchmark/task formulation + structured CoT supervision，而不是 GRPO 本身。
需要直接指出：OmniCoT-R1 的大幅提升不能简单解读为“模型获得了通用全景推理能力”。它可能主要来自 OmniCoT-T 与 OmniCoT-B 的分布高度一致、答案空间受限、问题模板稳定、以及 anchor/对象池降低了解码难度。GRPO reward 里没有直接使用 VC/SES/RF 作为训练信号，主要还是 exact-match answer reward，因此所谓“几何一致性增强”有一部分可能是结果正确后 CoT 更像参考推理，而不是内部 planner 真的变强。
CoT 的负面结果也很关键：闭源强模型被强制写 CoT 后下降，说明 long-form reasoning 在多模态空间任务中会放大 hallucination。这里的可迁移 insight 是：过程监督只有在模型缺少推理 scaffold 时有益；对于已经有强内部推理或压缩推理策略的模型，显式 CoT 可能只是增加错误表面积。
Relation To Prior Work
OmniCoT 最接近三条路线的交汇：panoramic VQA/ODI benchmark、空间推理 benchmark、以及 process-level CoT evaluation/post-training。和 OSR-Bench、ODI-Bench、OmniVQA 这类工作相比，它的新信息不是“也用了全景图”，而是把问题难度重新对齐到全景模态的全局性：多跳、跨视角、动作模拟、过程评价。
和 MME-CoT/ProcessBench 类工作相比，它把通用 CoT 质量评价迁移到全景几何空间，新增 VC/SES/RF 这类 domain-specific process metrics。这是实质性增量，因为普通 Precision/Recall/F1 无法判断一个方向更新或移动步骤是否物理可行。
和 360-R1、GRPO 式 post-training 相比，OmniCoT-R1 的训练范式并不新，更多是已有 SFT+RL recipe 在一个更结构化数据集上的应用。真正新增的是数据和任务协议，而不是优化算法。它属于“benchmark-driven data + post-training baseline”的技术谱系。
Dataset / Evaluation
OmniCoT 的覆盖面相对完整：合成 benchmark OmniCoT-B、训练集 OmniCoT-T、真实子集 OmniCoT-Real；任务覆盖 See/Locate/Move 六类问题；评测覆盖 final answer 与过程级 CoT 质量。这基本支持作者关于“现有 MLLM 尚不能稳定进行全局多步全景推理”的 claim。
但 evaluation 的支撑力度有边界。合成数据来自带精确几何标注的室内场景，适合生成可验证问题，却不等价于真实全景部署。OmniCoT-Real 的规模较小但很重要，因为它显示 sim-to-real gap 明显存在；这反而削弱了“训练后模型已泛化”的强 claim。
过程评价方面，VC/SES/RF 是有价值的，但仍依赖 LLM-as-judge。虽然作者做了人类一致性和 judge robustness 检查，仍不能完全避免 judge 偏好结构化、流畅、显式引用空间关系的文本。换言之，它能较好评估“可读推理质量”，但不能完全证明模型内部视觉 grounding 真实发生。
Limitation
第一，方法成立依赖高质量 3D 场景标注和可序列化空间关系。没有可靠 geometry ground truth，问题生成、答案验证、CoT 监督和 judge reference 都会变弱。这限制了向开放世界、户外、动态环境扩展的 scalability。
第二，核心能力可能主要来自数据覆盖。OmniCoT-R1 在同源 benchmark 上提升很大，但真实集提升有限，说明它学到的可能是 OmniCoT 风格的空间问答分布，而非稳健的通用全景 planner。
第三，所谓 reasoning 可能部分是 retrieval / template execution。问题类型固定、答案空间受限、对象池给定、anchor 显式提供，使得模型可以学习“如何按模板写出合理步骤并选答案”，而不一定形成长期状态建模。
第四，增益归因不清。SFT、GRPO、更多 CoT、更多数据、答案格式约束、anchor 数量都可能贡献提升；文中虽有 scaling 和 anchor ablation，但没有充分拆解 OmniCoT-R1 的 reward 组件、训练数据 overlap、模板泛化和真实几何 grounding。
第五，offline benchmark 与 deployment 差距仍大。真实机器人场景需要主动观察、连续定位、误差累积处理、动态遮挡和行动闭环；OmniCoT 仍是静态 panorama 上的离线问答。
Takeaway
- 最值得记住的不是 OmniCoT-R1 的分数，而是 benchmark formulation：如果要测全景智能，问题必须强迫模型维护全局参考系和多步状态更新，否则 360° 输入会退化成宽幅图像分类。
- 空间 anchor 是一个很强的可迁移 insight。
- 很多 MLLM 不是完全没有空间能力，而是缺少把视觉场景对齐到语言坐标系的外部支架；未来 panoramic / embodied MLLM 很可能需要显式 scene graph、metric map、object anchor 或可学习 reference frame。
- CoT 在多模态空间任务中不是免费午餐。
一句话总结
OmniCoT 是一个以数据和评测协议为核心的全景空间推理 benchmark，它真正贡献的是把 panoramic VQA 从局部答案匹配推进到带全局参考系、多步状态更新和过程级几何一致性评估的 benchmark-driven post-training 范式。