精读笔记

Problem Setting

[EAGLE-360: Embodied Active Global-to-Local Exploration in 360°]（arXiv preprint / 2026）

这篇论文解决的不是一般 360° VQA，也不是普通 object grounding，而是“给定完整 panorama，模型如何主动选择观察方向并逐步定位目标”的全景主动搜索问题。关键矛盾在于：panorama 提供了全局上下文，但 ERP 表示对标准 MLLM 很不友好；局部 perspective crop 更适合识别，但如果一开始就依赖局部视角，搜索会变成短视的 trial-and-error。

真正困难点有三层：第一，ERP 的左右边界在图像坐标中断裂，但在物理空间中相邻；第二，极区和大 FoV 下的形变使普通视觉 encoder 的局部特征不稳定；第三，主动搜索需要维护“目标可能在哪里”的空间 belief，而不是只回答当前 crop 里有没有目标。以前方法卡在把问题当成局部视觉搜索：从某个初始化 FoV 出发迭代调整，如果目标不在起始视野附近，后续动作缺乏全局纠偏依据。

Motivation

已有路线不够的核心原因是它们在两个极端之间摇摆：直接把 ERP 当普通图像，会丢掉球面拓扑；切成多个局部 view，又会丢掉全局 layout 和方向先验。作者真正抓到的缺口是：全景搜索需要先利用 360° 输入建立全局候选区域，再把局部识别交给 distortion-free 的 perspective projection。

这个方向的动机不是“MLLM 不够强”，而是“输入几何和搜索过程没有被正确建模”。如果任务要求目标可能在任意方向出现，那么初始化局部 FoV 本身就是一个错误归纳偏置；更合理的做法是把完整 panorama 作为 belief 初始化源，把局部 view 作为验证和精定位工具。

Core Idea

核心思想是把 panoramic active search 重写为 global-to-local inference：先在完整 360° 场景中估计目标的大致球面方向，再通过可控投影工具迭代生成局部透视图，最后逐步缩小 FoV 输出球面 BFoV。它改变的是信息流：prior 不再来自随机或固定初始视角，而来自整个 panorama；local crop 不再是搜索起点，而是全局假设的检验器。

这个框架的直觉成立点很清楚：全景图适合提供 layout 和方向线索，但不适合直接做精细定位；透视图适合局部识别，但不适合穷举全局空间。因此把二者分工，是比“全景直接识别”或“局部视角漫游”更可扩展的组织方式。RoPE Rolling 提供的是水平环绕拓扑的 inductive bias；tool-calling 提供的是 test-time compute；GRPO 则把搜索策略从专家轨迹模仿转成最终任务成功驱动。

Method

方法层面最重要的不是模块堆叠，而是三个机制的组合。

第一，球面 BFoV 重新定义输出和评估空间。它解决的是 ERP 2D box 在边界和极区不稳定的问题，使 localization target 回到 azimuth/elevation/FoV 的球面坐标。这个选择很关键，因为如果评估仍在平面像素上，模型可能学到的是投影 artifact，而不是真实空间定位。

第二，RoPE Rolling 解决水平 seam discontinuity。标准 2D RoPE 会把 x=0 和 x=W-1 当作最远位置，而全景中它们物理相邻。作者用 head-specific horizontal rolling，让不同 attention head 在不同旋转参考系下编码位置，使每个纵向 seam 都有机会成为某些 head 的中心区域。它的核心变化是把 panorama 的圆柱拓扑注入 position encoding，而不是依靠数据让模型自己学。

第三，projection tool 把模型动作限制为 azimuth、elevation、FoV。这个动作空间很窄，但正因为窄，模型可以学到稳定的 coarse-to-fine 策略：先找方向，再验证，再缩放。GRPO 的作用是让模型不再过早提交，而是用更多工具调用换取更高命中率。这里的“推理”很大程度上是策略化的 test-time visual search，而不是开放式规划。

Key Insight / Why It Works

最可能的核心贡献是 global-to-local search formulation，而不是某一个训练 trick。它有效的原因是把两个难问题拆开：全局阶段只需要粗定位，允许噪声；局部阶段只需要在较小 FoV 内精定位，视觉识别难度显著降低。这相当于在球面空间中引入一个 coarse-to-fine curriculum，并在 inference 时用工具调用显式执行。

RoPE Rolling 是真实有用的 inductive bias，但它主要解决水平环绕，不应被理解为完整 spherical representation。它解释了 left/right/back 等方向上的提升，但对 top/bottom 极区问题帮助有限。文中也承认极区仍是弱点，这说明该方法本质上仍建立在 ERP + 2D encoder 上，而不是完全 pano-native。

GRPO 的作用更像行为策略校准：让模型学会“不要太早答、先多看几眼”。这确实能提高 benchmark accuracy，但也引入一个判断：增益部分来自 test-time compute 和奖励塑形，而不一定来自更强的空间理解。表中 SFT 的 GCD 甚至更低而 ACC 更差，说明 GRPO 优化的是阈值命中行为，不是连续几何精度。

数据贡献可能被低估但实际上很大。14k+ augmented panorama、合成多轮轨迹、方向均衡、唯一目标筛选、GroundingDINO/GPT 过滤，这些共同把任务分布整理成模型可学习的搜索模板。所谓 reasoning 很可能相当一部分来自 trajectory synthesis 的隐式 curriculum。增益来源不清：RoPE Rolling、数据覆盖、工具接口、GRPO reward 和自建评估之间强耦合，论文没有完全证明哪个因素是不可替代的。

Relation To Prior Work

最接近的是 Thinking in 360° / HVS 类 panoramic humanoid search、360° VQA/grounding benchmark、以及 spherical/omnidirectional representation work。EAGLE-360 的不同点不是首次使用 panorama，也不是首次用 MLLM tool calling，而是把完整 panorama 放在搜索流程的第一步，并把后续局部 view 变成对全局 hypothesis 的验证。

看似新的部分中，CoT + tool calling + GRPO 基本属于当前 agentic MLLM 的通用范式重组；SFT 后接 GRPO 也不是方法论创新。实质创新更集中在任务重构和 inductive bias 对齐：用 BFoV 作为球面输出、用 RoPE Rolling 处理水平拓扑、用 global-to-local 工具轨迹替代局部初始化搜索。

它属于“geometry-aware MLLM agent + active perception”的技术谱系：不是纯视觉 backbone 创新，也不是传统 embodied navigation policy，而是用 MLLM 的语言/工具接口承载一个受限但有效的空间搜索策略。

Dataset / Evaluation

EAGLE-360 数据集覆盖 indoor、office、web panorama，并通过水平旋转增强修正方向分布，这是对该任务有价值的数据工程。数据构造强调目标唯一性、可见性、大小约束和方向均衡，因此 benchmark 更像“受控全景目标搜索”，而不是完全开放世界 embodied search。

评估基本支持核心 claim：在完整 panorama 输入、随机局部初始化不可靠的设定下，global-to-local 显著更强；在 H*Bench 上的迁移也说明它不是只会输出训练集格式。但 evaluation 仍有明显限制：没有真实机器人闭环，没有运动成本，没有动态场景，没有 partial panorama，也没有传感器误差。工具是理想投影器，搜索成本主要体现在 turn 数，而不是真实行动代价。

此外，自建数据、训练轨迹、工具协议和评估目标高度一致，容易放大方法优势。HVS 等 prior 在随机初始化下被评估，能体现 EAGLE-360 的 global-first 优势，但也可能不是 prior 最自然的使用条件。benchmark 是否验证了“通用 embodied spatial reasoning”，还不充分；它更可靠地验证了“在该工具化全景搜索协议下的策略优化”。

Limitation

最大限制是完整静态 panorama 假设。真实 embodied agent 往往不是一开始拥有全局 360° 图像，而是要通过移动获得 partial observation；EAGLE-360 把最困难的一部分感知-建图问题前置为已给定输入，因此更像 panoramic active localization，而不是完整 embodied navigation。

第二，方法 heavily rely on data。唯一目标筛选、方向均衡、合成轨迹、GPT 过滤、GroundingDINO 定位，共同形成强监督环境。核心能力可能主要来自数据覆盖和动作空间模板，而不是模型自然涌现出的空间推理。文中未充分说明在目标多实例、描述模糊、小物体、遮挡严重、动态环境下是否仍成立。

第三，planner 可能没有形成长期状态建模。它依赖 dialogue history 和最近 tool observations，但没有显式 belief state、地图或不确定性维护。多轮 CoT 看起来像 reasoning，但可能只是 learned search script：根据上一帧是否看到目标，调整方向或缩小 FoV。对于需要系统性排除区域、记忆多个候选、处理移动视点的任务，这种策略上限很明显。

第四，RoPE Rolling 只解决了部分几何问题。水平 wrap-around 被处理了，但极区非线性形变仍存在；ERP tokenization 本身仍不等面积。若未来任务更依赖 top/bottom 或大尺度 spherical consistency，仅靠 rolling position encoding 不够。

第五，增益归因不清。w/o FOV、w/o RoPE、w/o GRPO 的 ablation 有帮助，但没有充分拆分数据增强、轨迹合成、工具调用次数、base model size、reward design 与 benchmark protocol 的贡献。可能主要来自 scaling / data / tool protocol，而不是单一算法创新。

Takeaway

• 1. 对 360° 主动搜索，正确的信息流比更强的单帧识别器更重要：global prior 应该先于 local verification。
• 2. Panorama MLLM 的关键不是“看更宽的图”，而是把球面拓扑注入 representation，并把识别过程转化到更稳定的局部透视域。
• 3. Tool-calling 在这里的价值不是通用 agent 能力，而是把连续空间搜索离散化成可学习、可奖励、可扩展的 test-time compute。
• 4. 未来真正值得做的是从完整静态 panorama 走向 partial observation + explicit belief update + real navigation cost；否则这类方法仍停留在受控全景定位 benchmark。

一句话总结

EAGLE-360 是一篇把全景目标搜索从局部初始化范式推进到 geometry-aware global-to-local tool-augmented MLLM agent 的工作，真正贡献在任务建模和信息流重组，算法增益则高度依赖数据、工具协议和奖励塑形。