精读笔记

Problem Setting

《Seek to Segment: Active Perception for Panoramic Referring Segmentation》（arXiv preprint / 2026）把 referring segmentation 从“给定图像中找目标”推进到“目标不在当前视野内时，agent 要主动转头搜索并分割”。真正困难点不是 mask decoder，而是 partial observability 下的跨视角 grounding：语言描述可能引用当前位置、唯一属性、外部 anchor 或多跳空间关系，agent 必须在连续 360° 空间里决定下一步看哪里。以前方法卡在三个地方：RIS 默认目标可见；全景 flatten 会引入畸变并弱化局部细节；3D reconstruction 虽然空间一致，但成本和数据要求过高。这个任务的关键矛盾是：要有全局几何记忆来规划，又不能退回昂贵的 3D 场景建模。

Motivation

已有路线缺的不是更强的单帧识别器，而是一个面向 active perception 的空间状态。文本日志可以记录“看过什么”，但不能自然表达“看过哪里”；视觉帧缓存保留细节，却把空间关系交给 VLM 在长上下文里隐式恢复；完整 panorama 输入虽然全局可见，但把主动探索问题消解成静态感知，同时受 ERP 畸变影响。作者抓住的缺口是：在 360° 环境中，搜索策略需要的是一个轻量、固定长度、几何对齐的 memory substrate。PanoSeeker 因此不是单纯把 VLM 用作 planner，而是先给 planner 构造一个合适的空间外部记忆。

Core Idea

论文的核心思想是把 active referring segmentation 重新建模为“在球面视觉记忆上的增量搜索”。EgoSphere 将每个局部 FoV 反投影到同一个 ERP canvas，未探索区域保留为空白，并叠加当前位置、经纬网格和历史轨迹。这样，时间序列不再以 log 或 frame list 的形式存在，而被压缩成一个空间连续的地图状态。这个建模方式给 VLM 引入了明确的 inductive bias：探索历史应该按几何坐标组织，路径规划应该基于已覆盖区域和空白区域，而不是依赖模型从上下文中自行推断。和 prior 的本质区别在于，它不是让 VLM 在更长上下文中“记忆”，而是把记忆结构外显化、几何化、定长化。理论上这会更 scalable，因为记忆长度不随步数线性增长；也更 generalizable，因为局部观测被映射到共享空间坐标，减少了纯语言日志中的表达漂移。

Method

方法中真正必要的机制只有几项。第一，EgoSphere 解决 partial FoV 下的状态估计问题：它把多步观测统一到球面坐标，使 agent 能区分已探索、未探索和当前朝向，从而减少 dead loop。第二，空间 visual prompting 解决 VLM 对角度和方向不敏感的问题：crosshair、经纬网格和轨迹不是装饰，而是在给 VLM 一个可读的导航坐标系。第三，SFT 轨迹数据解决动作语义学习问题：VLM 原生不一定知道 APRS 中 30°、60°、120°转向和 stop 的策略含义，专家轨迹提供了任务特定 policy prior。第四，GRPO 解决 imitation policy 往往“能到但不短”的问题，通过距离变化、步长惩罚和终止奖励把路径效率显式纳入优化。第五，active alignment + SAM-3 主要解决终止后目标居中和 mask 稳定性问题，它提升最终 mIoU，但不是 active search 的核心创新。

Key Insight / Why It Works

最关键的 insight 是：在这类任务中，memory format 比 backbone reasoning 更重要。PanoSeeker 的提升很可能主要来自 better inductive bias，而不是 VLM 突然学会了复杂空间推理。EgoSphere 把一个需要长期记忆和空间推断的问题，转成了 VLM 更擅长的视觉图上定位与补全：哪里已经看过、哪里还空、当前点在哪、目标描述暗示应该往哪个区域去。这相当于把 latent spatial state 外部化，降低了 policy 学习难度。SFT 的作用更像 curriculum / behavior cloning：它把人类搜索轨迹蒸馏给模型，让模型学会 benchmark 中常见表达到动作的映射。GRPO 的作用则更偏 engineering optimization：它把路径长度压短，但不一定带来新的空间理解。文中最实质的贡献是 EgoSphere 这个固定长度几何记忆，而不是“VLM + RL + SAM”的组合本身。需要警惕的是，所谓推理可能相当一部分是 retrieval-like policy：在类似表达、类似布局和离散动作空间中复现专家搜索模式。若换成真实机器人姿态噪声、更复杂遮挡或非模板化指令，能力是否还成立，文中未充分说明。

Relation To Prior Work

它最接近三条路线的交叉：RIS / reasoning segmentation、panoramic embodied navigation、agent memory。相对 RIS，它新增的不是分割头，而是把目标不可见时的主动搜索纳入任务定义；相对 panoramic navigation，它不只是到达位置，还要求语言 grounding 后输出像素级 mask；相对 agent memory，它的差异在于 memory 不是语义日志或历史帧，而是几何对齐的视觉状态。看似新的部分里，VLM planner、SFT 轨迹、GRPO 后训练、SAM 分割都已有成熟先例，更多是重组。实质创新在于将这些组件放到 APRS 任务中，并证明“空间化外部记忆”比文本化历史更适合 360° active perception。技术谱系上，它属于 lightweight spatial memory for embodied VLM，而不是 full 3D scene understanding。

Dataset / Evaluation

APRS benchmark 的价值在于把 target-out-of-view、空间 referring expression 和 segmentation 绑定到一起，并且覆盖室内外 ERP panorama，规模比许多 3D referring benchmark 更容易扩展。四类表达 EGO / UNIQ / ALLO / MULTIHOP 能一定程度区分方向跟随、属性 grounding、anchor-based grounding 和多步搜索。但它仍是离线全景模拟：agent 只转视角，不执行真实位移；环境没有动态变化；姿态是已知且投影可控；初始视角由标注流程刻意避开目标。评测指标 SR、SPL、mIoU 能支持“搜索效率 + 分割质量”的 claim，尤其能验证 EgoSphere 减少冗余探索。但它不能充分证明真实 embodied deployment 能力，也不能完全排除 benchmark-specific trajectory prior。静态 panorama baseline 和 heuristic scanning baseline 是合理参照，但强 VLM agent 的提示、预算、视觉输入形式是否完全公平，文中细节仍不足。

Limitation

方法成立依赖几个强前提：已知精确相机朝向、环境可由单张 ERP 表示、目标在全景中静态存在、局部观测能无误差回填到全局 canvas。这些前提在真实机器人上会被姿态漂移、运动模糊、遮挡、深度变化和非中心投影打破。EgoSphere 本质是 2D spherical memory，不表示距离、可达性、遮挡层次或 object permanence，因此它解决的是“看向哪里”，不是完整 embodied navigation。泛化也可能被高估：数据来自有限全景源，表达平均较短，动作离散，专家轨迹和 reward 都可能诱导模型学习 dataset-specific search heuristic。分割性能还 heavily rely on SAM-3 和 active alignment，搜索成功与 mask 质量的归因不够干净。GRPO 增益来源不清，可能主要是 reward shaping 下的路径压缩，而不是更强的 reasoning。换言之，论文把问题从 3D 建模转移到了高质量全景数据、准确姿态和人工轨迹监督上。

Takeaway

• 第一，active perception 任务里，外部记忆的几何结构可能比模型规模更关键；把历史按空间组织，往往比把历史塞进上下文更有效。
• 第二，APRS 是一个有用的问题设定：它迫使 referring segmentation 面对目标不可见和搜索成本，而不是继续在静态图像上堆 reasoning。
• 第三，EgoSphere 这种 2.5D / spherical memory 是介于 2D perception 和 3D reconstruction 之间的实用折中，值得迁移到视觉问答、搜索式 grounding、交互式标注和机器人 camera control。
• 第四，未来真正值得做的是在有姿态噪声、真实移动、深度不确定和开放词汇目标的环境中验证这种 memory-policy coupling，而不是继续只在离线 panorama 上提高 SPL。

一句话总结

这篇论文的核心位置是：它把 referring segmentation 从静态识别推进到轻量级 embodied active perception，并用显式球面视觉记忆证明了“几何化外部状态 + VLM policy”比纯长上下文 agent 更适合全景目标搜索。