精读笔记

Problem Setting

论文标题：Co-GLANCE: Uncertainty-Aware Active Perception for Heterogeneous Robot Teaming（arXiv preprint / 2026）。

这篇论文面对的是异构空地机器人在半结构化户外环境中的“可感知性缺口”：无人机和地面机器人看到的是同一个世界，但遮挡结构对二者不是同构的。树冠、灌木、墙角、车辆、地形边缘这类区域，不只是 detector 看不清，而是需要判断“隐藏空间是否有任务相关风险”以及“哪个平台有能力消除这个风险”。

真正难点不是分割遮挡物本身，而是把遮挡区域映射到 capability-aware action：同一个 mask 对 UAV 可能是不可穿透视线，对 quadruped 可能是可进入空间；反过来，地面视角的墙体可能需要空中绕看。已有方法卡在两个端点：VLM/LLM 有上下文推理但太慢、依赖云端、输出不可校准；传统 active perception / routing 可以派机器人，但通常没有可靠的语义不确定性入口。

关键矛盾是：系统需要语义层面的场景判断，但部署条件要求低延迟、onboard、可风险控制。Co-GLANCE 的问题设定本质上是在这个矛盾里寻找一个工程上可落地的中间层。

Motivation

作者的核心观察是：VLM 在训练时是有价值的，因为它能把“什么算遮挡、遮挡为什么重要、哪个机器人能解决”这些难以手写的场景规则转成伪监督；但 VLM 在测试时是不合格的，因为它既不是实时系统，也不是可信系统。

已有路线缺的不是单个模块，而是一个从语义判断到可执行主动感知的闭环接口。VLM-based robot planning 往往把 foundation model 当在线 reasoner；conformal prediction 往往只给 prediction set；selective prediction 往往只会 abstain。对机器人来说，abstain 本身不是结果，必须变成“派谁去哪里看”。

因此论文的动机不是提出更强的 foundation model，而是把 foundation model 的语义先验压缩到一个轻量模型中，并用统计校准给这个轻量模型的输出加上 actionability boundary：可信就规划，不可信就触发信息采集。

Core Idea

Co-GLANCE 的核心思想可以概括为：把在线 VLM 推理前移到离线数据构造阶段，把部署时的感知-分配问题变成一个结构化视觉预测问题，再用校准机制决定哪些预测可以直接驱动行动、哪些预测必须请求主动感知。

这改变了建模方式。prior 中常见做法是让 VLM 在线解释图像并生成任务计划；这里 VLM 只作为 teacher / label refinery，student 模型直接学习“遮挡区域—平台能力”的映射。这等价于引入了一个强 inductive bias：户外遮挡与平台分配在局部视觉几何上有可学习的稳定模式，不需要每帧重新做语言推理。

另一个核心变化是把 uncertainty 从后验描述变成控制流的一部分。高置信 singleton 直接进入 routing；低置信输出进入 abstention / CP set 并触发机器人重新观测。这比单纯报告 confidence 更有用，因为它把感知失败模式显式暴露给多机器人系统。

Method

方法里值得保留的机制只有三层。

第一层是伪标签生成与 self-review。VLM 先生成 detector-friendly occluder keywords，open-vocabulary detector / SAM 产生候选 mask，再把 mask 可视化回传给 VLM 进行 review、删除、修正和平台分配。它解决的是 VLM 语言输出和视觉 grounding 之间的错位：VLM 说“tree canopy”不等于 segmentation 模型真的切出了正确树冠。self-review 的核心变化是让 VLM 不只描述图像，而是审核自己触发的视觉结果。

第二层是蒸馏。YOLO-seg-nano 不是论文的新算法点，但它承担了关键系统角色：把多轮 VLM + GroundingDINO + SAM 的高延迟 pipeline 压缩成单次前向传播。这里的变化是从 test-time compute 转向 train-time compute；在线阶段不再需要语言模型参与。

第三层是两阶段 UQ。Stage 1 用 selective abstention 找一个 confidence threshold，使超过阈值的输出满足风险上界；Stage 2 对被拒识样本给 conformal prediction set。对 allocation 和 detection 都使用同一抽象接口。这个设计解决的是 planner 不能消费“模糊信心”的问题：它需要的是可执行 singleton 或明确的 active perception request。

Routing 部分本质上是启发式 HVRP：ground/either/both 决定节点分配，low-confidence 倾向于 conservative both-agent dispatch。它重要但不是核心创新，更像把校准输出接到机器人系统上的 glue layer。

Key Insight / Why It Works

这篇论文最有效的部分很可能不是 conformal prediction，也不是 routing，而是“VLM 监督的结构化蒸馏 + self-review 清洗”。VLM baseline 在线运行时反而弱，原因不是 VLM 语义能力差，而是 open-vocabulary grounding、mask 对齐、prompt 一致性和 latency 共同造成系统不稳定。把大量伪标签喂给一个小模型后，小模型学到的是环境中反复出现的视觉-遮挡模式，反而比逐帧 VLM pipeline 更平滑、更一致。

换句话说，主要增益很可能来自 representation alignment 和 data coverage，而不是在线 reasoning。student 模型在 held-out frames 上超过 VLM no-review / 部分超过 self-review，说明它可能在伪标签噪声上做了统计平均；这是一种典型的“teacher noisy but student regularizes”现象。这里的推理更像把 VLM 的规则压成视觉分类边界，而不是部署时真正做新的语义推理。

self-review 的作用也比较关键，但更像 prompt-engineered label refinement。它通过让 VLM 看见候选 mask 来减少 language-to-mask mismatch，这是一个实用 insight：在用 VLM 生成视觉监督时，不要只让它输出文本标签，要让它审核下游 grounding 的结果。这个 insight 很可迁移。

UQ 的贡献在系统层面比算法层面更实质。selective abstention 和 CP 本身是已有工具，论文的新意在于把它们放进机器人 active perception loop：校准不是为了 benchmark 上的 reliability plot，而是为了决定是否派机器人。真正有效的地方是接口设计，而不是新的不确定性理论。

但要直接说清楚：当前 active perception 还很弱。allocation abstention 在实验里基本用 both-agent dispatch 兜底，这保证保守性，但不等价于信息增益最优；CP set 也更多是“可用但未充分利用”。因此所谓 uncertainty-aware active perception 的上限目前由 heuristic policy 限制，不能解读为已经解决了 planner-aware uncertainty reduction。

另一个需要警惕的点是，真实部署结果只覆盖很少场景，且环境与训练数据高度相关的可能性不低。泛化收益是否来自模型学到通用遮挡概念，还是来自该场地的数据覆盖，文中未充分说明。

Relation To Prior Work

这篇工作处在三条谱系的交叉处：VLM-for-robotics、多机器人 active perception、conformal / selective uncertainty。它不是在任何一条线上提出基础算法，而是把三者重新组织成一个可部署系统。

和 LLM/VLM 多机器人规划相比，本质区别是在线角色的降级：foundation model 不再是 runtime planner，而是 offline supervisor。这个区别很重要，因为机器人部署的瓶颈通常不是能不能想出计划，而是能不能在低算力、弱网络、风险可控条件下稳定执行。

和 VLM distillation for robotics 相比，新增的信息是被蒸馏的不是普通语义类别或语言指令，而是“遮挡是否值得处理 + 哪个平台能处理”的任务结构。这个标签空间很粗，但恰好匹配空地协作的决策边界。

和 conformal prediction / selective prediction 相比，方法没有理论创新。实质创新在于把 risk-controlled singleton 和 coverage-controlled set 接到 active perception：高置信输出进 planner，低置信输出产生观测请求。这个组合看似简单，但确实补上了 CP 在机器人系统中经常缺失的 action interface。

看似新的部分里，HVRP routing、ground/either/both 标签、both-agent conservative dispatch 都更偏 engineering。实质贡献是系统抽象：把 perceptual uncertainty resolution 定义成一种可蒸馏、可校准、可调度的中间任务。

Dataset / Evaluation

评估的优点是真机、真实户外、空地平台同步，并且释放 raw bags，这比纯 simulation 或静态 benchmark 更有价值。论文确实验证了一个重要 claim：在该类半结构化场景中，VLM-distilled onboard model 可以比 cloud VLM pipeline 更快、更稳定，并能跑完整机器人闭环。

但 evaluation 对更强 claim 的支撑有限。held-out mask 只有几十帧、约两百 masks；真实演示只有两个初始化场景。它能说明系统可行，但不足以证明跨场景、跨季节、跨平台、跨遮挡类型泛化。尤其是遮挡定义高度依赖 prompt 和场地语义，benchmark 很可能与训练分布有较强 overlap。

calibration 结果说明 selective abstention 在该测试集上能实现预期风险控制，但 i.i.d. 假设在机器人在线部署中很脆弱：连续帧强相关、场景分布随路径变化、active perception 本身改变采样分布。文中没有充分讨论这些 guarantee 在闭环 setting 下如何退化。

系统级对比中 VLM baseline 很慢且弱，这部分结论合理，但增益归因不完全清楚：是蒸馏更好，self-review 更好，还是 baseline 的 zero-shot cloud pipeline 没有针对该数据充分适配？Expert 上界也只是 ground-truth occlusion labels，不代表最优 active perception policy。

Limitation

最关键限制是任务抽象过粗。ground/either/both 能支撑 demo，但它把连续的可达性、视角可见性、路径风险、时间预算压成三个离散标签。机器人数量一多、平台能力更复杂、遮挡需要多步观测时，这个 ontology 会成为瓶颈。

第二，核心能力可能主要来自数据覆盖。蒸馏模型的表现依赖 1 万级 mask 伪标签以及场地中重复出现的遮挡模式。若换到不同植被、建筑尺度、传感器视角或任务对象，是否还能保持性能，文中未充分说明。

第三，所谓 reasoning 在在线阶段基本不存在。系统部署时做的是视觉模式匹配 + calibrated threshold + heuristic routing；这不一定是缺点，但不能把它解读为 VLM 式场景推理被完整保留下来。更准确地说，它蒸馏的是有限分布内的 VLM prior。

第四，UQ 的理论保证和闭环机器人执行之间有缝隙。CP/selective 的保证依赖 calibration/test exchangeability，但机器人 active perception 会产生自选择样本；连续视频帧也不是独立样本。文中没有充分说明如何处理在线分布漂移。

第五，active perception policy 仍然是 heuristic。低置信就派 ground 或 both-agent 是保守策略，不是信息增益优化；CP set 没有真正进入动态路径重规划。因此“uncertainty-aware”成立，“active perception optimality”不成立。

第六，增益来源不清。self-review、伪标签规模、student regularization、baseline 不稳定、场景 overlap 都可能贡献结果。论文没有足够消融来区分这些因素。

Takeaway

• 1. 值得记住的不是某个模型结构，而是系统范式：让 VLM 在离线阶段生成和清洗任务结构监督，在线阶段用小模型执行，再用校准机制决定何时请求更多观测。
• 2. 对机器人而言，不确定性估计必须有 action interface。
• 单纯 calibrated confidence 不够；它必须变成 dispatch、rerouting、re-observation 或 conservative fallback。
• 3. VLM self-review 的可迁移 insight 很强：当 VLM 被用作视觉监督生成器时，让它审核 grounding 后的视觉结果，比只让它输出语言标签可靠得多。

一句话总结

Co-GLANCE 是一篇把 VLM 语义先验从在线推理器压缩为 onboard 可校准感知-分配器的系统论文，真正贡献在于把遮挡不确定性转成异构机器人可执行的主动感知接口，而不是提出新的感知模型或新的不确定性理论。