CVPR 2019 / 交互式具身学习

Multi-Target Embodied Question Answering

作者：Licheng Yu, Xinlei Chen, Georgia Gkioxari, Mohit Bansal, Tamara L. Berg, Dhruv Batra · 单位：University of North Carolina at Chapel Hill · 会议/期刊：CVPR 2019 · 分类：交互式具身学习 · 发布日期：2019

具身智能

精读笔记

Problem Setting

《Multi-Target Embodied Question Answering》（CVPR 2019）研究的是 EQA 从单目标查询到多目标比较查询后的建模断裂。这里的关键矛盾不是“能不能回答 yes/no”，而是 agent 必须在部分可观测环境中主动收集多个分散目标的证据，并在不同时间点之间建立可比较的表示。

EQA-v1 的默认范式是：问题指向一个目标，导航结束时把最后观测交给 VQA。这个范式在多目标问题上天然失败，因为最终位置通常只包含最后一个目标，早期访问过的目标信息会被轨迹压缩或直接丢失。以前方法卡住的地方是把 navigation 和 QA 近似解耦，并默认“最后看到的东西就是回答所需的信息”。MT-EQA 则要求 agent 同时解决目标排序、子目标终止、证据选择、跨目标属性绑定和比较。

Motivation

作者的核心观察是：单目标 EQA 的难度主要在 active perception，而多目标 EQA 的难度转向 embodied visual reasoning。也就是说，agent 不只是要找到某个物体，而是要把问题分解成若干信息获取动作，并把获取到的信息组织成可执行的比较。

已有路线不够，是因为端到端 LSTM navigator + VQA 的信息瓶颈太强：长轨迹中的关键帧稀疏，目标证据分布在不同位置，单一隐藏状态很难稳定绑定“第一个目标的颜色”和“第二个目标的颜色”。关键缺口是缺一个显式的中间表示层：既能指导行动，又能把行动过程中看到的证据以目标为单位存下来。

Core Idea

论文真正的核心不是四个模块本身，而是把 EQA 的信息流从“question → trajectory → answer”改成“question → executable program → target-wise evidence acquisition → comparison”。这引入了很强的 inductive bias：问题中的实体和属性被显式绑定到子程序，导航只负责完成当前子目标，controller 只负责判断何时捕获证据，VQA 只负责比较已经抽取的目标表示。

这个建模方式理论上更适合多目标任务，因为它避免让单个 recurrent state 同时承担所有角色。它把长时程 POMDP 中的 memory problem 转化为若干局部目标访问问题，再通过显式 memory slots 进行组合。和 prior 的本质区别在于：EQA-v1 把 QA 推迟到导航结束后，而 MT-EQA 在导航过程中就开始结构化收集 QA 所需信息。

Method

关键机制可以压缩为三类。

第一，程序化分解解决“该收集什么信息”的问题。模板问题被映射成 nav_room、nav_object、query、compare 等子程序。这并不是语言理解上的贡献，因为程序生成是规则化且基本 oracle 的；它的价值在于给 agent 注入了任务结构，使其不用从弱监督答案中反推出目标依赖图。

第二，controller 解决“什么时候保存信息”的问题。多目标 EQA 的难点不是一路走到底，而是在轨迹中识别哪些观测对应当前子目标。SELECT 机制把连续轨迹离散成若干证据点，并把这些点的 hidden state / panorama 表示存给后续比较。这是整篇方法中最实质的机制，因为它直接修复了最后帧范式的失败。

第三，comparative VQA 解决“如何使用已收集证据”的问题。它不是从完整图像序列中做开放式 VQA，而是在多个目标表示上按属性和比较算子做二分类。核心变化是把 reasoning 空间限制在目标级表示之间，降低了学习难度，也提高了组合任务上的样本效率。

训练上 IL + RL fine-tuning 更像必要工程：IL 提供 shortest-path 和 SELECT 监督，RL 改善导航鲁棒性。它有贡献，但不是论文最有迁移价值的部分。

Key Insight / Why It Works

最重要的 insight 是：多目标 embodied QA 的瓶颈不是 answer classifier，而是 evidence routing。只要能在正确时刻收集到正确目标的属性，后面的比较非常容易；反过来，即使 VQA 很强，如果证据没有被保存或绑定错目标，最终性能会接近随机。

方法有效主要来自 better inductive bias，而不是模型容量。程序分解提供 latent structure，controller 提供目标级 memory，cVQA 提供 representation alignment。三者共同把一个难的长时序部分可观测问题，改写成多个较短的目标导航问题加一个低维比较问题。

最可能的核心贡献是 controller 的 SELECT + target-wise feature storage，而不是 navigator 或 VQA 结构本身。oracle 实验也说明：给定 best-view 后，比较模块能显著提升；给定 shortest path 但不用 SELECT，sequence-VQA 几乎不能从长轨迹中恢复信息。这说明“选帧/选状态”比“更深的序列编码器”更关键。

但需要直接指出：这里的 reasoning 很有限，更像属性 retrieval 后的符号式比较。它不是在环境中形成显式地图或长期 belief state，也不是学习复杂规划。程序顺序由模板给定，目标可行性由 annotation 过滤，导航监督来自 shortest path。所谓 multi-target reasoning 的成功，很大程度上依赖 hidden supervision 和 benchmark 的结构化生成。

Relation To Prior Work

这篇最接近两条线：EQA-v1 / Neural Modular Control 一类 embodied QA，以及 CLEVR / neural module network 一类程序化视觉推理。它的本质位置是把 CLEVR 式 functional program 从 fully observable image 迁移到 partially observable 3D environment。

相对 EQA-v1，真正新增的信息是：问题不再只定义最终目标，而定义一个信息采集程序；模型不再依赖最后观测，而需要显式记忆多个中间目标。相对 CLEVR，真正新增的是：模块执行前必须通过行动把输入观测“拿到手”，因此 reasoning 和 navigation 被耦合起来。

看似新的模块大多是已有思想重组：模板程序来自 CLEVR，LSTM navigator 来自 EQA，模块化控制来自 neural module / modular control 系列。实质创新在于把这些组件组合成一个面向多目标 EQA 的 evidence acquisition pipeline，并用实验说明 naive sequence compression 不足。

Dataset / Evaluation

MT-EQA 数据集用 SUNCG / House3D annotation 生成，覆盖对象颜色比较、对象大小比较、对象距离比较、房间大小比较等六类模板问题。它相对 EQA-v1 的进步是明确压低语言先验：binary answer 经过 entropy filtering，question-only / prior-only baseline 接近随机，因此比 EQA-v1 更不容易被 blindfold baseline 解决。

但 evaluation 验证的是一个高度结构化的 synthetic benchmark，而不是开放世界 embodied QA。问题语言是模板化的，程序可由规则恢复，目标集合和房间类型有限，且不可达问题被过滤。跨场景是有的，真实世界 / 真机没有。实验确实支持“多目标问题需要中间证据选择”这一核心 claim，但不足以支持更广义的自然语言理解、真实导航泛化或复杂推理能力。

另一个评价限制是 difficulty 很大程度由 shortest-path length 定义，模型在 easy/in-room 问题上显著更好，这说明性能仍强受导航距离和环境布局影响。hard / cross-room 设置才更接近多目标 embodied reasoning 的本质瓶颈，而该部分仍明显困难。

Limitation

第一，程序生成是近乎 oracle 的。论文把自然语言解析问题绕开了，因此整个系统的可扩展性强依赖问题是否能被映射到有限 program vocabulary。开放语言下，这一步会成为主瓶颈。

第二，SELECT 监督和 shortest-path 监督很强。controller 学会的可能是 benchmark 中目标可见状态的判别，而不是通用的主动信息获取策略。增益来源不清：到底是结构化 memory 的贡献，还是大量中间监督让任务变简单，文中没有完全拆开。

第三，reasoning 上限很低。大多数问题最终是二元属性比较，且属性来自 annotation 生成的清晰类别。所谓比较推理更像 retrieval + comparator，不涉及反事实、关系链、多步空间推断或不确定性管理。

第四，没有真正的长期地图或 belief state。agent 按语言顺序依次找目标，保存局部状态；如果问题要求重新规划、处理遮挡、回溯、或在目标之间优化访问顺序，这套框架会比较脆。

第五，benchmark 与真实 deployment 的鸿沟很大。SUNCG/House3D 的语义、碰撞、可见性和物体属性都比真实环境干净；真实场景中的感知误差会直接破坏 SELECT 和属性抽取。

Takeaway

  • 1. 多目标 embodied QA 的核心不是更强 VQA，而是 evidence routing：如何把长轨迹中的关键观测按目标和属性绑定起来。
  • 2. 显式程序结构在 embodied setting 中仍然非常有用，但它的价值主要是 inductive bias 和中间监督接口，不应被误读成模型真正学会了开放式语言推理。
  • 3. 对后续工作最可迁移的设计是 target-wise memory / observation selection，而不是具体的 LSTM navigator 或模板程序。
  • 4. 这个方向真正下一步应从 oracle program 和 synthetic attributes 走向 learned parsing、uncertain belief、map-based memory，以及在非模板语言和真实视觉噪声下的多目标信息采集。

一句话总结

这篇论文把 EQA 从单目标导航问答推进到程序驱动的多目标证据采集与比较，是 CLEVR 式模块化推理在 embodied QA 中的一次结构化迁移，真正贡献在于暴露并处理了多目标任务中的观测选择和目标级记忆瓶颈。