CVPR 2018 (oral) / 交互式具身学习

Embodied Question Answering

作者：Abhishek Das ‹, Samyak Datta, Georgia Gkioxari, Stefan Lee, Devi Parikh, Dhruv Batra · 单位：Georgia Institute of Technology · 会议/期刊：CVPR 2018 (oral) · 分类：交互式具身学习 · 发布日期：2018

具身智能

精读笔记

Problem Setting

《Embodied Question Answering》（CVPR 2018 oral / 2018）实际提出的是一个主动视觉问答闭环：问题不是给定图像后回答，而是先决定去哪里看、何时停止、再用看到的内容回答。真正困难点在于答案证据通常不在初始视野内，agent 只能通过局部 egocentric RGB 逐步改变观测分布；因此语言理解、视觉识别、导航控制和回答正确性被长时序 credit assignment 绑在一起。

以前方法的主要瓶颈是任务边界被切开了：VQA 有语言和视觉但没有行动；视觉导航有行动和视觉但目标通常是固定类别、目标图像或 reward；语言 grounding 有语言和行动但环境过简单或全局可见。EmbodiedQA 的关键矛盾是：要验证语言到行动的 grounding，就必须让 agent 自己获取证据；但如果完全依赖最终 QA reward，学习信号又稀疏到几乎不可训练。论文的解决方式是先把任务 scoped 到可用 imitation 和 reward shaping 支撑的版本，而不是直接解决完整 embodied reasoning。

Motivation

作者真正反对的是被动感知范式：如果视觉输入已经由数据集提供，模型可以在不理解“该看哪里”的情况下回答问题，甚至靠语言/数据偏置取得高分。EmbodiedQA 的动机是把“看什么”变成模型决策的一部分，让问答性能依赖主动感知策略。

核心观察是 grounding 可以从文本-像素对齐扩展为文本-动作序列对齐。例如“car”不仅对应图像中的车，也隐含“可能需要去 garage / outside 找”。这不是严格意义上的常识推理证明，但它指出了一个重要缺口：现有 benchmark 很少要求模型把语言目标转化为长期环境交互策略。论文选择 House3D + 程序化问题，是为了获得足够多的环境、多样布局、可计算答案和可生成专家轨迹，从而让这个闭环问题变得可训练、可评估。

Core Idea

论文的核心思想是把 VQA 变成一个主动证据获取问题：语言问题不是只进入 answer head，而是首先条件化 navigation policy；navigation policy 产生一段观察轨迹；answer module 再从轨迹末端抽取视觉证据。这改变了建模方式：视觉不再是固定输入，而是由策略控制的中间变量。因此模型的错误可以来自“没去对地方”“没看清”“看到了但答错”，而不只是分类错误。

PACMAN 层级导航的本质是引入时间尺度分解。高层 planner 负责选择语义上更粗的动作方向和停止，低层 controller 负责重复执行 primitive action 若干次。这种 inductive bias 对室内导航很自然：很多有意义的行为不是每 0.25 米重新规划，而是持续向前、持续转向、直到视觉状态变化。它理论上能降低有效决策 horizon，改善 imitation / RL 的梯度路径。与 prior 的本质区别不在于用了 LSTM 或 CNN，而在于把语言条件目标、主动感知和最终问答绑定到同一个闭环任务里。

Method

方法中真正关键的机制有四个。

1. 程序化问题生成：它解决的是评估可控性问题。通过 functional program 执行环境标注得到答案，并过滤低熵答案分布，作者试图避免模型只背“冰箱在厨房”这类先验。核心变化是 benchmark 可以按能力类型拆解，并支持跨环境划分。但这也意味着语言复杂度和语义空间被模板强约束。

2. 单目标对象约束：EQA v1 只实验 location、color、color_room、preposition 等能归约到一个 queried object 的问题。这不是小细节，而是训练范式成立的前提，因为只有这样才能把“到目标对象的最短路径”当作专家示范。完整 EmbodiedQA 中很多问题没有唯一目标或唯一轨迹，论文并未真正解决。

3. PACMAN planner-controller：它解决的是长 horizon 动作序列难学的问题。planner 不必在每个 primitive step 都重新做高级决策，controller 负责动作重复。这带来的核心变化是降低高层策略的时序长度，而不是引入真正的符号规划。

4. imitation + RL fine-tuning：imitation 解决可学性，RL 解决导航轨迹和最终 QA objective 不一致的问题。尤其 RL 阶段冻结 answerer、只调 navigator，本质是在让 navigator 产生 answerer 更能利用的视角，而不是严格优化几何到达。

Key Insight / Why It Works

最重要的 insight 是：EmbodiedQA 早期阶段不能指望纯端到端 RL 自发涌现语言 grounding，必须把问题结构显式注入训练过程。论文的有效性主要来自三个来源：任务被设计成可产生目标对象；最短路径 imitation 提供强行为先验；距离 reward shaping 提供密集导航信号。换句话说，它不是证明了“agent 从 QA reward 学会探索”，而是证明了“在 privileged simulator supervision 支撑下，可以把 VQA 和目标导航闭环起来，并在未见房屋上取得非平凡表现”。

PACMAN 可能是模型层面最实质的贡献，因为它针对 indoor navigation 的时间尺度结构加入了合理 inductive bias。相比普通 LSTM，它减少了高层重复决策，提升长轨迹训练稳定性。但它并不等价于 learned planning：没有显式地图、没有拓扑记忆、没有可解释子目标，controller 也只是动作重复终止器。

RL fine-tuning 的作用更像 representation/objective alignment：imitation 学到的是 shortest path behavior，answerer 训练时看到的是 shortest-path frames；实际 navigator 偏离路径后，answerer 输入分布会变。RL 让 navigator 为 answerer 产出更有用的末端视角，因此 QA 改善并不必然说明导航更接近目标。表中 RL agent overshoot 但 QA 更好，正说明最终目标是证据质量而非几何距离。

需要直说的是，所谓 commonsense reasoning 很可能主要是数据分布中的对象-房间共现和视觉模式 retrieval。车在外面、床在卧室、冰箱在厨房这类行为可以通过 House3D 统计学到，不需要显式常识模型。benchmark 已经过滤低熵问题，但无法完全消除环境分布偏置。文中未充分说明这些策略在更强 compositional split、对象重排、房间语义反事实下是否仍成立。

Relation To Prior Work

它最接近三条谱系的交叉：VQA / VideoQA、target-driven visual navigation、situated language learning。和 VQA 的本质差异是控制权：EmbodiedQA 中视觉输入是策略产物，不是数据集给定。和视觉导航的差异是目标表达：目标由语言问题指定，而不是单一类别、目标图像或固定 reward。和 situated language learning 的差异是感知条件：环境不是全局结构化状态，而是局部第一视角 RGB。

看似新的部分中，很多是已有思想的重组：functional programs 来自 CLEVR 式诊断数据集；imitation + RL + reward shaping 是机器人/RL 常规训练套路；hierarchical controller 也延续 hierarchical RL / ACT 的思想。实质创新在于任务 formulation 和 benchmark glue：它把语言问答、主动感知、导航和视觉证据采集放到同一评估闭环中，并明确提出“grounding into actions”的评价视角。

因此这篇更像是方向定义型论文，而不是算法突破型论文。它为后续 embodied AI / VLN / interactive QA 提供了一个问题模板：语言任务不应只评估最终回答，还应评估为获得答案而采取的交互轨迹。

Dataset / Evaluation

EQA v1 的价值在于跨 House3D 环境划分，训练/验证/测试房屋无重叠，至少避免了直接在同一场景记忆路径。问题由环境标注自动执行得到答案，支持控制答案分布和按问题类型诊断。作为 2018 年的 benchmark，它成功把任务从单帧 VQA 推到多房间主动感知。

但 evaluation 只部分支撑论文的宏大 claim。首先，它不是真实世界或真机，只是在合成室内环境中测试；House3D 虽有规模和布局多样性，但视觉 realism、物理交互和传感噪声仍有限。其次，EQA v1 问题类型很窄，集中在单目标对象的颜色、位置、房间内关系；真正需要长期记忆、全屋覆盖、多对象计数、否定证据的能力基本没有验证。再次，回答器只关注最后 5 帧，这会把任务偏向“走到目标附近并停止”，而不是构建长期轨迹级证据。

实验没有大段数字也能看出结论：baseline 导航普遍失败，PACMAN imitation 更接近目标，RL fine-tuning 更利于 QA。这个证据足以说明任务非平凡、层级 bias 有用；但不足以证明模型具备 robust commonsense reasoning 或可组合语言规划。

Limitation

最大限制是 hidden supervision 太强。训练环境提供目标位置、最短路径、语义分割、深度、可导航距离等 privileged information；测试时只用 RGB 并不能抵消训练阶段的强假设。方法成立依赖 simulator 可标注、可规划、可计算 target distance，这在真实部署中很难直接获得。

第二，泛化主要是同分布新房屋泛化，不是强组合泛化。House3D 中房间布局、对象共现、视觉风格仍来自同一生成/设计分布。模型可能学到“某类问题应找某类房间”的统计策略，而不是具备可迁移空间推理。核心能力可能主要来自数据覆盖。

第三，当前 planner 没有真正形成长期状态建模。LSTM hidden state 加动作重复不足以表示大尺度地图、已探索区域、未验证假设或对象位置记忆。对于 count、room_count、distance、多实例 disambiguation 这类任务，现有结构会明显吃力。

第四，问题被转移了：论文没有解决一般 EmbodiedQA 的 sparse reward 和 non-unique trajectory 问题，而是通过 EQA v1 的单目标设计把它转成 shortest-path imitation。这个转移是合理的 first step，但不应被误读为解决了 embodied reasoning。

第五，增益归因不清。vision multi-task pretraining、curriculum、hierarchy、question conditioning、reward shaping、answerer mismatch correction 都可能贡献性能。论文的 ablation 还不足以清楚回答“到底是层级结构在起作用，还是训练 recipe 和 dense supervision 在起作用”。

Takeaway

  • 1. 这篇真正推动的是问题范式：把问答从被动识别变成主动证据采集，让 grounding 的评价对象从 attention map 转向 action trajectory。
  • 2. 早期 embodied language task 若没有结构化监督基本不可训练；可行路线通常是先用 privileged simulator supervision 建立行为先验，再逐步移除脚手架。
  • 这一点对后续 VLN、ObjectNav、interactive QA 都适用。
  • 3. 层级时间尺度是可迁移 insight：在长 horizon 视觉控制中，让高层少做重复低层动作决策，往往比单纯加大 RNN 更有效。

一句话总结

《Embodied Question Answering》是 embodied AI 中一篇方向定义型论文：它把 VQA、语言条件导航和主动感知合成到同一闭环 benchmark 中，真正贡献是任务 formulation 与训练脚手架，而非证明了通用具身推理已经被解决。