精读笔记

Problem Setting

这篇论文处理的是 embodied instruction following 中的执行层问题：agent 给定自然语言目标和第一视角视觉，需要完成一串导航 + 交互子任务。真正困难点不在于“理解一句话是什么意思”，而在于长 horizon 下如何稳定地知道当前该找什么、哪里已经探索过、目标对象可能在哪里，以及如何把对象定位精确到可交互距离。

以前端到端路线的问题是把太多功能压进一个 action predictor：语言 grounding、进度追踪、空间记忆、探索、局部控制、失败恢复都由隐式 hidden state 承担。ALFRED 这类任务的 trajectory 很长，交互目标经常是小物体或视角敏感物体，expert trajectory 又不给搜索过程；因此 imitation learning 学到的更多是 demonstration path 的局部模式，而不是可泛化的 search/execution strategy。

关键矛盾是：任务需要显式、持久、可查询的空间状态，但主流方法用短视的动作序列监督训练隐式状态；任务需要在未看到目标时主动搜索，但 expert trajectory 只展示最短路径，不展示如何探索。

Motivation

作者反对的是“让一个大网络自己学会所有 embodied execution 子能力”的路线。这个路线在 ALFRED 上特别吃亏，因为成功率很容易被对象找不到、碰撞、交互视角不对这类低层问题主导，而这些问题并不一定需要端到端学习。

核心观察是：家庭环境中很多搜索问题具有强结构先验。小物体不是均匀分布在房间里，而是依附于 countertop、table、sink、shelf、cabinet 等大物体/容器。若 agent 已经构建了语义地图，那么“去哪里找 knife / bowl / faucet”可以作为地图空间上的语义搜索问题，而不是动作空间中的 trial-and-error。

关键缺口因此不是更强的 transformer action head，而是缺少显式空间记忆和搜索目标生成机制。FILM 的动机就是把 sequential supervision 替换为空间结构先验：不靠 low-level instruction 告诉下一步去哪，也不靠 expert trajectory 模仿路线，而是靠语义地图 + 搜索策略自己决定探索区域。

Core Idea

FILM 的核心思想是把 embodied instruction following 从“语言和视觉到动作序列”的端到端映射，改写成“语言程序 + 空间状态 + 语义搜索 + 确定性执行”的组合系统。这个改变非常关键：动作不再是主要学习对象，地图空间中的目标位置才是学习对象。长期状态也不再存在 RNN/Transformer hidden state 中，而是存在可更新、可查询的 allocentric semantic map 中。

它引入的 inductive bias 是：场景中的可交互对象位置可以通过已观测的语义布局预测；大物体和 receptacle 的分布为小物体搜索提供 prior；执行过程可以拆成一系列局部目标寻找与交互。这种 bias 对 ALFRED 很强，因为 ALFRED 的任务类型、对象类别和房间结构高度规则化。相比 prior，FILM 本质上不是学更好的 policy，而是减少 policy 需要学习的东西：让神经网络只负责感知、语言槽位填充和搜索 prior，把路径规划与交互流程交给显式算法。

Method

1. 语言处理解决的是长指令到可执行子目标的离散化问题。它把自然语言压成 task type 和参数槽位，再填入手写模板。必要性在于减少长期规划难度：agent 不需要在线推断完整计划，只需要沿着子任务指针执行。核心变化是把 planning 问题转成 program instantiation；但这也意味着开放式规划能力很有限。

2. 语义地图解决的是状态跟踪和空间记忆问题。第一视角 RGB 经 depth / segmentation 投影到 top-down semantic map，地图持久累积。必要性在于 ALFRED 的失败高度依赖“是否知道对象在哪里、是否已经探索过某区域”。核心变化是空间信息从隐式 neural memory 变成显式 metric representation。

3. 语义搜索策略解决的是目标未观测时往哪里探索的问题。它根据已建图的大物体/容器语义布局，在粗粒度地图上预测小目标可能区域。必要性在于小物体远距离不可见，纯 frontier exploration 或随机游走效率低。核心变化是 exploration 从几何覆盖转为语义条件搜索。

4. 确定性 policy 解决的是低层导航和交互执行。FMM 负责到达地图目标，规则控制负责视角调整、距离阈值和交互动作。必要性在于避免为局部控制再引入 imitation/RL 的 credit assignment。核心变化是学习系统的复杂度被转移到 perception 与 search；低层 policy 本身不是论文的学习贡献。

Key Insight / Why It Works

这篇最有效的部分大概率是“显式空间记忆 + 语义搜索 prior”，而不是语言模型或确定性导航。ALFRED 中许多 episode 的第一瓶颈是找到第一个可交互对象；如果找到目标，后续模板执行和 FMM 已经能覆盖相当一部分任务。因此 FILM 的收益来自把最困难的隐式探索问题变成 supervised spatial prior learning。

它本质上不是 scaling，而是 better inductive bias。与端到端 transformer 相比，FILM 没有试图用更多参数学习所有历史，而是直接把历史观测写入地图。这是 memory reuse 的胜利：过去看到的对象以空间形式保留，并可被 deterministic planner 查询。semantic search policy 则相当于在 test-time 使用一个 learned retrieval/prior：给定当前地图语义布局，检索目标可能出现的区域。

值得注意的是，semantic search 的“推理”更像场景统计匹配，不是因果或组合推理。它学到的是 bowl 常在 table/countertop 附近、faucet 在 sink/bathtub 附近这类 co-occurrence/spatial-affordance prior。这个 prior 在 ALFRED 上非常有效，因为环境分布稳定、对象关系重复、房间类型有限。

语言模块的贡献可能被高估。模板式 LP 利用了 ALFRED 的任务类型结构，且 task type / arguments 在训练集中有监督标签。无模板 BART 会掉点但不是灾难，说明语言并非主要瓶颈；真正瓶颈仍然是 perception/search。low-level language 只带来小幅提升也支持这一点。

感知是系统上限。ground-truth segmentation/depth 带来的提升很大，说明 FILM 的规划能力并没有被充分验证到接近上限；大量失败其实来自 detection miss、深度误差、视角不对和 closed receptacle。换句话说，FILM 把 end-to-end policy 的黑盒失败分解成了 perception/search/execution 的可诊断失败，但没有消除这些失败。

我会把这篇的核心贡献判断为：在 EIF 中证明了 explicit spatial state + semantic object search 比 trajectory imitation 更关键。不是提出了通用 embodied reasoning framework，而是在一个结构化 benchmark 上找到了正确的信息分解。

Relation To Prior Work

最接近的是 HLSM 和 semantic mapping/object-goal navigation 系列。FILM 继承了 semantic map、metric planning、视觉投影等已有思想；这些本身不是新东西。与 Chaplot 等 object-goal navigation 的关系是：FILM 把 semantic exploration 从单目标导航扩展到多子任务交互，并且搜索对象更多是小物体/扁平物体，而不是冰箱这类远距离可见大目标。

与 HLSM 的本质差异在于搜索目标的来源。HLSM 有持久空间表示，但 navigation goals 依赖 expert trajectory 中的 interaction pose 监督；FILM 则显式学习“对象可能在哪里”的 semantic search policy，并声称不需要 expert trajectories。这一点是实质差异：监督信号从动作/pose imitation 转向目标位置分布预测。

与 MOCA、HiTUT、ABP、E.T. 等路线相比，FILM 的差异不是模块数量更多，而是 action prediction 被弱化甚至移除。那些方法即使有语言/视觉模块，最终仍用神经 action module 隐式维护状态；FILM 则把状态外化为地图，把控制交给算法。这使它更像 classical robotics + learned perception/search 的 hybrid system，而不是 neural policy learning。

看似新的地方中，BERT 槽位分类、MaskRCNN segmentation、FMM navigation、模板 program 都是已有组件重组。实质创新在于对 ALFRED 任务结构的重新建模：把 embodied instruction following 的关键学习问题定位为 semantic search rather than action imitation。

Dataset / Evaluation

评估主要在 ALFRED 上，覆盖多种家庭任务类型、seen/unseen scene split 和长 horizon 交互。这个 benchmark 能较好检验“是否比端到端 imitation 更会跨场景找物体并执行模板化任务”，因此对 FILM 的核心 claim 有一定支撑。

但它不能证明开放世界泛化，也不能证明真实机器人可部署。场景是 AI2-THOR，物体类别封闭，交互动作离散，任务类型只有 7 类，语言结构高度模板化。unseen scenes 只是同一 simulator 分布内的新房间，不是跨数据集、跨房屋风格、跨传感器、跨 embodiment 的泛化。

实验支持 semantic search 在大房间和特定任务中有帮助，但对增益来源的拆分仍不完全充分。比如 perception backbone 来自已有方法并在 ALFRED fine-tune，LP 使用任务标签/模板，deterministic policy 内含大量 task-specific heuristics。最终成功率提升可以说明系统设计有效，但不能干净证明每个 learned component 的泛化能力。

此外，benchmark 的 success metric 容易奖励能完成固定任务流程的工程系统，而不一定奖励真正 adaptive planning。FILM 在这个意义上是非常适配 ALFRED 的方法。

Limitation

最大的隐含前提是任务可模板化。FILM 的 plan 不是从语言中开放生成的，而是先分类到 7 类任务，再填槽。只要任务结构超出模板、出现条件分支、并行目标、复杂指代或异常恢复，方法就会明显吃力。

第二个前提是对象类别和环境统计稳定。semantic search policy 依赖“目标对象与 receptacle/layout 的统计关系”。这在 ALFRED 有效，但在分布变化、物体摆放习惯变化、非北美家庭布局、真实杂乱环境中可能显著退化。所谓泛化可能更多是 simulator distribution 内的布局 prior 泛化。

第三，系统把很多难题转移给 perception。小物体检测、遮挡、closed receptacle、视角选择、深度误差都会导致失败。文中显示 ground-truth perception 提升巨大，这说明当前成功率不是被高级规划限制，而是被感知和交互 grounding 限制。

第四，planner 没有真正长期状态建模。它只是沿模板推进指针，并根据 interaction success 更新子任务。对象状态如 clean/heated/cooled/sliced 的追踪主要依赖任务流程假设，而不是显式 belief state。失败恢复也主要是规则行为，不是 learned replanning。

第五，closed receptacle 是结构性盲点。很多物体可能在 cabinet/drawer/fridge 内，FILM 没有系统化 active search inside containers。这个问题不是简单调参能解决，需要把 search 从“地图上找位置”扩展为“对可开合容器执行信息获取动作”。

最后，工程成分很重。模板、stop distance、视角旋转、sidestep、失败后后退、交互检测等规则对结果可能有重要影响。论文没有完全量化这些 heuristics 的贡献，因此部分增益来源不清。

Takeaway

• 1. 对 embodied instruction following，显式空间状态比更大的隐式 policy memory 更重要。
• 长期任务中，memory representation 的形式往往决定上限。
• 2. 搜索应当在语义地图空间中建模，而不是在动作空间里靠 imitation 学。
• 尤其当目标对象小、不可远距检测、依赖环境 affordance 时，semantic search prior 是高性价比组件。

一句话总结

FILM 是 ALFRED/EIF 方向中从端到端 imitation 转向“显式语义地图 + 语义搜索 + 程序化执行”的代表性工作，真正贡献在于证明结构化空间记忆和搜索先验比隐式动作策略更能支撑跨场景长时序指令执行。