ICLR 2023 / 规划与操作

Moving Forward by Moving Backward: Embedding Action Impact over Action Semantics

作者：Kuo-Hao Zeng, Luca Weihs, Roozbeh Mottaghi, Ali Farhadi · 单位：Paul G. Allen School of Computer Science & Engineering, University of Washington · 会议/期刊：ICLR 2023 · 分类：规划与操作 · 发布日期：2023

视觉语言动作

精读笔记

Problem Setting

【Moving Forward by Moving Backward: Embedding Action Impact over Action Semantics】（ICLR 2023）

这篇论文解决的不是常规 PointNav/ObjectNav，而是导航 policy 在 action-stability assumption 被破坏时的适应问题。训练时 Move/Rotate 这些离散 action token 有稳定语义；测试时同一个 token 可能位移变长、旋转角改变、方向等价于另一个动作，甚至动作失效。关键矛盾是：标准 policy 学到的是 state 到 action id 的映射，而不是 state 到“当前可用控制效果”的映射。一旦 action id 的语义漂移，原策略的决策接口本身就错了。

真正困难点在于 test-time 没有额外训练、没有 reward feedback、也不预先告诉 drift 参数。agent 必须通过自己执行动作后看到的状态变化，在线识别每个离散动作当前实际做了什么，并把这个识别结果直接接入后续决策。以前方法卡住的地方是它们通常把 dynamics adaptation 当作隐变量估计或 policy robustness 问题，但最终 actor head 仍然输出固定语义动作 index；这会把训练期动作语义重新注入策略，导致适应信号很难真正改变 action selection 的含义。

Motivation

已有路线不够的根本原因是它们没有切断 action id 与 action semantics 的绑定。domain randomization 可以让策略对轻微噪声更稳，但容易学到保守平均行为；meta-RL 或 RMA 可以估计某种环境/动力学上下文，但如果 actor 的输出维度仍然是固定 action slot，那么每个 slot 的训练期语义仍然被线性 head 的参数记住。换句话说，适应模块可能知道 drift 变了，但 policy interface 仍然假设 action order 是稳定语义表。

作者的核心观察很直接：在动作空间扰动问题里，最应该被在线建模的不是“环境整体 latent”，而是“每个动作当前造成什么 impact”。缺的是一种 action-centric representation，让 action 的表示由其实际后果生成，而不是由名称或 index 生成。这个方向的吸引力在于，如果某个 Rotate(30°) 在测试时实际表现得像 Rotate(120°)，策略不需要理解 drift 参数，只需要把它当作当前 episode 中一个产生 120°旋转效果的 primitive 来使用。

Core Idea

核心思想是把 action 从语义 token 变成 episode-specific affordance / impact token。agent 执行动作后，用前后观测/状态变化更新该动作的 latent embedding；后续决策不再基于“第 i 个动作在训练时是什么”，而是基于“第 i 个动作在当前 episode 中已经被观察到会造成什么”。这相当于把动作空间从固定词表改造成一个需要在线标定的工具箱。

本质区别在于信息流被重新组织了：传统 RL 是 belief → linear logits over ordered actions；AAP 是 belief 与一组 action-impact embeddings 做集合交互，再为每个 embedding 生成对应 logit。它引入的 inductive bias 是 permutation invariance / weight sharing：同样的决策规则应用到所有动作表示上，策略不应该因为一个动作处在第几个 slot 就赋予它固定语义。这比单纯加一个 adaptation latent 更强，因为它直接改变了 action selection 的参数化方式。

理论上它可能有效，是因为测试 drift 在许多设置下等价于训练期间见过的 action effects 的重标号或组合：动作名字变了，但效果空间没有完全变。AAP 实际做的是在当前 episode 中恢复 action-effect mapping，然后复用训练时学到的 effect-conditioned policy。这里的泛化更像 effect-space retrieval / remapping，而不是从零推导新动力学。

Method

方法层面真正必要的机制只有几个。

第一，action-impact encoder 解决的是 action id 不可信的问题。它用连续两帧/状态变化和上一步动作，更新对应动作的 embedding。这里重要的不是具体用 GRU 或 ResNet，而是每个动作有自己的 episode memory，embedding 来自 observed consequence，而非 learnable action semantics。

第二，recurrent accumulation 解决的是单次观测不可靠的问题。例如 Move 撞墙时看起来像 disabled action，如果只用一步差分会误判。用 RNN 对同一动作多次经验做聚合，本质上是在做轻量 system identification，而且是 action-wise 的 system identification。

第三，order-invariant head 解决的是普通 linear actor-critic 会重新引入动作顺序语义的问题。线性 head 的第 i 行权重天然绑定第 i 个动作，训练后会记住“这个 slot 通常是 Rotate(30°)”之类语义；不带位置编码的 transformer 通过共享 Q/K/V 和 FFN，把动作集合当成无序集合处理，使 logit 更依赖 embedding 内容而不是 slot index。

第四，forward prediction auxiliary loss 是表示对齐机制。它强迫 action embedding 保留足够信息去预测状态变化，避免 embedding 只成为 PPO reward 下的任意 latent。这个 loss 是辅助但重要；它让 action-impact 表示具有物理/几何可解释性。不过文中未充分说明如果没有 ground-truth state-change supervision、只用纯视觉预测时效果会怎样。

Key Insight / Why It Works

最核心贡献不是“用了 transformer”，而是识别到 actor head 的参数化本身会造成 action semantics overfitting。很多 adaptation 方法失败，并不是因为没有估计到环境变化，而是估计结果没有以正确形式进入 action selection。AAP 的关键是把 policy 写成一个对 action candidates 逐个打分的共享函数，而不是一个对固定 action ids 输出 logits 的分类器。

方法有效的最可能原因有三层。第一是 better inductive bias：permutation-invariant / shared scoring 强制策略关注 action embedding 内容，降低 slot-specific memorization。第二是 latent structure：动作扰动在该 benchmark 中主要表现为低维几何变换，action-impact embedding 很容易形成“位移/旋转效果”的 latent manifold。第三是 memory reuse / retrieval：一旦某个测试动作效果等价于训练中另一个动作效果，policy 可以复用已有控制经验。这比说它学会了复杂 test-time reasoning 更准确。

最可能的核心贡献是 OI head 与 impact embedding 的组合。只做 impact embedding 但接 linear head，会被 slot 权重破坏；只做 OI head 但用 action semantics embedding，则 severe drift 下仍然掉。消融结果支持这一点。forward prediction loss 和 CLIP visual backbone 更像辅助稳定训练和提升感知质量，不是概念核心。

需要直接指出：该论文的“unseen drift generalization”并非完全开放外推。补充材料承认 rotation actions 在训练时加小 drift 后覆盖了完整角度效果空间，因此测试时 180° drift 很多情况下等价于训练见过效果的重映射。这不是坏事，但它说明核心能力更接近 effect-space remapping，而不是对未知动作动力学的系统性外推。movement drift 超出训练覆盖后性能下降也印证了这一点。

disabled action 的结果很有说服力，但也要谨慎理解。AAP 避免重复使用 disabled actions，说明它确实能把“无效果”写入动作 embedding；但 ADR 数值并非非常高，表示它仍会探索/误用不少失效动作。这里更像 reactive adaptation，而不是形成了显式故障诊断 planner。

Relation To Prior Work

它最接近三条线：system identification、test-time adaptation / meta-RL、以及 model-based forward prediction。和 system identification 的共同点是都在线估计动力学变化；区别是 AAP 不估计一个全局环境参数，而是估计每个离散动作的当前 impact，并直接作为 policy 的候选动作表示。和 RMA 类方法相比，AAP 的 latent 是 action-conditioned set，而不是单一 environment code；这对“某些动作失效、某些动作变强”这种非均匀动作漂移更合适。

和 meta-RL 的差异在于它不依赖测试时梯度更新，也不需要 reward；适应发生在 recurrent embedding update 中。和 model-based 方法的差异在于它没有显式 rollout/planning，而是把 forward-model-like representation 接入 model-free policy head。严格说，它不是完整 model-based control，而是用预测目标塑造 action representation。

看似新的部分有些是已有思想重组：用前后状态差做动力学识别、用 auxiliary prediction 约束 latent、用 transformer 做 set processing 都不是新概念。实质创新在于把这些放到离散 action policy 的输出参数化上，指出 linear actor head 的 action-order binding 是 robustness bottleneck。这一点在 embodied navigation 文献里相当有价值。

Dataset / Evaluation

评估覆盖 RoboTHOR/AI2-THOR 的 PointNav、ObjectNav，补充 Habitat 和修改版 PettingZoo，并有小规模真实机器人 RoboTHOR 场景实验。任务覆盖从视觉导航到状态观测 toy pushing，说明机制不完全依赖某一个 simulator。但主要证据仍集中在低维动作效果漂移：平移距离变化、旋转角偏移、部分旋转动作禁用。

这些实验总体支持核心 claim：当测试动作效果偏离训练语义时，AAP 比固定 action-semantics policy 更稳。尤其 severe rotation drift 和 disabled actions 直接打在论文主张上，不是泛泛 OOD robustness。

但 evaluation 的边界也明显。rotation drift 的泛化很大程度受益于训练 action set 对效果空间的覆盖；测试 drift 虽然按 action label 是 unseen，但按 actual effect 可能并不新。真实世界实验只有 20 episodes、少量目标和起点，更多是 proof-of-concept，不能证明复杂部署场景的鲁棒性。ObjectNav 中目标识别、探索策略、视觉 domain shift 与动作 drift 混在一起，增益归因不完全干净。文中未充分说明在动作效果随空间位置变化、随时间变化、或与环境接触状态强耦合时的表现。

Limitation

第一，方法依赖可识别性：动作 impact 必须能从短期观测变化中可靠估计。如果视觉变化弱、定位不准、环境动态变化、或动作效果被碰撞/遮挡强烈混淆，embedding 可能学到的是 context artifact 而非 action intrinsic effect。

第二，泛化上限主要由训练期间覆盖的 effect manifold 决定。rotation 结果好，很可能因为所有角度效果都在训练动作集合中出现过；movement 大 drift 变差说明它不擅长真正外推。核心能力可能主要来自数据覆盖 + 共享打分结构，而不是抽象物理推理。

第三，方法把问题从“知道动作语义”转移为“需要在 episode 初期探索动作效果”。这带来 test-time compute / interaction cost。论文没有系统讨论主动探测策略，也没有约束探测动作的安全性；真实机器人中随便试错失效动作可能不可接受。

第四，action space scalability 不清楚。离散动作数较小时 OI head 很自然；如果是大动作库、参数化动作或连续控制，逐动作维护 embedding 并做集合 attention 的成本和探索复杂度都会上升。

第五，它不是长期 planner。AAP 仍是 model-free policy，只是 action candidates 的表示更合理。所谓“选择当前最有用动作”不等于形成显式长期模型；在需要多步 lookahead、不可逆操作或稀疏奖励任务中，当前机制可能不够。

第六，增益中有多少来自 CLIP backbone、训练 action set 扩展、auxiliary forward loss、以及 transformer capacity，文中虽有关键消融但仍未完全拆干净。尤其与更强的 set-based model-based baseline 或显式 system-ID planner 的比较不充分。

Takeaway

  • 1. 对 embodied agent 来说，action output parameterization 本身是一个被低估的 OOD bottleneck；固定 linear logits over action ids 会强行记忆训练期动作语义。
  • 2. 把动作表示成 online-estimated impact，而不是 name/index，是处理 actuator drift、body damage、tool-use variation 的可迁移 insight。
  • 这个想法可推广到 manipulation 中的 tool affordance、multi-robot embodiment transfer、以及可变技能库选择。
  • 3. 这篇论文真正推动的是从 environment-level adaptation 转向 action-level adaptation：不是估计“我在哪种环境里”，而是估计“我手里的每个 primitive 当前能做什么”。

一句话总结

这篇论文在 embodied navigation 中把测试时动作扰动问题重新表述为 action-effect remapping，并通过在线 impact embedding + order-invariant action scoring 打破固定 action semantics，是一类从语义动作分类器走向效果条件化控制策略的代表性方法演化。