Awesome Self-Supervised Learning / 机器学习

Curiosity-driven Exploration by Self-supervised Prediction

作者：ed Prediction, Deepak Pathak, Pulkit Agrawal, Alexei A. Efros, Trevor Darrell · 来源：Preprint / Paper · 类别：强化学习 · 发布日期：待确认

自监督学习强化学习生成模型

精读笔记

Problem Setting

《Curiosity-driven Exploration by Self-supervised Prediction》（Preprint / Paper，2017/ICML 论文版本）处理的是 sparse/no extrinsic reward 下的视觉 RL 探索，而不是一般意义上的“提高样本效率”。它真正面对的难点是：在像素输入中，prediction error 很容易被不可控、高熵、但任务无关的因素主导；而 count/novelty 方法又需要在高维连续 observation 上估计访问分布。以前方法卡在两端：要么 novelty 太依赖状态密度估计，要么 dynamics prediction 太依赖像素级建模。这里的关键矛盾是，intrinsic reward 必须既能推动 agent 走向未知，又不能被“电视噪声问题”劫持。

Motivation

作者不满足于直接把 surprise / prediction error 当 reward，因为 raw observation prediction 的目标本身是错的。像素变化里混有三类因素：agent 可控因素、agent 不可控但会影响 agent 的因素、agent 不可控且无关的 nuisance。一个好的 curiosity 信号不应对第三类持续给奖励。已有 learning progress 思路理论上能处理这个问题，但计算上难做；VIME/information gain 类方法更 principled，但在高维视觉状态中模型和后验估计都很重。论文的缺口定位很准确：需要一种便宜的、自监督的、能把 curiosity 绑定到 action-relevant representation 的机制。

Core Idea

核心思想不是“加一个辅助任务”，而是改变 curiosity 的预测空间：不要预测像素，而是在一个由 inverse dynamics 约束出的 latent space 中预测下一状态。inverse dynamics 任务要求模型从连续两帧推断 agent 做了什么动作，因此它天然偏向编码那些能解释动作后果的视觉因素；纯粹无关的随机纹理、噪声块、光照扰动，在理想情况下不会帮助动作分类，因此不会进入 φ(s)。

这引入了一个很强的 inductive bias：探索奖励只奖励 agent-action-conditioned dynamics 的不可预测性。相比 prior 的本质变化是，prediction error 不再度量“世界是否难预测”，而是度量“agent 自己的交互后果是否还没被模型掌握”。这让方法比 pixel prediction 更 scalable，也比纯 count-based novelty 更容易在视觉空间中泛化。

Method

方法机制可以压缩为三步。第一，agent 仍然用普通 policy gradient 最大化 reward，但 reward 由外部稀疏信号和 ICM 内部信号相加；这解决的是 sparse reward 下 policy 没有梯度的问题。第二，ICM 用 inverse dynamics 学 φ(s)，即给定 s_t 和 s_{t+1} 预测 a_t；这一步的必要性是把表示对齐到 action-relevant factors，而不是做通用视觉压缩。第三，forward model 用 φ(s_t) 和 a_t 预测 φ(s_{t+1})，其误差作为 r_i；这一步把“模型还不会解释的可交互转移”转成探索奖励。

联合训练 inverse/forward/policy 的意义在于 reward generator 和数据分布共同演化：policy 去访问 forward model 不确定的区域，forward model 又吸收这些 transition。实现中的 A3C、卷积网络、LSTM、灰度缩放等不是论文贡献，只是当时可用的 RL 工程栈。

Key Insight / Why It Works

最关键的有效性来源是 representation alignment，而不是 forward prediction 本身。forward prediction error 作为 curiosity 是老思想；这篇真正做对的是让 prediction error 发生在 inverse-dynamics-induced feature space 中，从而把 reward 的敏感性从像素复杂度转向 action relevance。换句话说，它不是更好地预测世界，而是更聪明地选择“不预测什么”。

这也解释了为什么在噪声遮挡实验中 pixel curiosity 崩，而 ICM 还能工作：pixel model 会持续被白噪声惩罚，ICM 的 inverse feature 没有理由编码那块噪声。这个实验是论文最有力的机制验证之一。相比之下，Mario 中无奖励前进、Doom 中沿走廊走，部分可能是 curiosity 诱导出的 curriculum：撞墙/死亡会导致状态分布变窄，继续前进能看到更多 transition，因此 policy 学到 avoid death / move forward。这不是显式规划，更像是局部 novelty shaping 通过环境结构诱导出的技能。

需要直接指出：所谓 generalizable skill 在这里是有限的。Doom 的迁移更多像“学会视觉导航中的低级 motor primitive”，Mario 的迁移强依赖关卡共享动作语义和局部结构。它不是学到了抽象探索算法，也没有形成长期状态图或 memory-based planning。ICM 的增益主要来自 better inductive bias + better data coverage，而不是 reasoning。A3C 并行采样和训练规模也可能贡献不少，但论文没有充分解耦。

Relation To Prior Work

这篇属于 intrinsic motivation / prediction-error exploration 谱系，最接近 Schmidhuber 的 curiosity、Stadie 的 predictive model exploration、VIME 的 information-gain exploration，以及 count-based novelty 的连续空间扩展。它与这些工作的本质差异在于 curiosity 的度量空间：不是 raw state，不是 density model，不是 Bayesian dynamics posterior，而是 inverse dynamics 学出的 action-relevant latent。

看似新的是 forward+inverse joint model，但 forward/inverse model 在 motor learning 和自监督视觉中已有；真正新增的信息是把 inverse model 当作 curiosity reward 的表示过滤器，并用 forward error 驱动 RL exploration。与 VIME 相比，它少了信息增益的理论味道，但计算和视觉扩展性更强；与 count-based 方法相比，它不显式建模 novelty，而是通过模型误差隐式产生 novelty；与 pixel prediction 相比，它把不可控噪声问题从 reward 定义层面绕开。

Dataset / Evaluation

评估覆盖了两个模拟视觉环境：VizDoom 和 Super Mario Bros。VizDoom 主要验证 sparse reward navigation、噪声鲁棒性和跨地图/纹理迁移；Mario 主要验证 no-reward exploration 和跨关卡迁移。实验设计比普通单环境 RL evaluation 更有价值，尤其是加入了 train/test scenario 和 fine-tuning，这在当时是重要信号。

但 evaluation 仍不足以完全支撑“generalizable skills”的强表述。所有实验都在游戏模拟中，动作空间离散，视觉和物理规律相对简单，任务结构强烈鼓励持续前进或走廊导航。Mario 的 pit failure 也暴露了方法对长程精确 action sequence 几乎无能为力。噪声实验能支持“避免 uncontrollable visual nuisance”，但不能证明方法能处理不可控但 task-relevant 的动态实体。整体证据支持 ICM 是一个有效探索 shaping mechanism，不足以证明其具备广义自主探索能力。

Limitation

最大限制是 inverse dynamics 的归纳偏置并不总是正确。它会保留有助于动作识别的因素，但未必保留所有对未来 reward 或安全相关的因素；反过来，如果 nuisance 与动作有统计相关，也可能被错误编码。对于不可控但会影响 agent 的对象，例如其他智能体、移动障碍、敌人，inverse dynamics 是否能保留足够信息，文中未充分说明。

第二，ICM 是局部 one-step novelty shaping，不是长期探索规划。遇到需要 15–20 步精确动作序列才能越过的 Mario 坑时，它没有信号指向坑后的状态空间；这说明方法不能解决 hard exploration 中的深层 credit assignment。第三，curiosity 会被模型学习进度耗尽，若 agent 卡在局部区域且无新 transition，会出现类似 boredom 的 policy degeneration。第四，泛化可能主要依赖 benchmark overlap：相同游戏机制、相似视觉结构、共享动作语义。第五，增益归因不完全清晰，policy optimization、并行环境采样、implicit curriculum 和 representation bias 混在一起。

Takeaway

  • 1. 这篇最值得迁移的 insight 是：intrinsic reward 的关键不是选择 prediction error 还是 novelty，而是选择在哪个 representation 上度量它。
  • 错误的预测空间会制造错误的探索目标。
  • 2. inverse dynamics 是一个实用的 action-relevance filter。
  • 它把自监督表示学习和 RL exploration 接起来，后来很多 embodied AI / exploration / auxiliary task 工作都沿着这个方向演化。

一句话总结

ICM 是 prediction-error curiosity 从像素预测走向 action-relevant latent prediction 的关键一步，真正贡献是用 inverse dynamics 引入表示层面的 inductive bias，使视觉 RL 中的内在奖励更可扩展、更少被无关随机性劫持。