Awesome World Models / OpenReview

Beyond Experience: Fictive Learning as an Inherent Advantage of World Models

作者：作者信息待提取 · 单位：Okinawa Institute of Science and Technology Graduate University, Department of Psychology, University of Sydney · 来源：World Models for Embodied AI · 发布日期：2025 · 分类：6. World Models x Policy Learning

具身智能视觉语言动作/策略学习

精读笔记

Problem Setting

《Beyond Experience: Fictive Learning as an Inherent Advantage of World Models》（Awesome World Models / 2025）关注的不是如何在 two-step task 上再做一个更好的 RL baseline，而是一个更细的错配：动物行为显示出比标准 MB 更强、比 MF 更结构化的 counterfactual updating 痕迹。

标准 MF 只强化经历过的 action-outcome，解释不了 rare transition 后动物的 model-based switch；标准 MB 能利用 transition structure，但它只把 visited state 的 RPE 按 transition probability 分摊到 action value，没有把“另一个 state 的 reward probability 可能反向变化”作为学习信号。因此 MB 会在 rare/reward 和 common/omission 上给出过于对称的 preference reversal，而动物行为明显不对称。

任务的关键矛盾是：world model 如果只用于 action evaluation，它已经不足以解释数据；但如果 world model 还编码 event correlation，那么一次经验可以提供关于未经历事件的信息。论文要解决的正是这个缺口：model-based learning 应不应该天然包含 fictive learning。

Motivation

作者的动机来自一个很具体的观察：在 rodent two-step task 中，reward probabilities 在 up/down states 间是反相关变化的，但动物并没有被显式告知这种反相关。若动物仍表现出像是在更新未访问 state/action 的行为，那么这说明它们学到的不只是 transition model，还有事件之间的统计结构。

已有 MF/MB/hybrid 框架缺的是这种“经验外更新”的接口。Hybrid 只是把 MF 和 MB value 混合，并没有改变 RPE 的作用范围；hidden-state Bayesian model 可以隐式更新未访问 state，但它依赖明确的 latent block 和 reward likelihood 结构，模型假设重且扩展性差。

因此作者真正想补的是：一个比 Bayesian hidden-state model 更轻、更局部、更像神经实现的 fictive update rule，使 factual RPE 能通过 learned/inferred correlation 广播到未经历事件。

Core Idea

核心想法非常简单：同一个 factual RPE 不只更新当前访问的 state/action，也更新未访问 state 和未选择 action；更新幅度和符号由 event correlation η 决定。η=0 时就是普通 factual learning；η<0 时，当前 state 被奖励意味着另一个 state 应被相对惩罚；η>0 时二者同向更新。

这改变了 MB 的建模方式：world model 不再只是 P(s|a) 这种 transition operator，而还包含事件间 value change 的相关结构。换句话说，world model 的优势不只在 planning，更在于把单点 feedback 扩展成结构化监督信号。

本质区别在于：prior MB 用模型做 value composition；这篇把模型作为 RPE generalization 的结构。前者回答“这个 action 未来会到哪里”，后者回答“这次 outcome 还告诉我哪些未经历事件也应该变”。这是一个更接近 counterfactual credit assignment 的 inductive bias。

Method

方法中关键机制可以压缩为三点。

第一，visited state 仍用标准 RPE 更新：δs = r - V(s)。这保证 fictive learning 不需要额外构造 hypothetical reward，也不需要另一个误差信号源。作者有意避免把 fictive error 定义为 chosen 与 optimal action 的 outcome difference，因为 optimal counterfactual 在真实任务中通常不可观测。

第二，unvisited state 用 ηδs 更新。这个 η 是机制核心：它把任务结构中的 event correlation 显式参数化。η 为负时，模型实现 simultaneous reinforcing and punishing；这正是 two-step task 中反相关 reward schedule 所需要的结构偏置。

第三，action value 的变化通过 transition matrix 从 state update 推导出来。标准 MB 中 action update 权重只是 P(s+|a)；加入 fictive update 后，action update 变为 [η + (1-η)P(s+|a)]αδs。当 η=-1 且 transition probability 为 0.8/0.2 时，chosen 与 unchosen action 会获得相反方向、近似对称的更新。这是行为模式改变的直接来源。

其它模型拟合、GLMM 和 dopamine proxy 分析主要用于证明该机制与行为/神经数据对齐，而不是算法本身的必要组件。

Key Insight / Why It Works

这篇最重要的 insight 是：在反相关环境中，未经历事件不是无信息的。一次 reward 不仅说明当前 state/action 变好，也说明竞争 state/action 可能变差。标准 RL 把未经历事件当作 missing data；fictive learning 把它当作 latent supervised target。

为什么它有效？不是因为更强的 planning，也不是因为更复杂的模型，而是因为更好的 inductive bias。two-step task 的 reward schedule 有强结构：两个 second-step states 的 payoff 近似反相关。η<0 正好把这个结构编码进 value update，因此单个 feedback 的有效样本数接近翻倍，同时拉大 action value contrast，减少无意义探索。

最可能的核心贡献是“用 factual RPE + event correlation 实现 counterfactual update”这一建模选择。它比 Bayesian hidden-state model 更局部，不需要完整 latent-state likelihood；比一般 MB 更强，因为它更新 state covariance structure；比 MF 更强，因为它不是简单 reward repetition，而是依赖 transition/state relation。

但也要直接说：性能增益在这个 benchmark 上很可能主要来自 task-structure matching，而不是通用 world model 能力。η=-1 与实验 reward design 高度一致，因此 accuracy 和 BIC 改善并不意外。这里的 fictive learning 更像 structured value propagation / memory reuse，而不是复杂 reasoning。所谓“world model inherent advantage”在本文证据下应理解为：如果 world model 学到了事件相关性，它能把经验转成 counterfactual supervision；不是说任意 world model 自动获得这种能力。

神经解释部分有价值，但仍是模型层面对齐：用 RPE proxy 拟合 dopamine coefficient reversal 支持 fictive update 的存在，却不能唯一排除 Bayesian inference 或其他 latent-belief 更新机制。作者自己也承认 hidden-state model 隐式实现了类似未访问 state 更新。

Relation To Prior Work

最近的路线主要有三类：经典 MF/MB/hybrid two-step modeling、Bayesian hidden-state inference、以及 fictive/counterfactual learning。

相对 MF/MB/hybrid，本文的新增信息是 RPE 的作用范围改变了。Hybrid 只是在 decision layer 混合 value source；本文是在 learning rule 层面改变 credit assignment，因此行为动力学不同。

相对 Bayesian hidden-state model，本文更轻量。Bayesian model 通过假设“up block/down block”以及 reward likelihood 来更新 belief，本质上也会更新未访问 state；但它需要明确 latent state space 和 likelihood table。本文用一个 η 把这种结构压成 event correlation，因此更像可扩展的局部近似。当然，这种“更 general”目前还只是形式上的，真实大规模可扩展性未验证。

相对已有 fictive learning 文献，本文的差异在于不假设固定绝对反相关，也不另设 fictive learning rate，而是用 factual RPE 乘以可估计 η。这个设计确实干净，避免了引入太多自由度。

放到 ML 谱系里，它更接近 counterfactual data augmentation / off-policy value propagation / Dyna-style imagined update 的极简版本：不是 rollout 多步未来，而是用 learned event covariance 对当前 RPE 做横向传播。

Dataset / Evaluation

评估范围很窄但针对性强：10 只小鼠的 rodent two-step task，加上仿真、行为拟合、dopamine 动态复现实验。这个设置足以验证作者的局部 claim：在反相关 two-step task 中，fictive MB 比标准 MB/MF/hybrid 更能解释行为和部分神经信号。

但它不能充分支撑更大的 claim：fictive learning 是 world models 在 embodied AI / policy learning 中的 inherent advantage。实验没有跨任务、没有连续状态动作、没有真实机器人控制、没有复杂 world model，也没有展示 η 在复杂环境中如何学习和泛化。

BIC comparison 支持模型拟合优势，但由于任务结构与 η<0 强匹配，存在归因偏窄的问题：改进到底来自 fictive learning 的一般机制，还是来自把实验中的 reward anticorrelation 直接参数化进模型？文中没有充分拆解。

Dopamine analysis 是亮点，因为它提供了行为以外的约束；但仍然是模型 RPE proxy 与已有 neural coefficient pattern 的一致性，不是直接证明脑中 η 或 fictive update 的因果证据。

Limitation

最大限制是 η。论文把 event correlation 当作核心变量，但 η 如何被动物或算法在线学到，文中未充分说明。拟合得到 η 随 session 变负只能说明模型可以 post-hoc 捕捉行为变化，不能说明学习机制本身成立。

第二，scalability 上限明显。在二状态二动作任务中，η 是一个标量；在真实 embodied environment 中，state/action/event correlation 是高维、稀疏、非平稳且上下文依赖的。若直接扩展成 correlation matrix，会带来估计、存储和错误泛化问题。方法可能只是把 planning 难题转移成 correlation learning 难题。

第三，泛化证据不足。本文展示的是在强反相关 reward schedule 下的结构化 value propagation；没有证明在弱相关、局部相关、动态相关或错估相关环境中仍然可靠。作者也承认 fictive learning 会在 biased correlation 下 backfire。

第四，所谓 model-based advantage 的范围需要收窄。这里的 world model 主要包含 transition matrix 和 event correlation，并不涉及现代 world model 中的 high-dimensional latent dynamics、long-horizon rollout、representation learning。把结论外推到 VLA/policy learning 还缺少关键中间层。

第五，Bayesian hidden-state model 与 fictive MB 的可区分性仍不彻底。二者都能解释未访问 state 更新，只是实现语言不同。本文倾向 fictive MB 的理由是更低 BIC 和更合理的 omission behavior，但这不足以唯一识别神经机制。

Takeaway

  • 1. World model 的一个可迁移用法是把 single factual RPE 扩展成 structured counterfactual supervision，而不只是做 rollout/planning。
  • 2. Fictive learning 的关键不是“想象另一个 reward”，而是学习事件间 value-change correlation；这比构造 explicit counterfactual outcome 更可实现，也更接近神经广播误差信号。
  • 3. 对 embodied policy learning 的启发是：如果环境中存在可学习的 action/state outcome covariance，可以把它作为 credit assignment bias，提升样本效率；但必须有 uncertainty gate，否则错误相关性会造成系统性负迁移。
  • 4. 未来真正值得做的不是在 two-step task 上继续拟合更多模型，而是在大状态空间中学习可泛化的 event-correlation structure，例如低秩、graph-based 或 latent-factor 形式，并测试其在非平稳任务中的 robustness。

一句话总结

这篇论文把 two-step task 中的动物行为错配重新解释为 model-based RL 缺少 RPE 的 counterfactual propagation，并提出用 event correlation 调制 factual RPE 的 fictive update；它的实质贡献是一个强结构归纳偏置，而不是通用 world model scaling 结果。