精读笔记
Problem Setting
VANDERER 处理的是一种很具体但重要的 exploration regime：agent 只有单目 RGB，目标是在大尺度 outdoor urban environment 中提高覆盖效率，同时不构建 occupancy map，也不依赖 GPS/IMU/LiDAR。论文表面上说 map-free exploration，实际关键问题是：在没有可靠几何状态的情况下，如何给一个局部视觉策略注入“我是否在重复访问”的长期信号。
真正困难点有两个。第一，exploration objective 是历史相关的：同一个局部视觉动作是否有价值取决于过去看过什么，而普通 goal-conditioned diffusion policy 没有这样的全局记忆。第二，动作必须仍然落在可执行、安全的分布内；如果直接对 curiosity 做优化，很容易产生撞车、越界或不可控行为。因此任务的关键矛盾是：需要长期覆盖驱动，但可用的感知与 policy 都是短 horizon、局部、无地图的。
Motivation
传统 frontier / sampling-based exploration 的优势是目标清楚：扩展已知地图边界。但它们把问题建立在准确定位和地图之上，在单目 outdoor setting 下这个前提很弱，尤其城市环境中几何 frontier 不等于可通行 frontier，语义规则也会改变可行动作空间。
学习式 RGB navigation policy 则刚好相反：它们可以学到道路、障碍、可行驾驶等隐式先验，但探索性主要来自采样方差或 goal masking，并没有真正的 coverage memory。NoMaD 这类方法能走，但不一定知道自己在重复走。
作者的核心观察是：如果视觉表征足够好，历史视觉记忆可以充当一种弱地图；如果 world model 能预测候选动作的未来观测，就可以在不训练探索专家的情况下，对动作后果做 novelty scoring。缺口不是缺一个更大的 policy，而是缺一个能在 inference time 把可行导航先验和探索目标接起来的机制。
Core Idea
论文真正的核心思想是 generate-then-guide：不要训练一个专门的探索 diffusion policy，而是先让 diffusion policy 生成一组符合数据分布的可行动作候选，再用未来视觉 novelty 对生成过程本身施加偏置。这里探索不作为监督标签进入训练，而作为测试时 objective 进入采样。
这改变了建模方式：探索从“学习一个探索策略”变成“在可行行为流形上做目标条件化搜索”。diffusion policy 负责定义可行行为流形，world model 负责把 action 转换成 imagined future observation，visual memory 负责提供 novelty reference。相比 prior 的本质区别在于，它不依赖 policy variance 的偶然发现，也不依赖显式几何地图，而是引入了一个视觉记忆驱动的 test-time search bias。
这个 inductive bias 在 outdoor driving-like environment 中是合理的：新的空间区域通常带来新的视觉组合，而道路结构又强约束了可行动作，使得在视觉 novelty 上优化不会太容易跑出可行空间。
Method
方法层面最重要的不是 VAE、UNet 或 transformer 细节，而是三段信息流。
第一，action prior：diffusion policy 从当前与历史 RGB latent 生成 waypoint sequence。它解决的是“探索优化不能从无约束动作空间开始”的问题。没有这个 prior，curiosity optimization 会退化成在连续动作空间里盲搜，既慢又容易碰撞。消融中 w/o diffusion policy 的失败基本说明了这一点。
第二，future-aware scoring：VCM 用 Navigation World Model 预测每个候选动作序列之后的未来 latent。它解决的是“当前 novelty 不等于动作价值”的问题。探索需要评估动作后果，而不是只看当前帧或下一步局部差异。
第三，visual memory retrieval：把预测的最终 future latent 与历史 latent 数据库做 patch-level reciprocal matching，以最近历史状态的距离作为 curiosity cost。它解决的是 map-free setting 下“visitedness”的替代度量问题。patch matching 的必要性在于同一地点不同视角下 patch index 不对齐，直接 L2 会把视角变化误判成新地点。
第四，noise-distribution guidance 而不是 hard selection：用 CEM 选择高 novelty 候选来更新 diffusion 初始噪声分布，再重新采样生成动作。这一步的机制意义是保留 stochasticity 和 temporal commitment，避免每一步贪心挑选导致在路口左右摇摆或进入局部循环。
Key Insight / Why It Works
我认为这篇最核心的贡献是把 exploration reward 变成 diffusion sampling prior 的 test-time adaptation，而不是 curiosity metric 本身。视觉 novelty、world model imagination、CEM 都不是全新概念，但它们在这里被组织成了一个“可行行为流形上的未来新颖性搜索”。这比直接 RL curiosity 更 sample-efficient，也比 map-free random exploration 更有长期信号。
方法有效主要来自四个因素。第一是 action prior：diffusion policy 已经吸收了 CARLA driving trajectories 的可行性与道路结构，VCM 只需要在这些可行动作之间重加权，而不是学习控制。第二是 memory reuse：历史视觉数据库虽然不是几何地图，但提供了足够的非参数长期记忆，使 policy 不再完全依赖 recurrent hidden state 或短窗口 context。第三是 representation alignment：NWM/VAE/MASt3R-style patch features 让“未来预测”和“历史检索”处在同一 latent 比较空间，curiosity 才能闭环。第四是 test-time compute：多候选采样 + world model rollout + CEM，本质上是用推理时计算换探索性能。
需要直接指出的是，所谓 future-aware exploration 并不等于形成了显式长期规划。它仍然是短 horizon rollout 上的 novelty optimization，长期性主要来自不断增长的视觉数据库，而不是 planner 内部维护了拓扑图或 belief state。因此它更接近 retrieval-augmented reactive planning，而不是 map-free global planning。
最可能是核心贡献的部分：用 future visual novelty 引导 diffusion 初始噪声分布。最可能只是辅助的部分：具体 diffusion 架构、VAE tokenization、若干训练 recipe。reciprocal matching 介于两者之间：概念上是工程选择，但对于让视觉 novelty 不被视角变化污染很关键。
增益来源仍不完全清楚。论文同时改了 NoMaD 架构、使用 VAE encoder、fine-tune 各 town、fine-tune world model，并在 CARLA 中移除了 lamp posts。尽管作者做了若干公平性控制，但 VANDERER 的提升有多少来自 guidance 本身，有多少来自更适合 CARLA 的 representation / data / architecture，文中未充分说明。尤其 NoMaD 原版高碰撞后又引入 NoMaD*，说明 baseline adaptation 本身对结论影响很大。
Relation To Prior Work
它最接近三条线的交汇：RGB-only diffusion navigation policy、curiosity-driven exploration、world-model-based planning。
相对 NoMaD / ViNT 系列，VANDERER 的不同点不是更强的视觉导航 backbone，而是引入了历史记忆和动作后果评估。NoMaD 的 exploration 更像 goal masking 下的 policy stochasticity；VANDERER 则显式问“这个动作之后看到的东西是否像过去看过的”。这是真正新增的信息流。
相对 RL curiosity，VANDERER 没有把 curiosity reward 用来训练 policy，而是在 inference time 用 curiosity 重塑 diffusion sampling。这避免了环境特定 RL 训练，也减少了探索专家数据需求。但本质上它继承了 curiosity 方法的老问题：novel observation 不必然等于 useful coverage，视觉新颖性可能被无关因素劫持。
相对 map-based frontier，它没有 occupancy state，也没有拓扑保证；它用视觉检索替代 visited map，用 world model 替代几何 rollout。这是更轻传感器、更弱保证的路线。
相对 cost-guided diffusion / classifier guidance，它的实质创新是 cost 不来自外部约束或目标图像，而来自 predicted future 与 self-memory 的相似度。也就是说，它把 diffusion guidance 从“目标条件化”扩展到“历史依赖的探索条件化”。
Dataset / Evaluation
实验主要在 CARLA 五个 town 上进行，属于结构化 outdoor driving simulator。任务覆盖了多个城市布局，但仍然是同一 simulator、同一车辆动力学、同一道路规则分布。没有真实世界或真机实验，因此 claim 更准确地说是“在 CARLA urban driving-like exploration 中有效”，而不是一般 map-free exploration 已解决。
评估指标用 visited top-down grid area 和 APL，这对 exploration coverage 是合理的，但注意这是 evaluation-time 使用的几何信息，不是 policy 输入。它能衡量覆盖效率，却不能证明方法内部真的形成了地图或全局推理。
实验确实支持两个核心点：一是视觉 curiosity guidance 比无引导/贪心选择更好；二是 diffusion action prior 对稳定性非常重要。但对更强 claim 的支持不足：例如跨域泛化、真实 sensor noise、长期闭环 drift、复杂动态场景下的视觉 aliasing，都没有被验证。
另一个需要注意的点是 town-specific fine-tuning。作者说所有 baseline 都同样 fine-tune，这保证了相对公平，但削弱了“无需额外训练即可适配新环境”的泛化叙事。VCM guidance 是 inference-stage 的，但底层 policy 和 world model 仍然依赖相关分布数据。
Limitation
最大隐含前提是视觉新颖性约等于空间新颖性。这在 CARLA 城市街区大体成立，因为不同道路、建筑、路口通常视觉差异明显；但在重复纹理走廊、郊区道路、森林、停车场、夜间/雨天、强光照变化下会明显不稳。视觉 aliasing 会让未访问区域被误判为已访问，外观变化也会让已访问区域被误判为新区域。
第二个前提是 world model 预测足够好，且预测 latent 的误差不会主导 novelty score。论文没有充分分析 world model error 与 exploration failure 的关系。如果 world model 对少见动作或远 horizon 产生 hallucination，VCM 可能会奖励模型误差而非真实新颖性。这是所有 curiosity-by-prediction 方法的经典风险。
第三，scalability 上限来自历史数据库检索。作者做 temporal subsampling，但大尺度长时间部署时，nearest-neighbor memory 会越来越重，而且相似地点数量增多后 false match 会更严重。没有拓扑压缩、place recognition calibration 或 uncertainty handling，长期性能可能遇到瓶颈。
第四，长期 planning 很可能是假象。系统没有显式构建路线图，也没有回溯、分支记忆或 coverage frontier；它只是每秒重新基于短 horizon future novelty 进行 soft search。能否避免大尺度循环，主要依赖视觉数据库和 CEM sampling，而不是规划算法本身。
第五，增益归因不够干净。NoMaD 原版碰撞率高，NoMaD* 又改变了架构；VANDERER 同时使用 VAE/NWM/patch matching/CEM/fine-tuning。虽然消融说明各组件有用，但仍难判断主要提升来自“visual curiosity guidance”还是来自更好的 representation 和 simulator-specific data alignment。可能主要来自 test-time compute + stronger action prior + CARLA 分布匹配，而不是一个通用 exploration principle。
Takeaway
- 1. 值得记住的不是某个 curiosity loss，而是范式：先用大规模 imitation/diffusion 学可行行为流形，再在测试时用任务目标重加权采样。
- 这比为每个 exploration objective 重新训练 RL policy 更可扩展。
- 2. Map-free exploration 可以通过“视觉记忆 + future prediction”获得弱全局性，但它不是免费午餐；它把 occupancy map 的几何一致性问题转移成 representation matching、world model calibration 和 memory retrieval 问题。
- 3. 对 diffusion policy 来说，优化初始噪声分布是一个实用的控制接口。
一句话总结
VANDERER 是一篇把 RGB diffusion navigation policy 推向探索任务的 test-time guidance 工作，其真正贡献在于用 world-model-imagined visual novelty 和历史记忆重塑 diffusion 采样分布，属于“预训练行为先验 + 检索式记忆 + 测试时搜索”的方法演化。