精读笔记

Problem Setting

这篇论文不是在从零学习 model-based RL，也不是一般意义上的 visual robustness；它解决的是一个更窄但很实际的问题：已有离散 latent world model 能在 clean domain 中做长 horizon heuristic search，但一旦输入图像发生 lighting/background/camera/texture/occlusion 等 observation-level 变换，入口 encoder 不能稳定映射到同一个 latent state，整个 search stack 失效。

真正困难点在于 planning 对 state identity 的要求远高于 policy execution。policy 可以容忍 feature drift，只要 action ranking 没坏；但 heuristic search 需要 start/goal code、closed list、transition successor、goal equality test 都在同一坐标系里一致。一个接近但不完全相同的 latent，在连续空间里可能看起来 MSE 很小，却足以让 exact goal test 或 rollout dynamics 偏离。

以前方法的卡点是二选一：要么把噪声也纳入 world model 训练，导致 dynamics 被迫解释无关视觉因素、每种新噪声都要重训；要么学连续 canonical feature，但小 alignment error 会被后续 model rollout 放大。关键矛盾是 perception 需要对 nuisance invariant，而 search 需要状态表示 discrete、stable、exactly re-identifiable。

Motivation

已有离散 world model planning 的强点是：rounding 让 latent transition 的小误差被吸收，从而支撑上千步 rollout 和 exact state matching。弱点也正来自同一设计：如果 test observation 的 encoder 输出没有落到正确 binary code，后面再稳定也只是稳定地规划到错误状态。

作者看到的缺口是，视觉 domain shift 不应该进入 dynamics/heuristic 的学习目标。对于 Rubik’s Cube 或 Sokoban 这类任务，lighting、background、camera corruption 并不改变 underlying MDP；因此理想做法是保留 clean MDP 中学到的 transition graph 和 heuristic，只重新校准从 observation 到 latent state 的入口。

这也是为什么方法会走向 alignment，而不是 domain randomization 式的全栈重训：缺的不是更大的 world model，而是一个把 transformed observation 投回 clean discrete state manifold 的适配器。

Core Idea

SPAR 的核心思想是：把不同视觉域下的观测全部锚定到同一个 clean binary latent state，然后在这个固定 latent MDP 上规划。具体地，clean encoder/world model/heuristic 先学好；之后遇到新视觉变换时，只训练一个 alignment network，从 transformed image 直接预测 clean encoder 的 rounded latent code。推理时再对 alignment 输出 rounding，尽量恢复完全相同的 binary state。

这个设计引入的关键 inductive bias 是：视觉变化只影响 observation channel，不影响 transition topology。于是 adaptation 不再需要改变 transition model，也不需要重估 heuristic value；它只需要完成一个 code recovery 问题。相比 image-to-image denoising 或 continuous feature alignment，binary latent alignment 对小误差有天然容错区间：只要每个 bit 的预测落在 0.5 的正确一侧，planner 看到的就是完全正确的状态。

本质区别在于 SPAR 没有试图让 world model 变得 robust，而是让 world model 永远活在 clean canonical MDP 中；robustness 被外包给一个入口 adapter。这个信息流重组比模块本身更重要。

Method

1. Clean discrete latent world model：作用是建立一个可长期 rollout、可 exact re-identify 的规划坐标系。它解决的不是视觉鲁棒性，而是 planning stability。没有这个离散状态空间，alignment 的输出误差会直接进入 transition，并随 rollout 累积。

2. Goal-conditioned heuristic over latent states：作用是让 search 在组合状态空间中可行。它继承 DeepCubeAI 的设定，本身不是 SPAR 的新贡献；但固定 heuristic 是本文 efficiency claim 的必要条件，因为新视觉域不需要重新做 expensive heuristic learning。

3. Alignment network：作用是把 noisy/transformed observation 映射到 clean latent code。它解决的是入口 domain shift，而不是 dynamics shift。训练监督来自 paired transformed-clean states，目标是 encoder 的 rounded binary code。

4. Rounding at inference：这是机制上的关键步骤。alignment network 输出是连续值，但 planner 只接收 binary code。rounding 把近似回归变成离散投影，只要误差没跨 bit boundary，就不会影响 search。这个步骤也是连续 latent baseline 失败的主要对照点。

5. Fixed latent-space Q* search：search 本身基本沿用既有工作。它的作用是验证 alignment 是否真的恢复了可规划状态，而不是仅仅 reconstruction 好看。

Key Insight / Why It Works

最核心的 insight 是：在长 horizon search 中，表示的“可重识别性”比表示的连续平滑性更重要。连续 latent 往往在单步预测上看似合理，但 search 需要的是同一个状态在不同路径、不同观测扰动、不同时间步后能被判定为同一个对象。binary code + rounding 提供了一个 error-correcting bottleneck：局部数值误差不会改变符号状态。

SPAR 有效的真正原因不是 alignment network 架构强，而是它把任务分解成两个相对稳定的问题：clean latent dynamics 学 task topology，adapter 学 nuisance-invariant observation-to-state mapping。前者可复用，后者可快速替换。这个 separation of concerns 是主要贡献。

最可能是核心贡献的部分：离散 latent code 作为 canonical planning interface，并在视觉变换后通过 supervised alignment 恢复该 interface。最可能只是辅助的部分：具体 CNN/ResNet alignment 架构、decoder reconstruction visualization、Q* implementation、训练 scheduler 等。它们支撑实验，但不是新思想。

这本质上是 representation alignment + latent structure reuse，不是更强 reasoning，也不是新的 planning algorithm。planning 能力主要来自 DeepCubeAI 已学好的 latent transition graph 和 heuristic；SPAR 解决的是如何在视觉域变化后继续使用这个 graph。也可以说，它把 adaptation 从 model-based RL 问题降维成 supervised code recovery 问题。

需要警惕的是，性能很可能高度依赖 paired augmentation 的覆盖。若测试变换落在训练 augmentation family 内，alignment 学到的是强监督 domain inverse；这不是开放式 OOD 泛化。真实世界结果只有少量 Rubik’s Cube 图像，不能证明 sim-to-real robust planning，只能说明该 adapter 在某些实拍条件下没有完全崩。

Relation To Prior Work

最接近的是 DeepCubeAI：SPAR 几乎直接继承其离散 world model、goal-conditioned heuristic 和 Q* search。真正新增的是在 clean latent planning stack 前加一个 domain-specific alignment adapter，并把 adapter 输出也离散化。因此它应被看作 DeepCubeAI 的 robustness/adaptation extension，而不是独立的新 MBRL planning framework。

与 LatPlan/PPGS 等 pixel-to-planning 工作相比，SPAR 的差异在于它不重新构造 planner graph，也不依赖连续 latent threshold 做 state matching；它利用已经可 exact matching 的 binary latent space。与 Dreamer/MuZero 类 latent dynamics 相比，它关注的是 explicit test-time search 到任意 goal state，而不是 policy improvement 或 value-guided control。

与 domain randomization、RCAN、DARLA、ILA、test-time adaptation 的关系更微妙：SPAR 复用了“把目标域观测对齐到源域表示”的思想，但目标表示不是 generic feature 或 canonical image，而是可被 symbolic-like planner 使用的 discrete state code。这是实质差异。

看似新的部分有不少是已有思想重组：adapter、canonicalization、discrete bottleneck、rounding、latent planning 都不是新概念。实质创新在于把这些组织成一个面向 long-horizon heuristic search 的接口约束：alignment 的终点必须是 exact-plannable binary state，而不是视觉上相似或 feature 上接近。

Dataset / Evaluation

评估覆盖 Rubik’s Cube 和 Sokoban 两类 deterministic、fully observable、discrete action pathfinding domain。视觉变换种类很多，包括光照、背景、颜色、相机、模糊、噪声、遮挡等；Rubik’s Cube 还有少量真实图像。这个设置基本能验证论文的核心工程 claim：当 underlying MDP 不变且 visual nuisance 可由 paired augmentation 模拟时，训练 adapter 比重训 world model/heuristic 更高效，并且离散 latent 比连续 latent 更稳定。

但 evaluation 的边界也很明显。第一，任务仍是低维组合 puzzle，动作离散、状态完全可观测、transition deterministic；这与 embodied AI 中常见的 partial observability、连续控制、多物体交互差距很大。第二，alignment 使用 paired noisy-clean 数据，这在仿真中自然成立，在真实部署中往往是 hidden supervision。第三，真实世界实验规模太小，更像 qualitative sanity check，不能支撑广义 sim-to-real claim。

实验确实支持“离散 latent alignment 对长 rollout 更稳”这一点，连续 baseline 的 degradation 也符合预期。但它没有充分排除一个解释：大部分增益来自 augmentation family 覆盖测试分布，而不是方法具备强 OOD abstraction。

Limitation

最大限制是前提强：必须存在一个 clean canonical MDP，并且所有视觉变换都不改变任务相关状态。只要变换删除或混淆了任务结构，例如严重遮挡、几何畸变导致状态不可辨识，rounding 会把不确定观测硬投影到某个 binary code，错误会变得离散且高后果。

第二，paired data 是方法的实际瓶颈。论文把重训 world model/heuristic 的成本转移成训练 alignment network，但 alignment 需要 transformed observation 与 clean state 的对应关系。仿真中这很容易，真实机器人中未必能拿到。没有 paired data 时，如何保证 target-domain observation 对齐到正确 clean code，文中未充分说明。

第三，scalability 上限取决于 clean latent code 的表达能力和 collision 情况。对于 Rubik’s Cube/Sokoban，binary latent 可以近似一个符号状态；但对连续物理状态、多对象遮挡、可变拓扑场景，离散 code 可能需要巨大容量，或者无法保持 transition determinism。

第四，泛化可能主要来自数据覆盖。论文中大量 augmentation 是手工设计并与测试变换同族；如果 benchmark overlap 较强，adapter 学到的可能是 domain-specific inverse transform，而不是 general invariant representation。

第五，planner 的推理能力不要高估。SPAR 没有让模型学会新的长期因果结构；长期规划能力来自已经训练好的 clean latent search stack。它解决的是如何把新视觉输入接回旧 planner，而不是形成更通用的 world model reasoning。

Takeaway

• 1. 对 long-horizon planning，representation interface 的离散可重识别性比连续 latent 的局部精度更关键；如果 downstream 是 search，latent 设计应优先服务 equality、deduplication 和 stable transition。
• 2. Robust MBRL 不一定要让 world model 吃下所有 domain variation。
• 更可扩展的模式可能是：task dynamics/heuristic 固定在 canonical state space，perception adapter 针对新域快速校准。
• 3. SPAR 最值得迁移的 insight 是“adapter 输出 planner-consumable state”，而不是输出视觉上 clean 的图像或 generic feature。

一句话总结

SPAR 是 DeepCubeAI 式离散 latent heuristic planning 的视觉域适配版，其真正贡献是把 observation shift 压缩为 supervised binary code alignment，从而复用固定 clean world model/heuristic，而不是提出新的 planning 或 world-model learning 范式。