精读笔记

Problem Setting

这篇论文把 neural world-model MPC 中一个通常被当作 engineering knob 的问题独立出来：replanning cadence。标准做法每个 environment step 都重新调用 MPC，以避免 rollout error 累积，但代价是大量 world-model query；尤其在大模型 world model 或采样式 planner 上，planner-side compute 会成为部署瓶颈。简单复用旧计划看似直接，但真正困难在于 stale plan 的风险高度非均匀：同样复用 5 步，在低敏感自由运动段可能安全，在接触、铰链、强非线性区域可能立即失效。以前固定步长或固定阈值方法卡在全局参数无法表达局部动力学和模型误差变化。本文的关键矛盾是：如何在不牺牲闭环纠错能力的前提下，把不必要的 replanning 从控制循环中删掉。

Motivation

已有路线主要优化 world model、representation、planning objective 或 solver speed，但默认控制循环仍然每步重规划；这没有回答部署时最直接的问题：什么时候 planner call 是必要的。固定-step reuse 缺少状态反馈，固定-threshold reuse 有反馈但阈值不随局部动力学改变，因此都无法解释为什么同一任务不同阶段需要不同 cadence。作者真正抓住的缺口是 stale-plan penalty 的结构：它不是单一误差项，而是 tolerated deviation、cached rollout 下累积 mismatch、以及 local sensitivity 的乘积式耦合。这个观察使得 replanning 可以从 heuristic schedule 转成 mismatch- and sensitivity-aware 的事件触发问题。

Core Idea

AdaReP 的核心思想是把 cached plan 的可复用性视为一个在线可靠性变量，而不是固定时间预算。每次规划后，系统沿着 cached trajectory 执行；如果真实执行在 monitored representation 中仍接近预测 rollout，并且局部动力学不敏感，就继续复用；一旦 deviation 或 sensitivity 上升，就收缩阈值并触发重规划。

本质区别在于它引入了一个 deployment-time inductive bias：模型误差的危险性取决于局部放大率。相比 fixed-step，它增加了对实际 drift 的闭环感知；相比 fixed-threshold，它进一步把“同样大小的 drift 在不同动力学区域风险不同”编码进 trigger。它没有改变 world model 的表征能力，也没有让 planner 更聪明，而是重新组织了 test-time compute：把 planner query 分配给 cached plan 最不可靠的时刻。

Method

方法上最关键的是三层机制。第一，plan suffix reuse：每次 MPC 仍生成 horizon-k trajectory，但后续步骤优先执行缓存动作，这直接减少 world-model query；它解决的是每步重规划的冗余 compute，而不是模型误差本身。第二，deviation trigger：用真实状态/feature 与 cached predicted state/feature 的距离作为 stale signal；它解决 fixed-step 对 drift 盲目的问题，使复用至少受执行反馈约束。第三，sensitivity-conditioned threshold：用有限差分的 feature movement / action magnitude 作为局部敏感度 proxy，并通过 exponential form 让阈值随 deviation 和 sensitivity 增大而收缩；它解决 fixed-threshold 对局部误差放大无感的问题。

理论部分提供的是结构性 justification：固定步长的 regret penalty 随 reuse length 和 cumulative sensitivity 放大，固定阈值会产生 epsilon E 与 epsilon^2 T 项，而 adaptive threshold 可把 sensitivity-amplified tolerance terms 控制在由 epsilon0、alpha_delta、alpha_L 决定的上界内。需要注意，实际算法中的 L_hat 和 d 并不等同于理论中的 L_t 和 stale mismatch s_t，二者之间靠 monitor dominance 假设连接。

Key Insight / Why It Works

这篇最有价值的 insight 是：replanning frequency 应该由“预测是否还对齐”与“错一点会不会被动力学放大”共同决定，而不是由 wall-clock step 或全局误差阈值决定。方法有效的主要原因不是更强规划，也不是更好模型，而是 memory reuse + test-time compute allocation：把昂贵的 MPC call 从低风险区域挪走，在高风险区域保留闭环纠错。

核心贡献应归因于 sensitivity-aware trigger，而不是缓存复用本身；缓存复用和 event-triggered control 都是已有思想，真正迁移到 neural world-model MPC 的新意在于用 representation-space deviation 和 deployment-time sensitivity proxy 构造一个 backbone-agnostic wrapper。指数阈值的理论解释是合理的：它把 L_t^2 epsilon_t^2 和 L_t^2 epsilon_t s_t 这类放大项压成可控项。但这部分也有明显理想化：实际 L_hat 很可能同时混入动作尺度、feature metric、速度和接触模式，不一定是 local Lipschitz sensitivity 的一致估计。

实验收益很可能部分来自 baseline 的每步重规划过于保守；在许多 MPC 系统中，相邻 step 的最优计划本来高度相似，因此 suffix reuse 有天然冗余可挖。AdaReP 的价值在于它比 fixed reuse 更少踩雷，而不是发现了新的长期 reasoning 能力。这里没有证据表明 planner 形成了更强长期状态建模；它更像是对已有闭环 MPC 的 compute gating。

Relation To Prior Work

它最接近三条线：neural world-model MPC、event/self-triggered control、以及 predictive-control regret analysis。相对 PlaNet/Dreamer/TD-MPC/VP2 等，它不改模型、不改训练、不改目标，是一个 execution-time wrapper；因此它不是 world model 方法本身的进步，而是 world-model control 的部署策略进步。相对 classical event-triggered MPC，它继承了“状态相关触发更新”的思想，但把触发信号从已知系统模型下的稳定性条件换成 learned representation 中的 rollout discrepancy。相对 perturbation-based regret work，它不是提出新的 regret machinery，而是把已有分析重写到 cached-plan reuse 场景，并从 bound 中抽出可部署的 trigger 形式。

看似新的部分中，plan reuse、threshold trigger、local sensitivity 都有前史；实质创新是把三者合成一个适配 neural MPC 的统一 cadence controller，并展示它跨 image latent state 三种规划空间可用。真正新增的信息不是某个模块，而是一个判断：在 neural world-model MPC 中，replanning cadence 是可学习/可适配的控制变量，而不是固定 solver setting。

Dataset / Evaluation

评估覆盖面相对完整：image-space RoboDesk/VP2 检查视觉预测 planner，TD-MPC2 on DMC 检查 latent-space continuous control，Franka 真机检查低维 state-based robotics deployment。这个组合基本支持作者关于 wrapper generality 的 claim：同一类 trigger 可以套在不同 planning representation 上，并减少 planner-side query。

更强的证据来自分析实验：扰动增大时 replanning 变频繁，door hinge 附近 sensitivity 上升时复用缩短，视觉 corruption 会削弱 NFE gain。这些现象比总分数字更能支持核心机制。不过 evaluation 仍有边界：真实世界只有 50 trials，统计功效有限；matched-performance protocol 可能隐藏了调参成本；NFE reduction 是否等价于端到端部署收益取决于 world-model query 是否真是主瓶颈。实验验证的是 compute-performance trade-off，不是严格证明 adaptive rule 比更强 uncertainty estimator 或 learned trigger 更优。

Limitation

最重要限制是 monitor quality。理论需要 d_t 能下界或至少追踪 stale mismatch，L_hat 能反映 local sensitivity；但在高维视觉或 latent space 中，feature distance 未必与控制相关误差对齐。论文也显示视觉噪声和 blur 会导致误触发，说明方法把一部分问题从 planner 转移到了 representation robustness。若 feature metric 不稳定，AdaReP 会变成保守重规划器；若 feature metric 对关键误差不敏感，则可能危险复用。

第二，理论假设偏强：局部 perturbation bound、small-error tube、Lipschitz dynamics、monitor dominance 都是事后解释性质，真实 neural world model 部署中很难验证。第三，增益归因不完全清楚：相比每步重规划的收益可能主要来自去除冗余 planner calls，而不是 adaptive threshold 的全部贡献；需要更强 ablation 来隔离 deviation-only、sensitivity-only、uncertainty-based trigger。第四，它没有解决模型系统性偏差、OOD dynamics 或长期任务分解问题；当 cached rollout 在 feature space 看起来接近但任务语义已经偏离时，方法可能不会及时触发。

Takeaway

• 第一，world-model MPC 的 deployment-time compute allocation 是一个值得单独研究的问题，不应默认每步重规划。
• 第二，plan reuse 是否安全取决于 mismatch 与 local sensitivity 的耦合，这个 insight 可迁移到 diffusion planning、latent action planning、robot policy rollout reuse 等场景。
• 第三，representation-space monitor 是这类方法的瓶颈；未来更值得做的是 calibrated task-aware discrepancy、uncertainty/sensitivity estimation，而不是继续手调 threshold。
• 第四，AdaReP 推动的是“adaptive test-time compute for control”这条线，而不是 world model 表征或长期推理能力本身。

一句话总结

AdaReP 是一个面向 neural world-model MPC 的 adaptive test-time compute gating 方法，它把 replanning cadence 从固定工程参数提升为由 rollout deviation 和局部敏感度共同驱动的在线控制变量。