精读笔记

Problem Setting

这篇论文实际处理的是 TVMDP 中的资源受限适应问题：机器人面对缓慢或突发漂移的 transition kernel，但不能每一步都观测真实状态、更新模型、重规划。它关心的不是“如何在非平稳 MDP 中学习一个好策略”这一传统问题，而是“在给定 B 次 update 的情况下，哪些时刻值得花掉 update”。

真正困难点有两个。第一，update 的收益不是 drift magnitude 的单调函数；漂移大但不影响当前 task-relevant action 时，更新可能浪费。第二，skip 期间同时出现三种 staleness：模型 stale、policy stale、state estimate stale，它们会耦合地影响 regret。以前方法大多默认每步能观测和重算，因此把这个问题隐藏掉了；周期调度和 drift-threshold 又太粗，只解决“什么时候变化大”，不解决“什么时候变化有决策价值”。

这篇的关键矛盾是 adaptation quality 和 update budget 之间的时序分配，而不是单步计算复杂度。它把机器人部署里的 sensing/compute/energy constraint 显式变成 MDP execution semantics 的一部分。

Motivation

已有 TVMDP / non-stationary RL 主要有两条路线：已知或可预测 dynamics 时专注 planning；未知 dynamics 时通过 sliding window、restart、confidence widening 或 drift-constrained MLE 跟踪变化。但这些路线隐含假设是每一步都有状态观测和 policy recomputation，这在机器人上通常不成立。

作者的核心观察是：如果不能每步更新，那么最重要的信息不再是当前模型误差本身，而是“继续跳过一次更新会让 regret 增长多少”。这要求把 update scheduling 和 regret analysis 绑定起来，而不是在 learning/planning 外面套一个 periodic 或 threshold heuristic。

关键缺口在于：已有 drift-aware scheduler 多数只追踪 transition change，没有把 remaining horizon、value sensitivity、policy reuse、state estimate propagation 放到同一个准则里。论文试图填的就是这个缺口：给 skip interval 的 regret 增长一个可操作的上界，并从中抽取在线触发规则。

Core Idea

论文的核心思想是把 replanning 看成一种稀缺资源，而不是默认每步发生的背景操作。执行过程被改写为 skip-update scheme：在 update time 用观测到的 transition 更新模型并规划；在 skip time 不看真实状态、不重估模型、不重规划，而是复用上次 policy，并用 stale kernel 传播内部 MAP state。

这个建模改变很关键：它使“少更新”造成的损失可以被拆开分析。update-time regret 主要来自模型估计误差和有限 planning horizon；skip-time regret 则额外来自 dynamics drift、剩余 horizon contraction residual，以及 propagated state 与真实 state 的错配。调度器的 inductive bias 是：更新应该被放在 regret 上界增长快的地方，而不是放在时间均匀或 drift 最大的地方。

和 prior 的本质区别不在 MLE 或 DP，而在信息流：prior 通常每步闭环刷新 state/model/policy；这里故意让 policy 和 state estimate stale，并分析 stale execution 的代价。这个视角更接近 resource-aware control / event-triggered planning，但放进了 TVMDP regret 框架。

Method

方法可以压缩成四个机制。

1. Drift-constrained MLE：解决稀疏 update 下 transition 观测不足的问题。它利用已知 drift bound 约束相邻估计 kernel 的变化，从而把少量 update observations 连接成时间序列估计。必要性在于，如果完全只用最近一次样本，估计会极不稳定；如果简单累积历史，又会忽略非平稳性。

2. Finite-horizon replanning with stale kernel：每次 update 后只规划一个有限 horizon，然后复用 policy。它解决 onboard planning budget 问题，但也引入 truncation error。论文把该误差写成 mixing contraction 下的 residual，而不是把有限 horizon 当实现细节。

3. Propagated-MAP skip execution：skip 时不观测真实 state，而用上次模型传播一个点估计。这是机器人资源约束最实质的部分，因为它把 sensing budget 和 planning budget 绑定起来。代价是 state mismatch 项较粗，且 MAP 表示会丢失不确定性。

4. Regret-guided update score：从 theorem 中抽取 residual-horizon term、immediate drift term、accumulated drift term，经过 log scaling 和权重组合，超过阈值则 update；再用 pacing 约束保证 exact budget。它解决的是 online allocation，而不是最优调度求解。这个 score 是 bound-inspired heuristic，不是 theorem 直接给出的最优策略。

Key Insight / Why It Works

最重要的 insight 是：update 的价值应当由“stale execution 的边际 regret”定义，而不是由 elapsed time 或 raw drift 定义。这个判断在机器人 TVMDP 中很自然但常被忽略：transition 变化只有在影响当前 policy 所诱导的 trajectory 和未来 value 时才值得花资源。

理论上，方法成立依赖 span seminorm contraction。uniform finite-time mixing 使不同 policy/trajectory 诱导的 value discrepancy 每 m 步按 alpha 收缩，因此模型误差和漂移误差不会无限制传播，而是以几何加权方式累积。这给了 score 的形状：近期、任务相关、长剩余 horizon 的 drift 更重要；末端 drift 即使大，也因 remaining horizon 短而价值有限。

最可能的核心贡献是 skip-interval regret decomposition。update-time bound 基本沿用已有 predictive/TVMDP regret 分析思路；MLE 也是已有 drift-constrained learning 的变体；真正新增的是把 stale policy + propagated state estimate 下的 regret 写成可调度信号。

哪部分可能只是 engineering：score 的具体 log transform、weights、threshold、pacing rule、Gap/Drift/Gap+Drift variants 都更像工程化的 bound proxy。实验中 D、alpha、m 并未解析估计，而是通过 validation 调参吸收，这说明理论项到实际 trigger 的映射并不干净。性能增益很可能来自一个合理的 event-triggered heuristic 加上 validation-tuned thresholds，而不是严格意义上的 regret-optimal scheduling。

这不是 scaling，不是 retrieval，也不是数据覆盖驱动；它更像 better inductive bias + test-time resource allocation。它把有限 test-time compute/sensing 分配到 regret proxy 高的位置。若 drift profile 已知且局部化，这个 bias 很强；若 drift bound 保守或 profile 错，优势可能迅速消失。

Relation To Prior Work

它最接近三类工作。第一是 TVMDP planning with known/forecast dynamics，例如 spatial-temporal value propagation、MPC/finite-lookahead regret；这些工作关心如何在变化模型下规划，但通常不限制每步更新。第二是 non-stationary RL with unknown transitions，例如 sliding window、restart、confidence widening、drift-constrained MLE；这些处理 drift tracking，但默认频繁观测/更新。第三是 intermittent policy update / pausing RL；但该论文强调利用 bounded temporal variation 做估计，并用 regret bound 派生 schedule。

看似新的部分里，constrained MLE 不是新思想，finite-horizon planning 也不是新思想，event-triggered update 更不是新控制思想。实质创新是把这些重组到 TVMDP budgeted-update setting，并给出 skip interval 下 stale execution 的 regret decomposition。它属于 resource-aware sequential decision making 与 non-stationary MDP learning 的交叉谱系。

与纯 drift-threshold 的本质差异是目标函数不同：drift-threshold 追模型变化，本文追 regret contribution。与 periodic 的差异是利用 temporal heterogeneity。与 optimistic non-stationary RL 的差异是把 update 频率本身作为资源约束，而不是默认每步可重新计算。

Dataset / Evaluation

评估覆盖两个层级：受控 Mars-rover gridworld 仿真和 Crazyflie 室内导航真机。仿真适合验证 scheduling，因为 drift profile 可控、update budget 可精确固定、oracle regret 可估。真机实验提供一定 deployment 证据，尤其在 obstacle density 增加时，stale plan 更容易造成碰撞或低效，因此 adaptive scheduling 的优势更可见。

不过 evaluation 支持的是一个相对具体的 claim：在离散化导航、已知或可用 drift signal、预算固定且漂移局部化的场景中，regret-guided scheduling 优于若干 budgeted baselines。它没有充分验证未知 transition learning 的完整难度，因为仿真实现中 update-time model 由 known transition generator 实例化，用于隔离 scheduling effect。这是合理实验设计，但也意味着论文标题中的 unknown kernel learning 在实验上被弱化了。

baseline 设置总体较强，包括 periodic best-offset、drift-threshold、自触发 forecast、lazy value-weighted drift。比较有价值的是 adaptive 并非 high-drift precision 最高却 regret 最低，说明它不只是 drift peak detector。但 score family 和阈值通过 validation 选择，增益中有多少来自理论结构、多少来自调参，文中未充分说明。

Limitation

核心前提很重。已知 drift bound 是最关键的；如果 epsilon_t 过保守，score 会被错误驱动，可能退化到不如 periodic。更现实的问题是 drift 往往 state/action dependent，而论文主要使用 state-independent worst-case bound，这会让 score 过于保守，尤其在大状态空间中。

uniform finite-time mixing 假设也很强。很多机器人导航任务在障碍、窄通道、不可逆动力学或安全约束下并不满足良好 mixing。该假设保证 span contraction，但也可能掩盖了长时间错误状态估计导致的不可恢复损失。

MAP state propagation 是明显上限。它把 partial observability 压成点估计，state uncertainty 不进入调度决策。实际 skip 期间最该触发 update 的信号可能正是不确定性膨胀，而不是仅仅 drift 累积。论文承认 belief-state 扩展困难，但这其实是部署中的核心问题。

理论到算法之间有断层。Theorem 给的是 worst-case upper bound，实际 score 用 normalized proxies，D/alpha/m 通过 validation 吸收。严格说，adaptive rule 是 regret-inspired，不是 regret-minimizing。文中未充分说明该 heuristic 对超参数的敏感性，也没有给出在 drift bound misspecification 下的退化曲线。

scalability 上限也明显：有限离散 TVMDP、DP planning、kernel-level drift mismatch 都不适合高维连续机器人系统。真机实验通过离散 grid abstraction 和 offboard planner 绕开了这一点。因此该方法更像高层任务规划调度框架，而不是可直接扩展到复杂连续控制的完整方案。

Takeaway

• 1. 最值得迁移的不是具体 score，而是“用 skip-induced regret growth 定义 update value”。
• 这个思想可用于 sensing scheduling、belief update scheduling、MPC replanning trigger、通信受限多机器人系统。
• 2. 在非平稳环境中，raw drift 不是好的 update objective；需要经过 value / policy / horizon 过滤。
• 本文的实验诊断很好地说明了这一点。

一句话总结

这篇论文把 TVMDP 中默认免费的每步观测与重规划改造成受预算约束的事件触发问题，并用 skip-interval regret decomposition 给出一个任务相关的 adaptive update scheduler，实质贡献在建模和调度归因而非新的学习或规划算法。