精读笔记

Problem Setting

这篇论文实际切入的是 chunk-based robot policy 的执行层问题，而不是动作建模问题。现代 diffusion / flow / VLA policy 往往一次预测 H 步动作，但部署时只执行固定数量 h 再重新规划。这个 h 通常被当成 task-specific engineering knob，而不是 policy 的一部分。

真正的难点是 execution horizon 决定了 open-loop 与 closed-loop 的混合比例。长 horizon 会让动作更连贯、减少频繁重采样导致的抖动，也更符合 demonstrations 中的 temporal coherence；但它会把环境反馈延迟 h 步注入，尤其在接触、插入、抓取对齐阶段非常危险。短 horizon 提高反应性，但可能破坏 chunk policy 原本学到的时间结构，使动作变得 myopic 或不稳定。

以前方法卡在两个方向：要么固定 horizon 并调参，要么直接改 action generator，如 RL fine-tune diffusion policy、residual policy、chunk-Q 等。前者忽略任务阶段差异，后者把“动作质量”和“何时重规划”混在一起，导致很难判断失败来自动作本身还是执行节奏。本文的关键矛盾就是：同一个 policy 在不同任务阶段需要不同程度的信任其 open-loop rollout。

Motivation

作者的动机不是再提升 diffusion policy 的表达能力，而是指出 chunking policy 有一个被低估的部署假设：固定 execution horizon。这个假设在长程任务和精细 manipulation 中尤其脆弱，因为任务阶段天然异质：free-space motion 可以长时间开环，contact-rich alignment 必须频繁闭环。

已有路线不够的地方在于，它们通常把 performance bottleneck 归因给 action distribution 不够好，于是去做 policy fine-tuning、residual correction、latent steering 或 uncertainty-based selection。但很多失败可能只是时间尺度不对：base policy 已经生成了一个局部合理的 chunk，只是不应该把后半段也盲目执行。

因此缺的是一个直接从 task return 学习的“chunk 信任长度”估计器，而不是一个基于 cosine similarity、entropy、temporal consistency 的 proxy。DEHP 的动机可以概括为：如果 chunk policy 本身已经有一定能力，那么最便宜、最可解释的改进可能不是改动作，而是改重新规划频率。

Core Idea

核心思想是把 chunk execution 从固定时钟改成 learned event-triggered replanning。base policy 每次仍然输出完整 action chunk；DEHP 观察当前状态和完整 chunk，预测一个离散 horizon h，只执行前 h 步，剩下丢弃。这个设计本质上把“执行多少步”变成高层 policy 的 action，而低层动作序列保持 frozen。

它引入的 inductive bias 是“动作生成”和“动作可信度”解耦。chunk policy 负责 proposing a local trajectory；horizon head 负责判断这条 local trajectory 在当前状态下可 open-loop 信任多远。这个 bias 很适合 manipulation：任务不是始终需要最短闭环，也不是始终需要最长平滑，而是在不同阶段切换控制频率。

和 prior 的本质区别在于，DEHP 不试图通过采样更多 chunks、估计不确定性、比较 chunk 一致性来间接决定动作，而是直接优化 horizon 对最终成功率的影响。它不是 test-time heuristic，而是一个 return-trained temporal abstraction policy。相比 action-level RL，它的搜索空间小得多；相比 fixed horizon，它又保留了状态依赖性，因此 sample efficiency 和可迁移性理论上更好。

Method

方法的关键不是网络结构，而是把 variable horizon 组织成一个 SMDP。每个 chunk boundary 是一次决策点，决策内容不是连续控制动作，而是 h ∈ {1,...,H}。环境在接下来的 h 个 base-MDP steps 中执行 frozen chunk 的前 h 个动作，然后回到下一个 boundary。

冻结 base policy 是必要设计：它让 DEHP 成为一个纯 execution policy，而不是另一个 RL fine-tuning 方法。这带来的核心变化是 credit assignment 更干净——成功率提升主要来自何时重规划，而不是底层动作分布改变。当然，这也意味着方法无法修复 base policy 没有覆盖到的行为。

chunk-level PPO 的作用是让 variable-duration action 可以在标准 discounted objective 下训练。论文证明了只要 chunk 覆盖连续 timestep，按 chunk 累积的 discounted reward 与原始 step-level return 等价。因此 horizon policy 的优化没有改变任务目标，只是改变决策时间尺度。

state-only critic 是一个务实选择。因为 rollout 来自当前 horizon policy，且 base action generator frozen，critic 只需估计从 state 出发在当前联合执行规则下的期望回报。不必学习高维 chunk-action value，避免了 chunked Q-learning 在连续高维动作空间中的估计难题。

conditioning on full predicted chunk 是一个重要但容易被低估的点。horizon policy 不只是看状态阶段，还能看 base policy 这次具体打算怎么走；因此它学的是对当前 proposal 的 trust length，而不是固定 phase schedule。

Key Insight / Why It Works

这篇最重要的 insight 是：chunk policy 的失败不一定来自 action prediction error，而可能来自 execution-time mismatch。固定 horizon 把整个任务强行放在一个控制频率下，等价于假设任务所有阶段的反馈需求相同；这在 manipulation 中明显不成立。DEHP 有效，是因为它把 closed-loop reactivity 当作一种可调资源，在需要时花得更多，在不需要时省下来。

我认为真正的核心贡献是“learned replanning schedule”，不是 PPO、distributional critic 或具体网络头。PPO 只是训练这个 schedule 的工具；distributional critic大概率是稳定训练的辅助工程，不是概念贡献。论文的增益主要来自更好的 inductive bias，而不是 scaling：它没有扩大 base policy，也没有增加 demonstration data，而是重新组织了 deployment-time 信息流。

这也不是 retrieval 或 memory reuse；它更像 learned option termination / adaptive temporal abstraction。每个 predicted chunk 可以看作一个短 option，DEHP 学 option termination time。区别是 option 的 intra-policy 由 frozen BC/diffusion chunk 给出，而 termination policy 用 sparse return 学。这个 framing 对机器人很自然，因为低层动作连贯性来自 BC，高层终止由 task success 校准。

为什么它比 heuristic uncertainty 更稳？因为 uncertainty proxy 未必对应 task risk。高 entropy 可能出现在多模态但都安全的阶段，低 entropy 也可能出现在错误但 confident 的动作上。DEHP 直接用 return 学 horizon，理论上能学到“什么时候长执行会导致失败”，不依赖 proxy 是否 calibrated。

但必须指出，增益并不纯粹来自无监督发现任务阶段。DEHP 使用在线 RL 和 sparse reward，相比 fixed-horizon BC baseline 额外获得了大量交互反馈。因此如果把它和同样在线交互预算下的 residual RL、DPPO、或者 horizon+action joint fine-tuning 比，增益归因会更复杂。本文更准确的结论是：在 frozen action generator 条件下，horizon adaptation 是一个高杠杆、低维度的 RL 改进方向。

Relation To Prior Work

它最接近三条线：action chunking policy、chunk-based RL fine-tuning、variable horizon / action selection。

相对 ACT、Diffusion Policy、VLA chunk policy，DEHP 不改变 chunk prediction 本身，而是挑战固定 execution horizon 这个默认部署假设。它补的是 execution semantics，而不是 representation 或 generative modeling。

相对 DPPO、Q-chunking、Decoupled Q-chunking、DSRL、residual RL，DEHP 的区别是优化变量更小：不更新 action distribution，不在高维 chunk action space 做 value learning，也不学习连续 residual。它把 RL 的自由度压缩到一个离散 horizon。这牺牲了修正错误动作的能力，但换来更稳定的 credit assignment 和更低的在线优化难度。

相对 BID、SGAC、TAS、MoH、AAC、HiPolicy 等 variable execution / temporal selection 方法，DEHP 的实质创新是从 task return 学 explicit horizon policy，而不是依赖采样一致性、entropy、cosine similarity、cross-horizon consensus 等 proxy。很多 prior 的思想也是“不要固定执行长度”，但它们通常是 inference-time selection 或 uncertainty heuristic；DEHP 更像把这个问题正式纳入 SMDP-RL。

看似新的地方里，SMDP 和 option termination 本身不是新思想；新的是把它以很轻量的方式接到 frozen chunk policy 上，并证明在现代 chunk-based robot policies 中这是一个足够强的 bottleneck。实质创新在问题重定义和归因清晰，而不是算法数学复杂度。

Dataset / Evaluation

实验覆盖了两类任务：长程 assembly 和高精度 insertion，且都包含阶段性明显的 manipulation 结构。这正好对应论文 claim：不同阶段需要不同 execution horizon。从这个角度看，benchmark 选择是合理的，因为它们能放大固定 horizon 的缺陷。

结果支持的最强结论是：在 state-based 仿真环境中，对同一个 frozen diffusion policy，加一个 learned horizon head 可以稳定超过 tuned fixed-horizon baseline。尤其是作者展示固定最佳 horizon 会随噪声水平、任务类型和数据规模变化，这很好地说明了固定 horizon 的工程脆弱性。

但 evaluation 的边界也很明显。第一，没有真实世界/真机结果；对于接触-rich manipulation，仿真中 action noise 不等价于真实接触动力学误差。第二，全部主要是 state observation，不是 image-based policy；虽然方法声称 black-box compatible，但视觉延迟、perception noise 和 VLA inference latency 会直接影响 replanning 价值。第三，baseline 主要是 fixed horizon，而不是同等 online RL budget 下的 action residual 或 DPPO 类方法，因此不能证明 DEHP 是在线交互最优用法，只能证明 horizon 是一个重要可优化自由度。

此外，任务数量不算真正多样化。它验证了 phase-structured manipulation 中的 claim，但还不能说明 horizon policy 会跨任务泛化。文中更多是在每个任务上训练 DEHP，而不是训练一个可迁移 horizon controller。

Limitation

最核心限制是 DEHP 只能选择信任已有 chunk 到哪一步，不能改变 chunk 的内容。若 base policy 在某个状态下生成的前几步动作就错误，短 horizon 也救不了；若成功需要离开 demonstration manifold，DEHP 没有探索新动作的能力。因此它是 execution adaptation，不是 policy improvement 的完整替代。

第二，方法依赖在线 RL 交互。论文把 base policy frozen 使得归因更清楚，但并不意味着方法免费。大规模并行仿真可以训练 horizon head；真实机器人上 sparse binary reward + online PPO 的成本会高很多。这个 deployment gap 文中未充分说明。

第三，泛化可能被高估。DEHP 学到的 horizon schedule 可能和任务阶段、状态机式 demonstrations、对象分布强绑定。所谓“根据任务进展自适应”未必意味着形成了可迁移的 temporal reasoning，更可能是学习到状态分布上的 phase classifier + risk estimator。

第四，增益来源仍有混杂。它和 fixed-horizon BC 比较时引入了 task reward 优化；如果对 base policy 做少量 residual RL 或 DPPO，也可能获得类似或更大收益。论文证明了 horizon bottleneck 存在，但没有完全证明 horizon-only 是最优或最 sample-efficient 的改进路径。

第五，horizon 选择可能受到系统延迟和控制频率强约束。真实系统中重新规划不是零成本，diffusion / VLA 推理也可能很慢；如果每一步 replanning 的 wall-clock latency 较大，h=1 未必可行。论文把 inference cost 说得较轻，但在高频控制场景下这是核心问题。

Takeaway

• 1. 对 chunk policy 来说，execution horizon 应该被看作 policy 的一部分，而不是部署超参数。
• 固定 horizon 是一个明显但长期被低估的 bottleneck。
• 2. 一个很有迁移价值的思想是：不要急着 fine-tune 大型 action generator，先学习什么时候信任它、信任多远。
• 这个 trust / termination policy 可能是很多 robot foundation model 部署中的低成本增强层。

一句话总结

DEHP 是把 chunk-based robot policy 的固定执行长度改造成 return-trained option termination policy 的轻量方法，真正贡献在于指出并实证了“何时重新规划”本身就是现代 chunk policy 的关键可学习自由度。