精读笔记

Problem Setting

[Horizon Adaptive Offline Policy Learning via Value Stitching]（arXiv preprint / 2026）

这篇论文实际处理的是 offline RL 中 value learning 的时间尺度错配问题。长时程任务里，1-step TD 的问题不是表达力不足这么简单，而是它把远期 credit assignment 压缩成多次局部 bootstrap，误差会沿 horizon 累积；n-step 和 Q-chunking 虽然缓解 bootstrap 频率，但把所有状态强行放到同一个固定 horizon 上估值，导致局部关键决策信号被长片段平均掉。

真正困难点在于 offline setting 下不能主动探索，也不能随意验证一个 imagined sub-goal 是否可达。方法必须同时满足三件事：value target 要更长、更稳定；backup horizon 要随状态变化；policy extraction 仍要停留在数据支持内。这个矛盾是 VAST 的切入点：不是单纯延长 backup，而是让 backup 的终点和长度变成可选择的、由数据支撑的对象。

Motivation

已有路线缺的不是更长 horizon，而是可变 horizon。n-step / chunking 把“长时程监督”做成固定窗口，这在单阶段任务可能有效，但在多阶段任务里会混淆不同 temporal granularity：某些状态需要看很远的目标，某些状态只需要保留一步内的关键 reward 差异。

作者的核心观察是 offline 数据中往往存在可复用的局部成功片段，即使完整最优轨迹不存在，也可能通过不同轨迹片段的 value-level stitching 形成更好的决策方向。因此缺口不是 option discovery 的完整层级结构，而是一个轻量机制：能评价任意可达 state pair 之间的 k-step return，并把这种 pairwise return 用作 adaptive Bellman target。

Core Idea

VAST 的本质是把 Bellman backup 的基本单位从“单步 transition / 固定长度 trajectory chunk”替换为“带 horizon 的可达 state-pair edge”。G(s,s+,k) 估计从 s 到 s+、长度为 k 的累计回报；stitching policy 再选择哪个 future state 和哪个 horizon 最值得作为当前 V(s) 的 backup anchor。于是 value learning 不再被固定 n 绑住，而是在数据支持的 future-state graph 上做 variable-length dynamic programming。

这个建模方式引入的 inductive bias 很明确：长时程任务可以被看成多个可行动子目标之间的 return edge composition，而有效时间尺度是 state-dependent 的。它和 prior 的本质区别不是用了 diffusion，也不是用了 expectile，而是把“未来状态选择”纳入 value target 构造，让 policy improvement 的信息流从 reward sequence 转向 sub-goal anchored return。

Method

方法层面最必要的是 G 函数。它解决的是固定 horizon 下不能比较不同 future anchor 的问题；只要能估计 G(s,s_k,k)，就可以把不同 k 的未来状态放到同一 value target 里比较。MC objective 给它直接监督，composition objective 则让它在不同切分方式下保持一致，后者更像 temporal metric / edge-cost regularization。

stitching Bellman operator 解决的是如何把 G 接入 value iteration：V(s) 不再只看一步或固定 n 步，而是看 G(s,s_k,k)+γ^kV(s_k) 的高 expectile target。这里 expectile 是 practical relaxation，用来避免连续空间里硬 max 的不稳定。

stitching policy 解决的是 max over future states 不可枚举的问题。它不是传统 high-level planner，而是一个 advantage-weighted future-state generator，在数据分布附近采样可能高价值的 horizon-subgoal pair。

execute policy 负责把选出的 sub-goal 转成动作，主要通过 goal-conditioned BC 和 Q-based rejection sampling完成。它是必要接口，但更像 policy extraction / test-time compute，而不是核心 value innovation。

Key Insight / Why It Works

最可能有效的核心不是“层级 RL”，而是把 offline 数据当成一个隐式 future-state memory，并在这个 memory 上学习可加的 return edge。G 函数提供 edge weight，stitching policy 做 value-biased retrieval，V/Q 提供 continuation value 和 action selection。这个组合非常适合 OGBench 这类 play / scripted data：数据里有大量局部可达片段，任务成功往往需要把片段按正确顺序串起来。

它的收益来源可以拆开看：G 是 better inductive bias；π_stitch 是 retrieval / generative indexing；composition loss 是 representation alignment；rejection sampling 是 test-time compute；更大的网络数量和训练成本则是 scaling。论文的贡献主要在前两者，即 horizon-conditioned edge value + value-ranked future anchor。后两者对成绩有帮助，但更像工程增强。

需要直说的是，所谓 “stitching” 不一定意味着模型真的学会了长期规划。很多情况下它更像在数据 manifold 上找一个看起来高价值的未来状态，再用 goal-conditioned BC 朝它走。这是强 offline RL 策略，但其 planning 成分可能被高估。若 benchmark 中训练轨迹和评估目标有较强结构重叠，VAST 的优势可能部分来自 implicit memorization / retrieval，而不是 out-of-distribution generalization。

另一方面，这种 retrieval 式机制本身并不是缺点。offline RL 的现实问题恰恰是不能探索，能把数据中已有片段更好地重组就是有效能力。VAST 的 insight 在于：与其让 critic 在 action space 中外推，不如让 value supervision 在 state-pair space 中组合。

Relation To Prior Work

最接近的谱系是 IQL-style in-sample value learning、n-step / Q-chunking、goal-conditioned hierarchical offline RL，以及 option/SMDP backup。VAST 看似像 option，但没有显式学习 option initiation/termination/intra-option policy；它更像把 option 的 termination state 和 duration 变成一个由数据监督的 future-state generator。

相对 n-step，差异是 horizon 从全局超参数变成 state-conditioned choice。相对 Q-chunking，差异是 abstraction 发生在 state/sub-goal level，而不是 action-sequence level，因此避免了 chunk action space 膨胀，但把难点转移到 future-state generation 和 reachability 上。相对 HIQL / goal-conditioned HRL，VAST 更强调 value target construction，而不是单纯两层 policy decomposition。

看似新的部分中，AWR、expectile、flow/diffusion policy、rejection sampling 都是已有组件重组；实质创新是 G(s,s+,k) 作为 horizon-conditioned cumulative return，以及用它构造 adaptive stitching Bellman target。这是对 value backup operator 的改造，而不是单纯 policy architecture 改造。

Dataset / Evaluation

实验主要在 OGBench state-based offline RL 上，覆盖 manipulation、puzzle、antmaze 等 50 个任务，Basic 和 Hard 设置能一定程度检验长时程、多阶段、组合决策能力。Hard 任务上的提升最能支持论文 claim，因为这些任务恰好需要从 play data 中重用阶段性行为片段。

但 evaluation 仍有明显边界。没有真实机器人或真实世界部署；没有充分展示跨数据分布、跨动力学、跨任务组合的泛化；也没有非常干净地隔离参数量、训练时间、test-time rejection sampling 对结果的贡献。OGBench 能验证“在这类离线数据覆盖较好的模拟长时程任务上 adaptive horizon value target 有用”，但不能证明该方法具备稳健的开放式 planning 或强 OOD generalization。

Limitation

第一，核心能力可能主要来自数据覆盖。VAST 只能 stitch 数据中存在或模型能可靠生成的 reachable sub-goal；如果缺少关键连接片段，G 和 π_stitch 都无法凭空创造新策略。

第二，reasoning 可能是假象。stitching policy 生成 phased sub-goals 看起来像规划，但机制上更接近 value-conditioned retrieval。它是否学习了可迁移的长期结构，文中未充分说明。

第三，方法把固定 horizon 的问题转移成 future-state selection 和 G-function generalization 问题。连续状态下 s_k 可能落在数据 manifold 附近但不可由当前 low-level policy 稳定达到；这种 mismatch 只靠 BC prior 和 rejection sampling 缓解，理论保证不足。

第四，增益归因不清。VAST 同时增加 G network、两个 flow policies、更复杂 target、rejection sampling 和更多计算。虽然消融有帮助，但还不足以排除相当一部分收益来自 scaling / test-time compute / stronger generative modeling。

第五，K 是上限也是瓶颈。K 太小退化为局部方法，K 太大 G 的监督和泛化更难；这说明 adaptive horizon 并没有消除 horizon 设计问题，只是把它从固定 n 变成一个搜索/建模范围。

Takeaway

• 1. 长时程 offline RL 的关键不一定是更长 backup，而是 backup horizon 要由状态和数据结构决定；固定 n 很可能是错误 inductive bias。
• 2. 把 offline trajectories 看成 future-state graph，并学习 state-pair return edge，是一个值得迁移的建模方式；它可能比 action-level chunking 更适合复杂操作任务。
• 3. VAST 的价值在于把 retrieval、value learning、goal-conditioned execution 对齐到同一个 sub-goal anchored representation；未来更重要的问题是如何验证这种 representation 是否真的可泛化。
• 4. 后续方向不应只堆 diffusion/flow，而应研究 reachability calibration、OOD sub-goal detection、跨任务 G-function transfer，以及在真实机器人数据中 stitching 是否仍可靠。

一句话总结

VAST 是一类从固定时程 value backup 走向数据支撑的 variable-horizon future-state stitching 的 offline RL 方法，真正贡献在于把长时程 credit assignment 重写为可组合 state-pair return retrieval，而不是单纯扩大 policy 或 critic。