精读笔记

Problem Setting

论文标题：Direction-Conditioned Policies via Compositional Subgoal Scoring for Online Goal-Conditioned Reinforcement Learning（arXiv preprint / 2026）。

这篇论文不是在重新定义 GCRL，也不是提出新的 reward 或 planner，而是在在线 sparse-goal CRL 框架里追问一个更细的问题：critic/representation 已经通过 InfoNCE 学到 reachability geometry，为什么 actor 还要吃 raw goal coordinate？

真正困难点在于 long-horizon online GCRL 的条件变量质量。final goal 往往离当前数据分布很远，早期 ψ(g) 未校准，raw goal coordinate 对 actor 来说又缺少关于可达路径、障碍拓扑和局部控制方向的信息。CRL 的 critic 可以通过 contrastive objective 估计某种 log-reachability，但 actor-conditioning 仍然没有显式利用这个几何结构。

以前方法卡住的地方不是完全没有表示，而是表示和控制接口之间断开：ψ 可能学到“哪里可达、怎么绕墙”的 quasimetric，但 actor 只收到 g 的坐标，需要自己隐式解码出控制方向。这个问题在 manipulation/contact tasks 中更严重，因为持续纠偏比一次性到达更依赖局部方向信号。

关键矛盾是：直接用 final goal 的 embedding direction 在训练早期不可靠；但一直用 raw goal 又浪费了 learned geometry。DCP 的目标就是在在线训练中找到一个可用的中间接口，使 actor 学会响应 ψ-space 的局部方向，同时部署时不需要保留 subgoal machinery。

Motivation

作者的核心动机来自 HJB：在控制仿射系统里，最优动作对 goal 的依赖可以压缩为当前状态处 cost-to-go 的梯度。也就是说，goal-conditioned policy 真正需要的不是 goal observation 本身，而是“往哪个方向降低 goal-reaching distance”。

现有 CRL 的不足在这里很明显：InfoNCE critic 学的是 reachability score，但 actor-conditioning 仍是 raw goal。这个设计让 actor 必须从坐标中自行恢复拓扑方向；在 maze、push、contact 任务里，这个映射既长程又强非线性。更重要的是，远目标在早期数据分布外，直接用 ψ(g)-ψ(s) 也不稳，因为 ψ(g) 还没有被足够的正负样本塑形。

因此缺的不是“再加一个 subgoal planner”，而是一个训练期可校准、部署期可折叠的 conditioning interface：训练时避免依赖未校准 final-goal direction，部署时又不能依赖 waypoint graph 或 pool。DCP 的 subgoal scoring 正是为了解这个缺口，而 direction-conditioning 是真正想保留到部署的抽象。

Core Idea

DCP 的核心思想可以概括为：用 visited subgoal 作为训练期脚手架，让 actor 学会沿 learned representation 的局部方向行动；当 representation 足够好后，部署时直接把 final goal 放到同一个 direction interface 里。

这改变了 GCRL 的建模方式。传统 goal-conditioned actor 学的是 π(a | s, g)，DCP 学的是 π(a | s, d, r)，其中 d 是 ψ-space 中从当前状态指向目标/子目标的单位方向，r 是 latent distance magnitude。也就是说，policy 不再需要记住每个 goal coordinate 对应什么动作，而是学习“给定当前状态和 quasimetric 下降方向，如何产生局部控制”。这是一个更强的 inductive bias：控制应该是局部方向响应，而不是全局目标坐标映射。

和 prior 的本质区别在于，DCP 不在部署时做 landmark graph search，也不显式训练 hierarchical high-level policy。subgoal pool 只是训练期 stabilizer；真正保留下来的是 direction-conditioned low-level actor。这个设计如果成立，scalability 来自两个方面：一是 actor 输入更接近 HJB sufficient statistic；二是训练/部署条件变量被统一到同一个 ψ-space direction，减少 raw subgoal 或 raw goal 的分布错配。

Method

关键机制只有三块。

第一，复用 CRL 的 InfoNCE representation。ψ 不是额外监督学出来的 metric，而是在线 contrastive critic 已有的 goal encoder / state-action encoder。它提供了一个 reachability-aware latent space，使“朝目标方向”可以在表示空间中定义。这里的作用不是提高 critic 本身，而是把 critic 的几何暴露给 actor。

第二，训练期从 visited-state pool 中选 subgoal。scoring 使用 ψ_g(z) 与 ψ_g(g) 的内积，选出与 final goal 在 latent space 中最对齐的已访问状态。这个机制解决的是早期 final-goal embedding 不可靠的问题：z 至少来自 replay/visited distribution，ψ(z) 更可能被 InfoNCE 训练过。它本质上是 retrieval + curriculum，而不是严格规划；文中也没有证明该 scorer 必然返回 on-path waypoint。

第三，actor 不吃 z 的 raw coordinate，而吃 ψ(z)-ψ(s) 的单位方向和距离尺度。这个变化解决的是 SSGC 的 train-test mismatch：训练时 actor 看到 subgoal coordinates，部署时却要面对 final-goal coordinates；DCP 把二者都映射为同一个 direction interface。部署时 pool 被移除，直接用 ψ(g)-ψ(s)。因此 DCP 的部署复杂度与 CRL 接近，没有显式 planner。

需要注意的是，actor loss 中仍依赖 contrastive energy / SAC backbone；论文的干预主要是 actor-conditioning，而不是完整 RL algorithm 的重写。

Key Insight / Why It Works

最可能的核心贡献是 conditioning interface，而不是 subgoal pool 本身。SSGC 已经说明，单纯给 actor 一个可达 subgoal 并不稳定，尤其在 manipulation 中会因为 raw subgoal coordinate 和 final goal coordinate 的分布差异而掉性能。DCP 的关键是把 subgoal 和 final goal 都投影成同一种 ψ-space direction，使训练期 scaffold 能在部署时自然消失。

方法有效的机制更像“representation alignment + local control inductive bias”，而不是真正的 long-horizon planning。ψ 负责把环境拓扑、障碍、可达性压进 latent distance；actor 只学对这个 distance field 的局部下降方向做闭环控制。对于 Pusher/AntPush 这种需要不断修正接触几何的任务，这种每步重算方向的闭环信号比静态 raw goal 更有用。

subgoal scoring 的作用更接近 online curriculum/retrieval：它从已访问分布里找一个与目标相似的 proxy，避免早期直接用未校准 ψ(g)。这不是严格搜索，也没有保证 selected z 位于最优路径。Theorem 2 的 planning invariance 是条件性的：如果 z on-path 且 d_ψ 近似 d*，那么方向一致；但最关键的“scorer 是否产生 on-path z”并未被证明。因此理论更像解释 DCP 应该在什么条件下成立，而不是完整保证算法成功。

HJB sufficiency 的论证是合理的，但也有 gap：实现中 actor 接收的是 ψ-space vector，而理论讨论的是 state-space gradient，两者通过 J_ψ pullback 关联。文中说 full-rank J_ψ 时信息等价，但在高维、非线性、局部退化表示中这未必成立。也就是说，DCP 依赖 ψ 不只是距离准，还要局部微分结构对控制有意义。

AntSoccer 失败反而是最有信息量的结果：当 visited pool 没有覆盖 ball 被移动后的状态，ψ 学到的方向可能在可控子空间里但与真正降低 ball-goal cost 的方向错位。此时 DCP 会被错误 latent gradient 牵着走，而 raw-goal CRL 反而保留了一条直接读取 ball coordinate 的通道。这说明 DCP 的能力边界很清楚：它不是免费得到 planning，而是强依赖 representation 对 goal-relevant degrees of freedom 的覆盖和对齐。

periodic-burst zero-shot 部分更像工程观察。它说明 DCP 的 direction recomputation 可能能把随机扰动转化为新纠偏机会，但这不是主算法的理论核心，且与 action saturation、SAC policy entropy、环境容错性混杂。可以看作 deployment hack，不应过度解释为推理能力。

Relation To Prior Work

DCP 最接近三条线：Contrastive RL / quasimetric GCRL、direction/metric-conditioned policies、subgoal/landmark planning。

相对 CRL，DCP 的实质差异不是 critic objective，而是 actor 怎么使用 learned representation。CRL 学了 ψ 但 actor 仍吃 g；DCP 让 actor 直接吃 ψ-distance 的方向。这是一个接口创新，和 Scaled CRL、E-CRL 这类提升 representation capacity / symmetry 的方法正交。

相对 QRL、Eik-QRL、offline quasimetric work，DCP 不主要贡献新的 distance learning；它把 quasimetric 的梯度当作 actor-conditioning signal。也就是说，那些工作偏 value/metric learning，DCP 偏 control interface。若未来把更强 quasimetric 表示接入 DCP，可能会自然叠加。

相对 HILP / Hilbert metric direction conditioning，DCP 的差异在 online、无离线 metric supervision、允许非对称 quasimetric。思想上并不完全新：用 embedding difference / direction condition policy 在 CPV、HILP 等工作中已经出现；DCP 的新增点是把它嵌入在线 CRL，并用 visited-pool scoring 解决早期 final-goal direction 不稳定。

相对 landmark/subgoal planning，DCP 看似有 subgoal，但本质不是部署时 graph planning。pool 只在训练期存在，部署时折叠为直接 goal direction。这一点是实质区别：它不是增加 test-time planner，而是用训练期 retrieval 改造 policy 的输入分布。

所以这篇属于“representation-aware actor interface”谱系，而不是“更强 planner”或“更强 exploration”谱系。它把已有的 quasimetric、dual goal representation、planning invariance、embedding difference 等思想重组到一个在线 GCRL actor-conditioning 方案里，实质创新在接口设计和训练/部署折叠方式。

Dataset / Evaluation

实验覆盖九个 Brax 环境，包括 maze navigation、高维 humanoid navigation、pusher manipulation、AntPush、AntSoccer。任务覆盖比单一 maze 更有说服力，尤其 manipulation/contact 任务能检验 direction-conditioning 是否真的帮助持续闭环控制。

评估基本支持论文的主 claim：在相同 CRL backbone 下，只改变 actor-conditioning，DCP 多数环境优于 CRL，且 SSGC 不稳定，说明 gain 不只是来自 subgoal retrieval。Pusher 系列和 AntPush 的结果尤其符合机制解释：这些任务需要频繁纠偏，direction recomputation 有价值。

但 evaluation 仍有限。第一，全是仿真，没有真实机器人或视觉观测，无法证明 sim-to-real 或 low-latency robot control 的实际有效性。第二，环境都在同一 Brax/JaxGCRL 生态内，不能说明跨 benchmark family 泛化。第三，五 seed 对在线 RL 来说偏少，作者也明确表格不是 significance test。第四，CRL baseline 使用 backward InfoNCE + negative L2 energy，和一些已发表 CRL 数字不完全可比；虽然这是 controlled interface study，但不应解读为全面 SOTA benchmark。

最关键的是，实验验证了“当 ψ 足够好且 pool 覆盖足够时，direction interface 更好”，但没有系统验证理论中最强的条件：scorer 是否选到 on-path z、ψ 的 gradient 是否逼近 d*、J_ψ 是否保留 controllable direction。AntSoccer 失败说明这些条件不是细节，而是决定性因素。

Limitation

第一，DCP 把难题从 goal-conditioning 转移到了 representation coverage。若 visited pool 没有覆盖 goal-relevant state variations，ψ 就不会学到正确方向，direction-conditioned actor 会被错误梯度放大。AntSoccer 已经暴露这一点。核心能力可能主要来自数据覆盖，而不是算法自动推理。

第二，subgoal scoring 没有真正的 on-path 保证。Theorem 2 的关键前提是 z ε-on-path，但 inner-product alignment 只说明 latent similarity，不保证可达路径上的中间点。这个 gap 很大：如果 ψ 的相似性受 spurious features 支配，scorer 会给出看似相近但控制上无用的 z。

第三，理论假设强于实际系统。HJB 方向充分性在控制仿射、光滑、cost-to-go 可微等条件下成立；实际 Brax contact、maze wall、joint limits、discounted SAC 都不完全匹配。论文的理论更多是设计动机和 failure taxonomy，不是算法收敛保证。

第四，ψ-space direction 与 state-space gradient 的等价依赖 J_ψ 的局部性质。若 representation collapse、维度冗余、局部不可逆或对不可控变量敏感，actor 接收到的方向可能不是真实 controllable gradient。这一点在高维 manipulation 中尤其关键。

第五，泛化 claim 需要谨慎。部署时 pool 去掉并不等于具备 long-horizon planning；它只是沿 learned distance field 做 greedy descent。若 distance field 在未访问区域不准，所谓 planning 会退化为 latent retrieval / interpolation。泛化可能依赖 benchmark goal distribution 与训练数据强 overlap。

第六，增益归因仍有不清楚处。DCP 改了 actor input，也改变了 actor target 中使用的 z；representation 因 actor 反向行为分布改变而共同演化。文中虽控制了 backbone，但没有完全拆开“更好数据分布”“更好 actor-conditioning”“更好 ψ geometry”三者的因果贡献。

Takeaway

• 1. 在线 GCRL 中，actor-conditioning interface 可能和 representation learning objective 一样重要。
• 只提升 critic/ψ 不够，policy 必须以合适形式读取 ψ 的几何。
• 2. 对 goal-reaching，raw goal coordinate 不是天然好的条件变量；learned distance 的局部方向更接近控制所需的 sufficient statistic。
• 这个 insight 可以迁移到其他 RL backbone、world model、diffusion policy 或 robot manipulation controller。

一句话总结

DCP 是一篇把在线 Contrastive GCRL 从 raw-goal conditioning 推向 learned-quasimetric direction conditioning 的接口型工作，真正贡献在于用训练期 visited-subgoal scaffold 稳定 actor 学习 ψ-space 局部下降方向，而不是提出新的 planner 或新的 representation objective。