精读笔记

Problem Setting

论文标题：Junction State Estimation for Efficient Exploration in Reinforcement Learning（CoRL 2025）。

这篇论文实际处理的是 sparse-reward RL 中的结构化探索：不是简单让 agent 多访问新状态，而是让它优先到达那些能打开大量后续状态空间的 junction states。真正困难点在于 junction 是一个长时域、拓扑性的概念：局部 novelty 或一步 transition 信息不够，必须知道从某状态出发在未来较长时间内能覆盖多少不同区域。

以前方法卡在两个端点。count-based / novelty 方法估计容易，但没有结构偏好，会把 dead-end novelty 和 gateway novelty 混在一起；empowerment 理论上更接近，因为它衡量从某状态通过动作序列控制未来状态的能力，但长 horizon 下需要学 action-sequence-conditioned dynamics，样本复杂度和模型误差都很高。关键矛盾是：junction 需要长时域信息，但长时域可控性建模很难。Door(s) 的切入点就是放弃一部分语义强度，换取可估计性。

Motivation

作者真正不满意的是 empowerment 的实践形态，而不是其概念本身。Empowerment 在长 horizon 下会呈现 gateway-like behavior，这一点已有工作指出；但要把它用于实际 exploration reward，需要准确估计动作序列到未来状态的通道容量。这个估计在连续控制和机器人任务里很重，尤其 horizon 变长后会迅速恶化。

论文的核心观察是：如果目标只是找“门”而不是衡量“控制权”，动作条件其实可以先不要。也就是说，junction state 的一个弱定义可以是：从这里出发，不管具体动作序列如何，未来状态占用分布更分散。这个定义丢掉了 controllability，但保留了 environment topology 中最有用的一部分：哪些状态是通往多区域的入口。

所以这篇的关键缺口是：需要一种比 count-based 更结构化、比 empowerment 更便宜的长时域探索信号。Door(s) 填的是这个中间地带。

Core Idea

Door(s) 的核心思想是用“多 horizon 的未来状态占用熵”来定义 junctionness。给定起点 s，它估计在 h 步内会访问哪些未来状态以及分布有多分散；如果多个 horizon 下这个分布熵都高，那么 s 被认为是一个 door。直觉上，一个真正的 junction 位于多个区域的交界处，从它出发的随机或边缘化行为会扩散到更多不同状态；一个 dead-end 即使局部可动，其未来占用也会很快受限。

这改变了建模对象：从 empowerment 的 action-conditioned future reachability / controllability，变成 action-marginalized future occupancy diversity。这个变化是论文的本质。它引入的 inductive bias 是“探索应优先经过环境拓扑中心 / bottleneck”，而不是“探索所有未访问状态”或“最大化局部控制”。因此它可能更 scalable：它不需要学长动作序列的效果，只要从轨迹中重用 state pairs 来拟合 occupancy distribution。

但这也意味着 Door(s) 不是 empowerment 的替代品，而是 empowerment 中 junction signal 的廉价投影。它适合用来找 gateway，不适合用来判断 agent 是否真的能精确控制通往哪些未来状态。

Method

方法层面可以压缩成三个机制。

1）Action-marginalized occupancy estimation。它不学习 p(s'|s,a_{0:H})，而学习 Ψ(h)(s→s')：从 s 出发，在 h 步窗口内访问 s' 的占用分布。解决的是 long-horizon dynamics model 难学的问题。核心变化是把控制问题降级为分布覆盖问题。

2）Multi-horizon entropy，而不是 single-H entropy。若只看很长 horizon，占用分布会逐渐接近 stationary distribution，导致不同起点不可区分；若只看短 horizon，又只能看到局部自由度。对多个 h 求平均，相当于把局部可达性、中期扩散和长期拓扑都混合进 reward。这个设计比 MDN 本身更关键。

3）连续状态下用 MDN 拟合 Ψ(h)。这解决的是无法显式枚举状态和精确算 entropy 的问题。MDN 输入 s 和 h，输出 Gaussian mixture 近似未来 occupancy，再用 mixture component entropy 的加权平均近似 entropy。这里有明显工程妥协：mixture entropy 的近似不是严格熵，MDN 表达能力也有限，但足够支撑 reward landscape。

4）作为 intrinsic reward / pretraining signal 使用。Door(s) 可以单独优化得到 guide policy，再迁移到下游 sparse manipulation 任务。这里本质上是 curriculum / behavioral prior：先学会去环境中结构上有用的位置，再用这个初始化降低下游探索成本。

Key Insight / Why It Works

最关键的 insight 是：很多探索瓶颈并不需要完整 controllability，只需要知道环境中哪些状态具有高后续分支因子。Door(s) 有效不是因为它更“信息论正确”，而是因为它选择了一个更容易估计、但对探索足够有用的 proxy。

真正有效的部分大概率是 multi-horizon occupancy entropy 这个 inductive bias。它把 reward 从 novelty 改成了 topological usefulness：状态价值取决于它是否通向多样未来，而不是它是否少见。这样天然压低 dead-end，抬高 maze intersection、object interaction precondition、可触发物体运动的位置等。机器人 manipulation 中，它偏向接触物体、推动 / 抛掷 / 掉落等会扩展未来状态分布的行为，这解释了为什么预训练能帮下游任务。

相比之下，MDN、entropy scaling、log-spaced horizon query 更像让方法可跑的工程层。它们重要，但不是思想贡献。论文声称相比 empowerment 更 sample-efficient，主要来源不是更好的 representation，而是它删除了动作序列建模这一难点；这属于 better inductive bias + problem relaxation，不是纯 scaling。

下游收益中有一部分应被理解为 curriculum / policy initialization，而不是探索 reward 本身的普适胜利。Door(s) 预训练策略学到的是“去交互关键点”的行为 prior；在 Fetch 这类任务里，任务目标正好依赖物体交互，所以匹配度高。若下游目标不经过这些 junction，收益可能消失甚至变负。这里没有证据表明它形成了长期 planning；更像是学到了可迁移的 state visitation prior。

一个需要警惕的点是，Door(s) 把高熵当作好信号，因此在随机性非均匀环境中会把 noisy regions 当作 door。作者承认这一点。这说明它捕捉的是 outcome diversity，而不是 causal usefulness。没有额外机制时，它无法区分“我能从这里进入很多结构区域”和“环境在这里乱跳”。

Relation To Prior Work

最接近的谱系是 intrinsic motivation、empowerment、state entropy exploration、skill discovery 和 curriculum pretraining。Door(s) 不是一个全新的 RL 框架，更像是 empowerment 的一个去动作化、去控制化、面向 junction discovery 的近似。

和 count-based / novelty 的本质区别：count-based 奖励低访问频率，Door(s) 奖励高未来占用熵。前者是 coverage-first，后者是 structure-first。Door(s) 不追求无偏均匀探索，而是明确偏向环境拓扑中更有“交通价值”的区域。

和 empowerment 的本质区别：empowerment 是 state-conditioned control capacity，通常估计 I(action sequence; future state) 或相关 channel capacity；Door(s) 是 action-marginalized occupancy entropy。它丢掉了“agent 能否控制”的信息，因此不应被解释为 control measure。但正是这个丢弃使长 horizon 更可行。

和 maximum entropy exploration / state entropy maximization 的区别：那些方法通常最大化全局 state visitation entropy 或 policy-induced coverage；Door(s) 是局部 state value，问的是“从这个状态出发的未来分布有多分散”。这使它更像 successor distribution entropy / graph centrality 的连续控制版本。

和 DIAYN / skill discovery 的关系：DIAYN 学可区分技能，可能产生多样行为但不保证行为落在任务关键结构上。Door(s) 更直接地把环境结构作为 reward。Fetch 实验里 DIAYN 学到远离物体的 trivial behavior，正好说明“多样 / 可区分”不等于“对下游有用”。

实质创新在于把 junction state detection 写成可训练的 multi-horizon occupancy entropy，并展示它可以作为机器人任务的预训练 prior。看似新的地方中，信息论语言并不新；新的信息主要是 action-marginalized long-horizon occupancy 这个实用折中。

Dataset / Evaluation

评估覆盖了 Pendulum、PointMaze 和 Fetch 系列 manipulation，能验证从低维连续控制到中等维机器人状态的基本可行性。它没有真实世界 / 真机实验，也没有视觉输入实验；最高只是约 30 维状态，因此不能证明在高维 observation 或真实接触动力学下仍可用。

实验较好地支持了三个局部 claim：Door(s) heatmap 能识别 maze junction 和 dead-end；比 long-horizon empowerment 更容易在有限数据下得到稳定 landscape；作为预训练 reward 能在 Fetch 下游任务中提供较稳定初始化。尤其是和 empowerment 的长 horizon 对比，确实说明“不要建动作序列”带来了样本优势。

但 evaluation 对核心 claim 的支撑仍有限。Fetch 任务天然以物体交互为 bottleneck，Door(s) 奖励 interaction-rich states 与任务结构高度对齐；这证明了 inductive bias 在这类任务有效，但不证明普适。PointMaze 的 coefficient of variation 也显示 count-based 后期能追上，说明 Door(s) 的优势更偏向 early exploration / curriculum，而不是最终 coverage。

下游实验把 heuristic learning、pretraining、downstream learning 分开，并按惯例把 pretraining 视为“free”。这在 unsupervised pretraining 语境可以接受，但若从总环境交互成本看，训练 from scratch 有时更快。增益来源中有多少是 reward 更好，有多少是额外数据和初始化，文中没有完全隔离。

Limitation

最大前提是环境随机性不能主导未来状态熵。Door(s) 把 entropy 当作 junctionness，因此在 noisy-TV 或局部随机区域会失败；它没有 causal 或 controllability 机制去判断多样未来是否由 agent 可利用。这是概念层面的硬限制，不是实现细节。

第二个前提是随机 / 无监督数据能覆盖关键 junction。如果 narrow passage 很难偶然到达，occupancy estimator 就不会知道它存在。Door(s) 不是解决 hard exploration from zero coverage 的银弹，它更像在已有初始覆盖上提炼结构 prior。核心能力可能主要来自数据覆盖加上合理 inductive bias。

第三，scalability 上限不清楚。MDN 在 30 维状态还能工作，但面对视觉、复杂接触、多物体组合、离散拓扑跳变时，Gaussian mixture occupancy 可能非常脆弱。作者提到 latent representation，但没有实证。高维下 entropy 估计本身也会变得不稳定。

第四，Door(s) 放弃动作依赖后无法区分“从这里可到很多状态”与“从这里在随机策略下会散到很多状态”。如果某些未来状态只有特定策略才能到达，而随机边缘化行为很少触发，Door(s) 可能低估真正的 controllable doorway；反过来，如果随机扰动导致高扩散，它会高估无用状态。

第五，论文中的泛化主要是同一动力学下任务迁移，不是跨环境泛化。guide policy 可复用的条件是 dynamics 和 state semantics 基本不变。真实 deployment 中 sim-to-real、传感噪声、接触差异都会影响 occupancy entropy，文中未充分说明。

最后，三阶段流程把问题部分转移到离线 heuristic estimation。它降低了 long-horizon empowerment 的模型难度，但没有消除探索成本；只是把成本前置到无监督数据收集和密度估计中。

Takeaway

1）最值得记住的是 action-marginalized long-horizon occupancy entropy：当任务只需要结构化探索而不需要精确控制度量时，删掉动作条件可能比更复杂的 empowerment estimator 更有效。
2）Door(s) 说明 intrinsic reward 不一定要追求无偏 coverage；面向 bottleneck / gateway 的 biased exploration 在机器人任务中可能更有价值，尤其适合作为 curriculum 或 pretraining prior。
3）multi-horizon 设计是关键 insight：单一长 horizon 会被 stationary distribution 洗平，单一短 horizon 又太局部；跨尺度 occupancy 才能稳定刻画 junction。
4）未来更值得做的不是继续换 density estimator，而是把 Door(s) 和 controllability / causality 结合起来，区分 stochastic diversity 与 agent-usable diversity；以及在 learned latent state、online 更新、真实机器人接触任务中验证它是否仍成立。

一句话总结

Door(s) 是一类把 empowerment 中难估计的长时域可控性降级为可估计的多时域未来占用熵的结构化探索方法，真正贡献在于用 junction-state inductive bias 替代无偏 novelty 或重模型 controllability。