精读笔记

Problem Setting

论文标题：An Agency-Transferring Model-Free Policy Enhancement Technique（arXiv preprint / 2026-06-09）。

这篇论文不是在解决一般 RL sample efficiency，也不是安全 RL，而是在一个更具体的 setting 里工作：已有一个能完成任务但不优化完整 reward 的 callable baseline policy，希望训练一个最终可独立部署的 neural policy。这个 setting 在工程控制里很常见：已有 PID、几何控制器、启发式规则或传统 planner，能把系统带到目标，但会走差路径、浪费能量、错过额外 reward 或违反 soft preference。

关键矛盾是：baseline 提供了闭环可行性，但如果把它永久留在 action computation 中，最终策略就不是 autonomous learned policy；如果只用 vanilla RL 从 scratch 学，早期探索会产生大量失败轨迹，尤其在 goal-reaching 任务里，critic 和 actor 都会在低质量分布上训练。Residual RL 解决了部分利用 baseline 的问题，但它把 baseline 变成最终控制器的一部分，而不是训练 scaffold。

因此本文真正的问题是：如何利用 baseline 生成成功/可恢复的训练分布，同时逐步把控制权转移给 learning policy，并且在 baseline 被移除后仍保持目标到达能力。

Motivation

已有路线的不足主要不在于“不能用先验”，而在于先验进入学习系统的方式不合适。

Demonstration / imitation 系列依赖静态轨迹，无法在训练中持续查询 baseline，也无法天然提供在线 recovery。Residual RL 可以在线调用 baseline，但它的组合方式是 action addition：最终动作始终是 baseline + residual。这对某些机器人控制很自然，但会产生两个问题：第一，deployment 仍依赖 baseline；第二，学习策略学到的是 residual correction，而不是完整 task policy。

作者的核心观察是：如果 baseline 已经能把系统带到目标，那么训练早期最宝贵的不是让 RL 自己探索，而是让训练分布尽量保持在“能完成任务”的轨道附近；但同时，learning policy 必须有越来越多真实闭环 action 权限，否则最终无法独立接管。缺口就在于：已有方法缺少一个显式的 agency transfer mechanism，即从 baseline-dominated closed loop 平滑过渡到 learned-policy-only closed loop。

Core Idea

核心思想可以概括为：把 baseline 从 controller prior 改造成 training-time agency scaffold。训练时并不把 baseline action 和 learned action 相加，而是在每个时间步二选一；早期多数时候执行 baseline，以保证状态分布靠近成功轨迹；随着训练推进，learning policy 被越来越频繁地允许执行动作；最终 schedule 到达终点后，所有动作都来自 learning policy。

这个建模变化很重要。Residual RL 的 inductive bias 是“学习一个局部 correction”；本文的 inductive bias 是“先在 baseline 保证的可行闭环分布中学习完整策略，再逐步扩大策略自主权”。这更像 curriculum + closed-loop data shaping，而不是 policy regularization。它重新组织的信息流是：baseline 不直接定义最终 action，而是定义训练时访问哪些状态、什么时候允许 learning policy 试错、什么时候 fallback。

直觉上有效的原因也很清楚：如果早期随机策略会让系统频繁失败，那么 replay buffer / on-policy rollouts 会被失败状态主导；baseline fallback 能把训练数据分布拉回 goal-reaching manifold。learning policy 在这个分布上学习时，不需要先解决“怎么不死/怎么到目标”的全部难题，而是先学习如何在可行轨迹附近改进 reward。随后 agency schedule 逐渐增加 learning policy 的闭环责任，形成一种显式 curriculum。

Method

方法层面真正关键的机制有三部分。

第一，policy arbitration。每一步采样两个 candidate action：baseline action 和 learning action。执行哪个不是固定混合，而是由二值开关决定。这解决的是 action-space algebraic composition 的限制：对于很多任务，baseline action 与 learned action 相加未必有语义，甚至可能破坏控制边界；switching/mixing over policies 更通用。

第二，critic-improvement gate。算法维护 episode-local 的最高 critic benchmark Q†，如果当前 learning action 的 critic value 超过 Q† 加 margin ν，就确定性接受 learning action。它解决的是纯 schedule 太盲的问题：如果 learning policy 在某些状态已经表现出更高价值，就不应继续被 baseline 压制。这个 gate 的核心变化是把 agency transfer 从纯时间函数变成部分数据依赖。

第三，within-episode stochastic relaxation 与 across-episode schedule。即使 critic 没有确认改进，也以随 episode 内时间衰减的概率接受 learning action；训练推进时，相关参数逐步升到 1，最终 learning policy 永久接管。这解决的是 exploration / exposure 问题：learning policy 必须真的执行动作才能学习闭环后果，而不能只在 baseline 轨迹旁边离线拟合。

需要注意，很多理论构造如 upper-consistent critic、bounded envelopes、uniform KL goal-reaching certificate，更像是为了证明“早期 fallback 会继承 baseline goal-reaching”的数学脚手架，而不是方法实际运行的必要组件。实际实现中作者也承认 critic consistency 未必严格 enforce。

Key Insight / Why It Works

这篇最有价值的 insight 是：在有 functional baseline 的 RL 中，最关键资源不是 demonstration，而是 baseline 诱导的成功状态分布和 recovery ability。本文方法本质上是在做 closed-loop curriculum learning：从 baseline-controlled dynamics 逐渐过渡到 learned-controlled dynamics。

方法有效的主要原因大概率不是 critic gate 的精妙性，而是 data coverage 的改变。早期 rollout 高概率到达目标，replay / training data 包含大量成功轨迹和靠近目标的状态；这会显著改善 critic 学习和 actor 更新。相比从 scratch RL 在失败轨迹里摸索，本文让 learning policy 在更有信息量的状态分布上训练。这是核心贡献。

critic-improvement tracking 是有用的辅助机制。它给 learning policy 一个“表现好就接管”的通道，避免 schedule 过于保守。ablation 显示关闭该机制性能下降，说明它不仅是装饰。但从机制判断，它更像 transfer pacing 的调节器，而不是性能来源的根本。真正的根本仍是 baseline-shaped rollout distribution。

理论部分的早期 goal-reaching 证明本质上利用了一个简单事实：当 λ<1 且 critic 有上界时，learning-policy interventions 只有有限次，最终轨迹会回到 baseline；所以 composite policy 继承 baseline 的 asymptotic reachability。这是一个干净但偏解释性的结果，不是强 deployment guarantee。最终 standalone policy 的 theorem 更弱：如果 pure neural policy 的轨迹与 fallback policy 轨迹的 expected sup-distance 小，则 goal-reaching probability 只损失 Δ/δ。这几乎是 triangle inequality + Markov bound，说明最终保证主要依赖“学出来的策略确实已经接近 fallback regime”，而不是算法自动保证。

因此可迁移的 insight 是：对于有可调用专家/控制器的任务，训练分布塑形比 imitation loss 或 residual action 更可能稳定；但最终 autonomy 要靠逐步增加闭环责任，而不是只在 expert action 周围监督学习。

Relation To Prior Work

最接近的是 Residual RL、learning from demonstrations、safe/shielded RL、switching control。

和 Residual RL 的本质差异在 action composition 与 deployment dependency。Residual RL 学 residual，最终仍需要 baseline；本文学完整 policy，baseline 只在训练时介入。这是实质差异，不只是实现形式不同。Residual RL 适合 baseline action 是一个可加控制量且 residual 小的场景；本文更适合 baseline 是任意 callable policy、action addition 不自然或希望最终移除 baseline 的场景。

和 demonstration-based RL 的差异是 prior 的形态不同。本文不是利用固定数据，而是在线调用 baseline 影响闭环状态分布。这带来了 recovery 和 adaptive data collection，但也意味着必须能访问 baseline。

和 safe/shielded RL 表面上都在做 fallback / override，但目标不同。Safe RL 的 shield 通常部署时仍存在，且依赖 constraint oracle、CBF/CLF 或形式化安全条件；本文不保证 safety，只利用 baseline 作为临时 competence scaffold。它不属于 safety guarantee 方法，而属于 baseline-assisted model-free RL / curriculum-by-policy-arbitration。

看似新的部分中，policy switching、annealing-style acceptance、curriculum transfer 都不是全新思想；实质创新是把它们组合成一个明确面向“baseline-free final policy”的训练协议，并给出 goal-reaching 解释。新增信息主要是：如何设计 arbitration 使早期继承 baseline reachability、后期恢复纯 RL policy。

Dataset / Evaluation

实验覆盖两个自定义连续控制环境：AUV 避污染到达目标、移动机器人先收集 treasure 再到达目标。它们很好地匹配论文假设：目标集清晰、baseline 容易写、baseline 能完成任务但 reward 次优。因此实验能验证 narrow claim：在这种 baseline functional 且 suboptimal 的 goal-reaching setting 下，agency transfer 能比 vanilla RL 和 residual variant 更稳定。

但 evaluation 的外推性有限。没有标准复杂 locomotion、没有高维视觉、没有真实机器人、没有跨任务泛化、没有弱 baseline / adversarial baseline / distribution-shift baseline 的系统测试。两个任务都由作者构造，且 baseline 与 reward/goal structure 明确对齐，这使得方法优势更容易显现。并非 benchmark leakage，但存在 evaluation bias：任务正好是该方法的 ideal regime。

实验比较是合理的：TD3/SAC、Residual TD3/SAC、本文方法同 backbone 对比，能说明相对 residual 的区别。最终阶段 baseline 已禁用，这一点很重要，支持“standalone policy” claim。不过增益归因仍不完全清楚：更高目标到达率可能主要来自 baseline 带来的成功数据覆盖，而非 arbitration gate 本身；虽然 ablation 支持 tracking 有帮助，但还不足以分离 schedule、critic gate、baseline data distribution 三者的贡献。

Limitation

最大限制是前提强。方法需要一个 callable baseline，且这个 baseline 最好从任意或大部分初始状态都能到达目标并具备 recovery 能力。没有 baseline 时无用；baseline 只在局部有效时，理论解释基本不成立；baseline 系统性避开高价值区域时，训练分布可能反而限制探索。

第二，理论上限明显。Theorem 1 的核心是 learning interventions 有限，所以最终回 baseline；这解释早期目标到达，但也意味着早期 learning policy 实际权限有限。Theorem 3 对最终 policy 的保证依赖 trajectory distance 小，而这个距离不是由算法强制优化的，只能事后估计。因此 standalone success 并没有被严格保证，只是通过 gradual exposure 经验上获得。

第三，critic gate 依赖 critic 可靠性，但 early critic 通常最不可靠。论文用 bounded critic / envelope 假设规避发散问题，但并没有解决 critic misranking。错误 critic 可能过早接受坏 learning action，或者过度拒绝有用探索。文中未充分说明在高维复杂任务中 critic gate 的鲁棒性。

第四，scalability 未证明。对于长时序规划、多阶段任务、稀疏奖励、强不可逆错误或 contact-rich manipulation，baseline fallback 是否还能恢复、schedule 是否还能平滑接管，都不清楚。尤其当 learning policy 必须暂时远离 baseline 轨迹才能获得高回报时，baseline-shaped distribution 可能变成保守偏置。

第五，方法可能只是把问题转移了：从“如何训练 RL”转移到“如何构造 functional baseline 和 goal set”。在工程上这通常是可接受的，但在方法学 claim 上需要谨慎。

Takeaway

• 1. 这篇论文真正推动的是 baseline-assisted RL 中的 deployment autonomy：baseline 不再是最终 controller 的一部分，而是训练时塑形状态分布和闭环责任的 scaffold。
• 2. 最值得迁移的 insight 是 agency schedule：不要只做 behavior cloning 或 residual correction，而要显式控制 learning policy 在真实闭环中的 action share，让它逐步承担后果。
• 3. 对有传统控制器/启发式策略的工程任务，本文范式比从 scratch RL 更现实：先用 baseline 保证成功轨迹覆盖，再让 RL 优化 baseline 忽略的 reward 维度。
• 4. 未来真正值得做的是把 agency transfer 从手工 schedule 变成自适应机制：基于 uncertainty、recoverability、state distribution shift 或 policy disagreement 来决定何时接管，而不是主要依赖时间表和 critic value。

一句话总结

这篇论文属于 baseline-assisted model-free RL 向 final baseline-free autonomy 演化的一步，核心贡献不是新的 RL optimizer，而是用 policy arbitration 把 functional baseline 转化为训练分布与闭环责任的 curriculum。