精读笔记

Problem Setting

论文标题：ROVE: Unlocking Human Interventions for Humanoid Manipulation via Reinforcement Learning（arXiv preprint / 2026）。

这篇论文不是在泛泛解决 VLA for humanoid，而是在解决一个更具体、也更现实的问题：已有 humanoid VLA 在真实部署中会失败，失败后的 human intervention 本来是最有价值的数据，但在 humanoid dexterous setting 中，这些 intervention 本身并不干净，不能直接当 expert supervision。

关键矛盾是：越复杂的 embodiment 越需要人类接管来提供 recovery data，但 embodiment 越复杂，人类接管越不专家。对于普通机械臂，teleop correction 往往可近似视为高质量局部专家动作；对于 humanoid，全身姿态、灵巧手、关节限位、retargeting、缺少触觉和力反馈，会让接管前几秒产生大量适应性动作。这些动作对完成任务必要，但不是应该被策略模仿的动作。

以前方法卡在一个隐含假设：intervention = positive correction。HG-DAgger 会直接 imitation，HIL-RL/RECAP 类方法也通常把 intervention 视作高价值经验或至少是 improvement signal。ROVE 指出的核心问题是 intervention trajectory 内部有结构：autonomous rollout 可能失败，adaptation 可能混乱，recovery 才真正有用。若不建模这个结构，post-training 会吸收 hesitation 和 retargeting artifact。

Motivation

已有路线不够的地方在于它们把 deployment experience 的质量问题看得太简单。对于 VLA post-training，经验数据确实比 offline demo 更贴近部署分布；但在 humanoid 上，经验数据不是简单的 on-policy distribution correction，而是混合了 policy failure、人类接管噪声和真实 recovery skill。

作者真正的观察是：human intervention 的价值不在于每个 action 都正确，而在于整条轨迹中包含了从坏状态恢复到好状态的状态序列。换句话说，动作标签不可靠，但状态进展仍然有信息。这自然导向 state-value 而非 action imitation。

关键缺口是：需要一个能在 mixed-quality intervention 中抽出 high-value behavior 的机制，同时又能利用 human video 这种没有 robot action 的经验。Q-based offline RL 很难直接吃 cross-embodiment video，BC 又会模仿噪声。ROVE 的动机就是把异质经验压到统一的 value/progress space，再反过来指导 actor。

Core Idea

ROVE 的核心思想是把 human intervention 从“专家动作监督”降级为“含有高价值片段的经验分布”，再用 optimistic state-value estimation 从中抽取可学习的恢复行为。它不问“这个 human action 是否应该模仿”，而问“这个状态及其后续是否通向更好的任务完成”。这改变了建模对象：从 action correctness 转到 state recoverability / progress。

这个转变很重要。state value 可以同时从 robot rollout、robot intervention、human egocentric video 中学习，因为这些数据至少共享视觉上的任务进展，而不共享 action space。expectile-style optimism 则提供一个 inductive bias：在同一类状态附近，如果数据中有失败、有犹豫、也有成功恢复，不拟合平均回报，而偏向较好但仍在数据分布内的可恢复结果。

与 prior 的本质区别不是用了 value 或 advantage conditioning 本身，而是把 humanoid intervention 的 suboptimality 显式纳入数据建模：先通过阶段边界避免 adaptation 噪声污染，再通过 optimistic V 学 recoverable progress，最后用 advantage-conditioned actor extraction，而不是直接 imitation intervention。

Method

ROVE 的方法可以压缩成三个机制。

第一，stage-aware intervention labeling。intervention episode 被拆成 autonomous rollout、takeover adaptation、recovery/completion。这个拆分不是工程细节，而是核心数据建模假设：takeover 初期的动作通常是为了让 human operator 对齐 robot 当前状态，不应作为正向 recovery 行为传播。论文把 failure penalty 放在 adaptation 结束处，而不是 intervention 开始处，本质是在给 value propagation 设置一个保守边界，避免 OVE 把接管噪声乐观放大。

第二，Optimistic Value Estimation。预训练阶段用 MC 学一般 progress，任务微调阶段用 H-step TD target 加 expectile loss 学 optimistic state value。这里的 optimism 不是探索 optimism，而是 offline/in-distribution optimism：在已观察经验中偏向高回报 continuation。它解决的是 mixed-quality data 的平均化问题；MC 会把成功恢复和失败/犹豫平均掉，导致 value 曲线不够分辨，OVE 则更容易把 recoverable trajectory segment 标出来。

第三，advantage-conditioned policy extraction。actor 不按原始数据均匀 BC，而是对 action chunk 打 binary advantage label，训练条件策略，并在推理时用 positive/negative condition 的 CFG-style combination 推向高 advantage 动作。这个机制的作用是把 critic 的排序信息转成 VLA action decoder 可消费的监督形式。它不是纯 RL policy optimization，更接近 value-guided conditional imitation。

Key Insight / Why It Works

最可能真正起作用的是“状态进展比动作标签更稳定”这一点。humanoid teleoperation 的动作质量高度依赖 operator、retargeting 和 robot configuration，但任务进展在视觉空间中更可判别：白板是否擦干净、面包是否对准/插入、物体是否被稳定抓起。ROVE 把 supervision 从 brittle action space 转到 progress/value space，因此能利用更多异质数据。

OVE 的有效性来自两个偏置的叠加：TD bootstrap 让 value 对局部恢复进展更敏感，expectile regression 让 value 偏向数据中较好的 continuation。对于 intervention 数据，这比 MC 平均回报合理，因为同一任务阶段可能同时出现失败、迟疑和成功恢复；平均值会把这些混在一起，而 policy extraction 需要的是“哪些动作/片段相对更值得复制”。

human experience video 的贡献更像是 value coverage / representation alignment，而不是直接 skill transfer。它给 critic 提供了更多 partial-progress、near-failure、completion 的视觉例子，帮助 value calibration。这里没有证据表明 actor 学会了人类视频中的新动作；它只是通过 critic 获得更好的 progress signal。

stage-aware labeling 可能是比 OVE 更关键的工程-算法交界点。如果 boundary 放错，论文附录显示性能会明显下降。这说明 ROVE 的核心并不是一个完全自动的 RL objective，而是依赖对 intervention trajectory 内部结构的正确切分。换句话说，ROVE 的“RL”部分有效，但前提是 reward/value label construction 已经把最脏的数据切掉。

哪些可能只是 scaling / data？多轮提升中，每轮都加入新 rollout/intervention 数据，本身就是 curriculum + data aggregation；成功率提升不一定全来自 OVE。更强 SFT demonstration 也有提升，说明数据规模和覆盖仍是强 baseline。ROVE 的优势主要在于同等 mixed-quality data 下更好地利用和过滤，而不是展示了强泛化或自主探索能力。

Relation To Prior Work

ROVE 最接近三条线：human-in-the-loop robot learning、VLA experience learning、offline RL/IQL-style expectile value learning。

相对 HG-DAgger/DAgger，ROVE 的差异很明确：不再假设 human correction 是 expert action。HG-DAgger 在 humanoid 上失败的原因也正是这一点——它把接管犹豫学进策略。ROVE 把 intervention 数据看成可排序的经验，而不是统一正样本。

相对 HIL-SERL、RECAP、π*0.6 类 experience-learning，ROVE 的新增信息是 humanoid intervention suboptimality 的显式建模，以及用 cross-embodiment human video 只训练 state value。RECAP 也有 critic 和 advantage-conditioned actor，但更依赖 intervention/experience 的正向含义；ROVE 的重点是 critic 要能在混杂数据中区分 adaptation、failure、recovery。

相对 IQL，ROVE 借用了 expectile optimism 的思想，但从 Q(s,a) 改成 V(s)。这不是小改动：对于包含 human video 的异质数据，Q-action space 根本不统一；state-value 才能跨 embodiment。代价是它不能直接比较同一状态下未执行动作的价值，只能对 observed transition chunk 进行 advantage labeling。因此它属于 in-sample value-guided imitation，而不是完整意义上的 action-value offline RL。

看似新的部分中，advantage conditioning、CFG-style positive/negative decoding、expectile regression 都不是新概念；实质创新在于把这些已有组件重组到 humanoid intervention 的噪声结构上，并证明这种建模在真机 humanoid manipulation 中可用。

Dataset / Evaluation

评估是强真机、弱覆盖。强在它确实是在 humanoid robot 上做 contact-rich 和 fine-grained manipulation，而不是仿真或标准机械臂；任务也包含全身姿态、灵巧手、接触、视觉进展等真实困难。弱在只有两个任务，且都属于相对固定场景、固定物体布局附近的 manipulation，不足以支持 general-purpose humanoid VLA post-training 的广义 claim。

实验基本支持核心 claim：在 imperfect intervention 存在时，直接 imitation 会吸收坏行为；value-guided extraction 更好；human video 和 OVE 能改善 value curve；多轮迭代能继续提升。但评估没有完全解耦算法增益和数据增益。每轮新增真实经验，数据覆盖自然变好；human video 也增加了 progress-state coverage。因此“ROVE objective 本身”的贡献虽有 ablation 支持，但仍不是完全干净。

另一个 limitation 是任务的 reward/progress 可视觉判别。白板擦除和面包插入都有相对清楚的视觉进展信号。若任务成功依赖隐含力、触觉、内部状态或长期不可见约束，state-value from ego-view video 是否仍可靠，文中未充分说明。

总体看，evaluation 证明了 ROVE 是一个 practical real-world post-training pipeline，而不是证明了 scalable humanoid RL 已解决。

Limitation

最核心限制是方法把“如何学好动作”部分转移成了“如何学好 value/progress label”。如果 critic 的视觉 progress 估计错，actor 会被系统性带偏；OVE 的 optimism 还可能放大这种错误。论文展示了 human video 能改善 value，但这在更开放任务中是否稳定未知。

第二，ROVE 依赖 intervention trajectory 的阶段结构。adaptation boundary 的选择在附录中很敏感，说明这不是无关紧要的后处理。边界若过早，接管噪声会被标成 recoverable；若过晚，会丢掉早期有效恢复。大规模部署时这个边界如何自动化、跨 operator 稳定，文中未充分说明。

第三，它不是探索型 RL。ROVE 的 policy improvement 基本发生在已有数据支持的区域：observed rollout、observed recovery、human video progress。所谓 optimism 是 in-distribution optimism，不会产生未见过的策略搜索。因此如果失败模式没有被 intervention 或 human videos 覆盖，方法不会凭空发明 recovery。

第四，泛化能力可能主要来自数据覆盖和 pretrained VLA representation，而非 ROVE 本身。论文冻结 VLM backbone，只训练 value/action head，这意味着基础视觉语言表征承担了大部分跨任务识别能力。ROVE 更像是任务级 post-training/data selection 机制，不是新的 generalist humanoid foundation model。

第五，增益归因不完全清晰。stage labeling、OVE、human videos、advantage conditioning、state dropout、多轮数据 aggregation 都可能贡献性能。文中虽有部分 ablation，但没有足够系统地区分 data scaling/curriculum 与 objective improvement。

Takeaway

• 1. 对复杂 embodiment，human intervention 不能再被默认视作 expert demonstration；更合理的单位是 recovery trajectory 中的 state progress，而不是每个 human action。
• 2. 跨 embodiment 数据最自然的接口可能不是 action，而是 value/progress。
• ROVE 说明 human video 可以作为 critic supervision，即使不能直接作为 actor supervision。
• 3. In-distribution optimism 是处理 mixed-quality robot data 的有效偏置：不要拟合平均行为，而要抽取数据中可实现的较好 continuation。

一句话总结

ROVE 是一篇把 VLA experience learning 推到真实 humanoid intervention 场景的工作，其真正贡献不是新的 RL 算法，而是把 imperfect human intervention 重新建模为可由 optimistic state-value 抽取的 mixed-quality recovery experience。