精读笔记

Problem Setting

论文标题：What Demonstration Curation Metrics Do to Your Policy（arXiv preprint / 2026）。

这篇论文实际解决的不是“如何检测坏 demonstrations”，而是更尖锐的问题：现有 demonstration curation metric 到底会把 downstream behavior cloning policy 推向哪里。它关心的是 metric-induced dataset shift：一个打分函数在 episode 层面排序之后，保留下来的 75% 数据会如何改变 BC 学到的闭环行为。

关键矛盾是，detection 是一个静态 ranking 问题，而 imitation policy 的失败是闭环分布问题。一个 metric 可以很好地区分 clean 和 defective labels，但仍然保留最有害的 defective modes，或者删除覆盖关键状态区域的 clean demos。反过来，一个粗糙 detector 只要稳定移除最破坏策略的局部错误，也可能产生很好的 policy。

以前方法卡住的地方在于把 curation proxy 当成 curation objective：smoothness、outlierness、nearest-neighbor consistency、hand-designed timing signal 等指标通常用 detection accuracy 自证有效，但没有验证它们是否真的改善训练出的 policy。本文的贡献就是把这个 proxy mismatch 变成可观测对象。

Motivation

已有路线不够的原因很直接：curation metric 的优化目标不是 policy performance。AUROC 奖励的是全局 pairwise ranking；policy training 关心的是阈值后子集的状态-动作覆盖，以及错误动作在关键状态上的密度。二者没有单调关系。

作者的核心观察有两个。第一，结构性 demonstration defect 对 BC 的伤害不是均匀的；它可能只发生在某个 phase，但一旦发生在高杠杆状态，就会主导闭环失败。第二，很多 trajectory metric 在检测 benchmark 上看起来有效，可能只是捕捉 episode length、termination behavior 或成功/失败轨迹长度差，而不是捕捉真正会伤害 policy 的内容。

因此这篇论文缺的不是另一个更复杂的 curation score，而是一个能把“检测坏数据”和“训练好 policy”拆开评估的 controlled setting。它的动机本质上是 evaluation hygiene，而不是算法创新。

Core Idea

核心思想是把 demonstration curation 视为对训练分布的干预，而不是对 episode label 的预测。metric 的好坏不由它能否把 defective demos 排低决定，而由它经过阈值选择后产生的数据子集是否支持正确的 BC 决策边界决定。这一点改变了问题建模：从 supervised defect detection 转向 downstream policy selection。

这篇论文真正引入的 inductive bias 是“policy is the evaluator”。作者没有声称某个 metric 普遍最优，而是证明 detection metric 和 curation value 可以强烈解耦。直觉上这成立，因为 BC 学到的是 conditional action distribution；如果被保留数据在关键 phase 中仍包含系统性错误动作，哪怕 AUROC 高，policy 仍会复制坏模式。相反，如果某个低精度 metric 能删除最破坏局部 action distribution 的样本，它就能产生高质量 policy。

和 prior 的本质区别是评价轴变了。prior 多数是在问“这个 metric 是否识别异常/低质量轨迹”；本文问“这个 metric 作为数据选择算子时，改变了 policy 的什么”。这是更接近实际部署的问题。

Method

方法只需要抓住几个机制层面的设计。

第一，使用结构性缺陷而非随机噪声。早释放 gripper 在 LIFT phase 注入一致错误动作，这会在 BC 中形成稳定错误模式。这样设计是必要的，因为随机扰动可能被平均掉，无法暴露 curation 对下游策略的真实影响。核心变化是把数据质量问题变成局部状态-动作分布污染问题。

第二，同时测 detection AUROC 和 downstream success。AUROC 衡量 metric 排序是否和 clean label 一致；downstream success 衡量阈值选择后的数据是否训练出可执行 policy。这个双轴评估直接检验 proxy 是否有效，而不是默认 detection 等价于 curation。

第三，固定保留比例。curation 实际上不是完整排序的使用，而是 top-k selection。固定 top-75% 让问题落在真实 pipeline 的阈值行为上，也暴露出 AUROC 的缺陷：一个全局排序还不错的 metric，可能在阈值附近犯最致命的错误。

第四，episode-length control。失败轨迹跑满时长、成功轨迹提前终止，会让 cumulative/mean feature metric 学到长度捷径。统一截断到相同长度后，metric 必须利用内容差异。这一步是本文最重要的 evaluation control 之一；没有它，检测结果基本不可解释。

第五，对多类常见 metric 做 head-to-head。这里不是为了证明某个 metric 最强，而是为了展示多个常见 inductive bias——smoothness、outlierness、trajectory manifold、task-specific timing——在 downstream 轴上可能完全重新排序。

Key Insight / Why It Works

这篇论文最重要的 insight 是：curation value 不是 defect label accuracy 的函数，而是 retained dataset 对 BC action distribution 的影响。BC 对结构性错误的敏感性来自 conditional imitation：只要关键状态附近错误动作密度足够高，policy 就会在 rollout 中进入失败吸引子。一个 metric 真正有效，必须降低这些高杠杆错误在训练分布中的权重，同时保留足够 clean coverage。

gripper_timing 的失败很说明问题。它是最贴合缺陷定义的 content-aware metric，AUROC 最高，但 downstream 最差之一。原因不是它“不知道缺陷是什么”，而是它的排序粒度和 curation 阈值错配：它保留了相对较晚释放但仍然 defective 的 demos，同时可能删除一些 timing 边界上的 clean demos。对于 policy 来说，“晚一点释放但仍然释放”仍是毒性样本；AUROC 却会奖励这类细粒度排序。

trajectory alignment 的成功也很有启发。它并不精确识别所有 defective demos，但它捕捉到了 defect 后状态轨迹偏离 clean manifold 的粗粒度结构。它可能有效的原因是 representation alignment / data coverage，而不是精细 detection。它删掉的是最破坏整体状态-动作分布的样本，保留的数据足以覆盖任务主路径。这更像用低方差 manifold prior 做 robust subset selection。

episode-length confound 是另一条核心 insight：很多 curation benchmark 可能在测 termination artifact。raw AUROC 接近完美并不表示 metric 理解了 demonstration quality，只表示它能读出成功轨迹更短、失败轨迹更长。这属于典型 benchmark leakage。作者通过 truncation 证明，部分 reported detection ability 可能只是 length proxy。

技术判断：本文的实质贡献是 evaluation reframing 和 confound diagnosis，不是新 curation 算法。ensemble 的好结果可能主要来自把一个 task-specific timing signal 和一个 global smoothness prior 做了简单互补；它是否 generalize 到其他缺陷文中未充分说明。trajectory alignment 的强表现更值得迁移，因为它暗示“保留 clean manifold coverage”可能比“精确 defect detection”更接近下游目标。

Relation To Prior Work

这篇属于 imitation learning 数据质量 / demonstration filtering / offline dataset curation 这条谱系，但它和大多数 prior 的关系更像反证而不是延伸。SPARC、Isolation Forest、kNN trajectory feature 等方法都把 quality proxy 当作可独立验证的信号；本文指出这些 proxy 在 downstream policy 轴上可能完全不可靠。

和 operator-skill / demonstration-quality 相关工作相比，它没有研究自然人类质量差异，而是构造了一个可控 structural defect。因此它牺牲真实多样性，换来因果可解释性：知道哪些 demo 是 clean，知道 defect 在何处，知道 policy 为什么会被污染。

和 outlier detection 系列的本质差异是，本文不承认“异常”天然等于“有害”。有些异常 clean demo 可能覆盖关键状态，有些不异常 defective demo 可能正好毒化 policy。Isolation Forest 的失败正好说明了 action-feature outlierness 和 policy harm 之间没有稳定对应关系。

看似新但其实是重组的部分：七个 metric 大多不是新算法，ensemble 也只是简单组合。实质创新是把这些 metric 放在同一个 controlled downstream loop 下，并指出 episode length 这个常被忽略的 leakage。真正新增的信息是：metric ranking 的评价必须经过 policy training 这个闭环，不能停在 label detection。

Dataset / Evaluation

评估设置支持本文的核心 claim，但支持范围很窄。任务是 LIBERO/robosuite 中单个 pick-and-place，缺陷是单一 early gripper release，policy 是 phase-conditioned MLP BC。这个环境足以展示 AUROC 和 downstream success 可以解耦，因为它有 contact-rich manipulation、明确的关键 phase、可控 defect 和 oracle clean baseline。

它没有证明多任务、跨物体、跨机器人、真实世界数据上也会有同样排序反转。80% contamination 明显高于很多实际 pipeline，这会放大 curation 的收益和失败差异。少量 seeds 也让高方差 metric 的精确结论不稳定。

但 evaluation 对核心论点是相当干净的：同一 contaminated set、同一保留比例、同一 policy class、同一 rollout protocol、ground-truth labels、length truncation control。尤其 episode-length normalization 是强项，它直接拆掉了一个常见伪信号。

需要注意的是，oracle 用 16 个 clean demos 达到很高成功率，说明该任务在 phase-conditioned representation 下可能数据需求较低。因此 near-oracle curation 不一定说明 metric 具有强泛化能力，也可能说明 clean subset 覆盖已经足够。增益来源中 data coverage 与 metric intelligence 的比例文中未充分说明。

Limitation

最大限制是外推性。单一结构性缺陷下观察到的 AUROC-policy decoupling 很有说服力，但 defect 类型一变，metric 的相对表现可能重排。比如 missed grasp、wrong placement、bimanual handoff failure 可能表现为完全不同的轨迹偏离，trajectory alignment 未必仍然有效。

第二，contamination rate 极高。80% 污染让 bad mode 主导训练分布，也让 curation 效果显著。在 20–40% 甚至更低污染下，baseline 可能已经可用，curation metric 的边际效益和风险都会不同。绝对 success 数字不能直接迁移。

第三，论文没有提供可扩展的 surrogate。结论是“用 downstream policy 评估”，但真实大规模机器人数据中反复训练 policy 成本高，且 evaluation rollouts 可能昂贵或危险。它把问题从 metric design 转移到了 cheaper policy-value estimation，但没有解决后者。

第四，clean references 的使用需要审视。kNN、trajectory alignment、isolation forest 都依赖 clean demonstration set 或 clean feature reference。真实 curation 场景往往没有可靠 clean seed set，或者 clean seed 本身有偏。这个 hidden supervision 会限制方法可用性。

第五，phase-conditioned policy 降低了 task ambiguity。没有 phase label 时 BC 失败，说明 policy 表示依赖额外结构监督。本文结论可能部分建立在这个简化上；在更强的 sequence model 或 diffusion policy 下，defective data 的影响形态可能不同。

第六，episode truncation 虽然消除了 length leakage，但在长时任务中可能删除成功后段信息，甚至遮蔽某些 late-stage defects。它是一个必要 diagnostic，不一定是普适 preprocessing 策略。

Takeaway

• 1. Demonstration curation 应该被看作训练分布干预，而不是 defect detection；评价指标必须穿过 policy training loop。
• 2. AUROC 对 curation 是危险 proxy。
• 它奖励全局排序，但真实 curation 使用阈值，policy 关心的是阈值后关键状态区域的错误动作密度和 clean coverage。
• 3. Episode length 是机器人 demonstration curation benchmark 中非常强的 leakage source。

一句话总结

这篇论文在 demonstration curation 方向中的价值是把“检测坏数据”与“训练好策略”彻底拆开，证明常用 detection proxy 和下游 BC 价值可以严重解耦，是一篇以 evaluation reframing 和 benchmark leakage 诊断为核心贡献的工作。