CoRL 2025 / Poster #80

Cost-aware Discovery of Contextual Failures using Bayesian Active Learning

海报机器人学习

精读笔记

Problem Setting

论文标题：Cost-aware Discovery of Contextual Failures using Bayesian Active Learning（CoRL 2025）。

这篇论文不是在解决传统意义上“给定 robustness metric，如何更快找到 counterexample”的 falsification 问题，而是在处理更贴近系统调试的版本：失败本身是 contextual 的，依赖用户目标、任务约束、系统细节和专家语义判断，无法预先写成一个干净的解析 cost function。

真正困难点有三个。第一，failure label/cost 不是自然存在的，需要专家从 rollout 中归因到一个或多个 failure modes。第二，评估成本高：机器人真机、复杂仿真、人工/LLM 审查都不能大量采样。第三，用户关心的是“多样失败族群”，而不是单个最大 violation 点；一个 falsifier 如果只反复找到同一类 failure，在调试价值上很低。

以前方法卡在目标函数假设上：model-based / optimization-based falsification 需要系统模型或 cost；sampling-based rare-event 方法需要大量 rollout；generative failure modeling 需要历史失败数据，而且会被高频 failure mode 主导。这里的关键矛盾是：要探索稀有、多模式、语义定义的失败，但又没有 dense reward，也没有大数据预算。

Motivation

作者的核心观察是：实际 failure analysis 中，很多失败不是“无法定义”，而是“无法在测试前解析定义”。专家通常可以在看完 rollout 后判断失败原因，比如距离太远导致检测漏检、光照差导致感知失败、机器人因关节限制无法执行轨迹，但这些判断很难提前写成一个连续可优化函数。

因此缺的不是另一个更强的 optimizer，而是一个能把专家事后判断转化为前向探索信号的闭环。已有 falsification 方法往往把 expert 排除在搜索过程中，只把 failure 当成预定义 scalar cost；这会导致两个问题：无法处理 user-reported edge cases，也无法系统性复现“类似但不相同”的失败。

这篇论文的动机可以概括为：在 cost function 不可得、专家评估昂贵、失败模式多样的情况下，把 failure discovery 从 cost-guided search 改成 expert-guided active coverage。

Core Idea

论文真正的核心思想是：用专家反馈在线构造 failure landscape 的 Bayesian surrogate，并用 coverage improvement 而不是单点最优性来驱动下一个测试场景。也就是说，它不问“哪里最失败”，而问“哪里可能是目标 failure，并且能扩展我们已发现 failure 集合的覆盖”。

这个建模方式引入了一个重要 inductive bias：failure discovery 的价值不只来自 severity，也来自 diversity。传统 BO/UCB 会自然 exploitation 到高 score 区域，而这里的 acquisition 强制考虑 parameter-space coverage 和 metric-space coverage，使搜索更像 constrained active search，而不是 adversarial optimization。

和 prior 的本质区别在于，failure mode 的语义不再由解析函数或历史数据隐式决定，而由专家显式归因；模型学习的是“专家定义的 failure severity 在 scenario space 上的 posterior”。这让方法对黑盒系统更 general，但代价是把一部分难题转移到了专家标注、failure mode 设计和 scenario parameterization 上。

Method

方法层面最关键的机制如下。

1. 多 failure-mode surrogate：每个 failure mode 单独学习一个 Bayesian surrogate，而不是把所有失败压成一个 scalar。它解决的是 failure imbalance 和多原因混叠问题。低频 failure mode 不会被高频模式在一个统一模型里吞掉；同时每个 mode 的 posterior uncertainty 可被 active learning 使用。

2. 专家评估到 severity 的映射：专家可以给二值、分段或时序标签，再经后处理得到 γ_m(z) ∈ [0,1]。这一步的作用不是精确建模物理 damage，而是把语义判断变成可优化的软指标。论文中 duration-based severity 和 early stopping severity 是工程上合理的选择，但并不构成通用理论。

3. severity threshold 定义目标集合：通过 δ_m 将 failure discovery 改写为在 Ω = {z | γ_m(z) > δ_m} 中采样。这个形式很重要，因为它避免了必须排序所有失败，只要求满足最低严重度后追求覆盖。

4. Expected Coverage Improvement acquisition：采样目标是最大化加入新点后的期望覆盖增益。coverage 同时定义在 scenario parameter space 和 failure metric space，可通过 λ 调节。机制上，它抑制重复探索已知 failure 区域，迫使搜索去找“同样失败但形态不同”或“严重度不同”的样本。

5. Bayesian posterior update：GP 在论文中只是实现选择，核心是低样本下需要 uncertainty-aware surrogate。真正必要的是 posterior predictive distribution，而不是 GP 本身；高维时作者也承认可能需要 BNN/VGP/deep kernel 等替代。

Key Insight / Why It Works

这篇论文有效的主要原因不是 LLM，也不是所谓 contextual reasoning，而是 active coverage 在高成本 failure discovery 中比纯 exploitation 更匹配真实目标。调试系统时，一个 failure cluster 的第 20 个样本价值很低；覆盖新的参数区域或新的 severity 区间价值更高。ECI 正是在 acquisition 层把这个偏好编码进去。

最核心贡献是把 constrained active search 的 coverage criterion 移植到 contextual failure discovery，并把专家语义反馈接入 posterior。这个组合解决了一个实际痛点：没有 cost function 时，专家标签可以构成 surrogate；有 surrogate 后，active learning 可以减少专家调用；coverage objective 又避免 surrogate 把采样吸到已知模式。

哪些部分可能只是辅助：GP 本身不是新东西，Bayesian inference 也不是核心 novelty；LLM-as-expert 更像降低人工成本的接口，而非方法论突破。论文里“contextual reasoning”的说法需要谨慎理解：系统本身没有显式因果推理，LLM prompt 也更多是在根据预定义规则和 caption 做分类，所谓 reasoning 很可能是 rule-following / retrieval-like evaluation。

这不是 scaling paper，也不是靠大模型能力本身取胜。增益主要来自 data coverage 与 better inductive bias：目标函数从 finding high-cost samples 转成 finding diverse constraint-satisfying samples。若 benchmark 中 failure region 稀疏但结构相对简单，这种 bias 会明显优于 random；若 failure region 高维、强组合、专家噪声大，则优势可能迅速下降。

一个值得注意的点是，coverage in metric space 在离散/稀疏 severity 下可能饱和很快，论文附录也观察到 λ=1 或 0.5 常比纯 metric coverage 更好。这说明实际有效信号更多来自 parameter-space exploration，而不是 learned failure metric 的丰富结构。换句话说，方法的强项可能是“在一个人类已设计好的低维 scenario space 中做聪明覆盖”，而不是自动理解复杂 failure causality。

Relation To Prior Work

最接近的谱系是 Bayesian optimization / constrained active search / black-box safety validation，而不是传统 RLHF 或 generative scenario generation。它借用了 BO 的 surrogate 和 uncertainty，借用了 constrained active search 的 expected coverage improvement，也借用了 expert-in-the-loop 的标签接口。

和 adaptive stress testing、rare-event simulation、MCMC falsification 的本质差异在于目标信号来源不同：后者通常有明确 likelihood/reward/robustness cost，这篇用专家评估构造目标。和 UCB/BO 的差异在于 optimization objective 不再是最大化 failure score，而是覆盖目标 failure set。和 generative failure models 的差异在于不需要大量历史 failure data，而是 sequentially acquire data。

看似新的部分中，Bayesian surrogate、GP、active learning 都是已有思想重组；实质创新在问题重构：把 contextual failure discovery 形式化为多模式专家语义约束下的 coverage-oriented active search，并展示它可用于真机和 LLM proxy expert。

它不是在推进 falsification 的理论边界，而是在推进 falsification 的使用边界：从“我们知道失败函数是什么”扩展到“我们只能识别失败语境”。

Dataset / Evaluation

实验选择比较贴合论文 claim：Push-T 仿真用于对照已知 cost function，Push-T 真机引入 sim-to-real failure 和人类专家，CARLA/YOLO 与 AEB 引入自动驾驶 contextual failures 和 LLM evaluation。覆盖了 manipulation 和 driving 两类任务，也包含真实机器人实验，这是加分项。

实验基本验证了三点：coverage-oriented 方法比 random 更容易找到满足阈值的多样 failure；UCB 容易 exploitation，正样本率高但覆盖差；在 severity 阈值提高时 random 明显失效，而 ECI 仍能找到目标区域。这些证据支持“高成本、小预算下主动覆盖有用”。

但 evaluation 没有完全验证“contextual reasoning”的强 claim。CARLA 和 AEB 中的 LLM 评估很大程度由 prompt、GiT caption、预定义条件和场景参数共同决定，存在 hidden supervision 的味道。尤其 AEB 的 failure mode 定义中包含显式条件，LLM 更像把结构化变量映射成二值标签，而不是独立发现原因。

此外，实验维度总体仍受控。AEB 虽是 9 维，但 coverage-I 极小，作者也承认高维下样本需求增长。评估证明了方法在 carefully designed scenario space 中有效，但没有证明它能自动扩展到开放世界长尾 failure discovery。

Limitation

最重要的隐含前提是 scenario space Z 已经被人设计得足够接近 failure causal variables。如果关键变量不在 Z 中，surrogate 和 active learning 再好也只能在错误空间里覆盖。论文没有解决 scenario construction，只是假设 domain knowledge 能选出合适参数。

第二个前提是 failure modes 至少大体可枚举。虽然论文展示了在线新增 mode，但这只是机制上可添加一个 surrogate；更困难的问题是新 mode 如何被稳定识别、如何避免和旧 mode 重叠、如何在 acquisition 中重新分配预算，文中未充分说明。

第三，专家评估被当成相对可靠的 oracle。人类专家会不一致，LLM 会 hallucinate 或受 prompt bias 影响。论文承认这一点，但方法本身没有建模 annotator noise、calibration 或 disagreement。若专家标签噪声显著，posterior uncertainty 会被错误解释为 epistemic uncertainty，采样策略可能被带偏。

第四，方法没有显式处理 stochasticity。它默认同一个 scenario 的 evaluation 基本确定，因此不鼓励 revisit。真实机器人和自动驾驶系统中 aleatoric uncertainty 很常见，此时“覆盖新点”与“重复确认高风险点”的 trade-off 会改变，当前 acquisition 不够。

第五，scalability 上限比较明确：GP 低样本友好，但高维/大样本不友好；coverage 估计需要 Monte Carlo；coverage radius、severity threshold、λ 都较敏感。很多增益可能来自低维参数空间中的 good coverage，而不是能泛化到复杂组合场景的强建模能力。

最后，方法可能只是把难题从“写 cost function”转移到“设计 scenario 参数、定义 failure modes、构造专家评估”。这在实践中仍然有价值，但不应被理解为自动化 failure discovery 的完整解法。

Takeaway

  • 1. 对高成本 falsification，最重要的目标往往不是找到最坏样本，而是用少量评估覆盖 failure set；coverage objective 比单点 worst-case objective 更符合调试价值。
  • 2. Expert-in-the-loop 的价值不在于替代 reward engineering，而在于把不可解析的 contextual failure 转成可学习的 posterior；这类方法未来会和 uncertainty-aware active learning 深度结合。
  • 3. 真正可迁移的 insight 是“多 failure-mode 独立 surrogate + coverage-aware acquisition”。
  • 这个模式可用于机器人策略调试、仿真场景生成、产品事故复现、human preference failure mining 等场景。

一句话总结

这篇论文把黑盒系统的 contextual failure discovery 从解析 cost 驱动的 falsification 推向专家语义反馈驱动的 Bayesian active coverage，是一次实用导向的问题重构，核心贡献在于用 coverage-aware active learning 低成本发现多样失败，而不是提出新的 failure reasoning 模型。