Science Robotics / Research Article

Beyond alignment: Why robotic foundation models need context-aware safety

作者：Alexander Robey, Zachary Ravichandran, Eliot Krzysztof Jones, Jared Perlo, Fazl Barez, Vijay Kumar, J. Zico Kolter, Hamed Hassani, George J. Pappas · 单位：Machine Learning Department, Carnegie Mellon University, Pittsburgh, PA, USA, Department of Electrical and Systems Engineering, University of Pennsylvania, Philadelphia, PA, USA, Oxford Martin School, University of Oxford, Oxford, UK · 来源：Science Robotics · 发布日期：2026-04-29 · DOI：10.1126/scirobotics.aef2191

视觉语言动作安全机器人

精读笔记

Problem Setting

《Beyond alignment: Why robotic foundation models need context-aware safety》（Science Robotics / 2026）讨论的是 embodied foundation model 的安全边界问题。它真正要解决的不是某个机器人任务失败，而是现有安全范式在 AI-enabled robots 上的错配：chatbot alignment 主要判断请求本身是否有害，classical robot safety 主要约束低层运动是否越界；但机器人 foundation model 的危险性往往取决于“语义目标 × 当前世界状态 × 可执行动作”的组合。

真正困难点在于安全标签不是静态的。倒开水、递工具、移动物体、接近人类、拿取某个对象，这些在文本层面很难被无条件判为安全或危险；它们只有在具体上下文中才有安全含义。以前方法卡在两端：alignment 处理不了物理情境中的条件性危险，CBF/ISO/急停等处理不了语义层风险和开放世界中的 latent context。关键矛盾是 foundation model 提供了泛化和开放词汇控制，但安全机制仍假设任务边界、状态变量和约束集合能预先穷举。

Motivation

作者的动机来自两个事实的叠加。第一，LLM/VLM/VLA 已经不只是生成文本，而是在机器人栈中承担 planning、affordance 判断甚至低层 action prediction；因此 jailbreak 或错误语义推理不再只是输出有害文本，而会变成真实物理动作。第二，机器人安全比 chatbot safety 更强依赖上下文：同一句指令、同一个动作，在不同环境中可能从正常操作变成伤害行为。

已有路线不够的原因很直接：alignment 主要塑造模型对显式 harmful request 的拒绝行为，但它不能保证模型在视觉场景中识别隐含危险；传统控制安全有形式化保证，但它需要低维、明确、预定义的 constraint set。作者想强调的缺口是中间层：如何把“当前环境中什么是危险”从感知和语义中推断出来，并将其转化为可执行的 planning / control constraint。缺的不是更强的 refusal prompt，而是 context-grounded safety interface。

Core Idea

核心思想是把机器人安全从“模型是否 aligned”改写为“控制栈是否能在运行时构造并执行上下文条件化的安全约束”。这改变了建模方式：安全不再被看作 foundation model 的内部属性，而被看作跨层系统属性。高层规则提供 normative prior，中层 grounding module 从环境中提取安全相关变量，低层控制器把这些变量转成硬约束或概率保证。

这个思路理论上成立的原因是它引入了正确的 inductive bias：不要要求一个黑箱 planner 同时完成任务理解、场景理解、伦理判断、风险预测和控制验证，而是将这些职责拆开，并在信息流上设置外部检查点。和 prior 的本质区别不在于用了 constitution、world model 或 CBF 这些单独组件，而在于它把安全判断绑定到 runtime context，并把语义层判断向下游控制层传递。更 scalable 的地方在于分层结构允许不同安全机制覆盖不同 failure mode，而不是期待单次 alignment 训练覆盖开放世界所有危险组合。

Method

文章提出的“方法”更像一套设计原则，而不是完整算法。

第一，声明式规范。它解决的是高层目标空间没有明确规范边界的问题，例如武器、监控、伤害、隐私等敏感用途。为什么需要它：纯数据训练中的安全偏好是隐式的、稀疏的，并且容易被 prompt framing 绕过。核心变化是把一部分规范先验显式注入 planner 或 probe，而不是指望模型从预训练分布里自动抽取。

第二，分层安全架构。它解决的是 planner 单点失效会直接传到 actuator 的问题。为什么需要它：foundation model 的内部推理不可验证，且 adversarial prompt 可以操纵其输出。核心变化是把 planning 与 actuation 解耦，在输入、计划、中间状态和输出处设置 gate，使安全判断可以由外部模块复核。

第三，上下文 grounding 与安全标注。它解决的是安全性随环境变量变化的问题。为什么需要它：没有 context label 的 demonstration 往往只告诉模型“动作怎么做”，不告诉模型“什么条件下不能做”。核心变化是训练和部署时显式利用 safety-relevant context，让模型或外部 world model 能识别危险条件。

第四，低层控制兜底。它解决的是高层语义判断错误后仍需要限制物理执行的问题。为什么需要它：任何 VLM/LLM/VLA 的安全判断都可能错，最后一道防线必须落到可执行约束上。核心变化是把部分语义安全判断转成 CBF 等控制约束，使安全不完全依赖 planner 的自觉拒绝。

Key Insight / Why It Works

最重要的 insight 是：机器人安全的失败不是 alignment 强度不足这么简单，而是安全谓词缺少上下文参数化。一个 aligned chatbot 可以拒绝“制造炸弹”，但机器人面对“把这个包拿给那个人”“把水倒出去”“靠近那个目标”这类任务时，危险性取决于当前场景和后续物理交互。换言之，机器人安全需要的是 conditional safety reasoning，而不是 unconditional refusal。

方法可能有效的核心原因是 better inductive bias，而不是 scaling。分层 guardrail 把不同风险源分配给不同机制：规则处理显式禁止类别，world model 处理环境状态，monitor 处理 planner 输出，CBF 处理动力学边界。这种结构降低了单个模型必须学到完整安全函数的难度，也给系统提供了多处拦截机会。

但需要直接指出：文中很多有效性证据来自已有工作和局部实验，不足以证明 general context-aware safety 已经解决。安全提升很可能来自额外监督、规则覆盖、外部 world model 的 hidden supervision，以及 benchmark 中风险变量较容易被视觉识别。所谓“reasoning”在不少场景可能更像 retrieval / classification：识别人手在壶嘴下、识别武器、识别人类位置，然后触发规则或约束。真正困难的长期因果风险、不可观测意图、多步计划副作用，文中没有充分覆盖。

最可能的实质贡献不是某个模块，而是问题重构：把 embodied alignment 从模型训练问题推进到 system safety architecture 问题。这比单纯说“机器人也需要 RLHF”更准确，也更接近真实部署需要。

Relation To Prior Work

这篇文章处在三条谱系的交叉处：LLM/VLM robot planning、robot safety/control verification、AI alignment/security。和 SayCan / affordance-grounded planning 一类工作相比，它强调的不是“语言计划能否落地”，而是“落地动作在当前上下文是否安全”。和 RLHF / constitutional AI 相比，它认为文本层面的规范对齐不足以处理物理条件性危险。和 CBF / ISO safety 相比，它指出传统方法的 constraint set 太静态，无法覆盖开放世界语义风险。

很多看似新的东西其实是已有思想重组：constitution、safety filter、external monitor、world model、CBF 都不是新概念。实质新增的信息是把这些机制组织成一个针对 robotic foundation model 的上下文安全框架，并明确指出 alignment 与 control safety 之间存在语义-grounding 缺口。它的创新更多是 conceptual reframing / architecture-level thesis，而不是算法级突破。

Dataset / Evaluation

本文自身没有新的 benchmark 或完整实验表格，主要引用已有 evidence：LLM-controlled robots 在 adversarial prompt 下可被诱导执行监控、武器递送、碰撞等危险行为；VLA 也存在 adversarial vulnerability；contextual safety reasoning + CBF 在仿真和真机四足平台上减少了不安全行为，并接近 oracle context。

这些 evidence 支撑了“alignment alone 不够”和“context grounding 有价值”两个 claim，但还没有充分支撑“layered context-aware safety 能系统性解决开放世界机器人安全”。任务覆盖看起来包括 adversarial goals、移动机器人、四足机器人、单臂移动操作等，但多数证据仍偏向可明确描述的危险场景。真实 deployment 的难点——长尾物体、模糊人类意图、动态多主体、任务长期副作用、sensor uncertainty、分布外 adversary——没有被系统验证。

因此 evaluation 更像 proof-of-need 和 proof-of-concept，而不是 strong empirical validation。它证明了问题存在，也证明了上下文层能带来收益；但 benchmark 是否足以验证 generalizable context-aware safety，答案是否定的。

Limitation

第一，文章没有给出上下文安全变量的可扩展定义。哪些变量安全相关、如何自动发现、如何在新任务中迁移，文中未充分说明。人工 constitution 和 context labels 在小规模敏感场景有效，但开放世界长尾会迅速爆炸。

第二，layered architecture 可能只是转移问题。planner 不可信，于是引入 monitor；monitor 需要 world model；world model 又需要可靠感知和安全语义；CBF 需要把语义风险转成形式约束。每一层都可能成为新的 failure point。root-of-trust 模型为什么可信，文中没有充分说明。

第三，增益归因不清。上下文方法优于非上下文方法，可能主要来自额外监督、显式规则、oracle-like labels 或 benchmark 中风险特征明显，而不一定来自真正的安全推理。所谓泛化可能依赖 benchmark overlap 或风险模板相似。

第四，低层可验证控制的适用范围有限。CBF 对几何碰撞、速度边界、距离约束有效，但对语义伤害、隐私、欺骗、工具 misuse、长期计划副作用并不自然。很多 embodied harm 不能简单写成 barrier function。

第五，多步任务中的状态记忆和因果风险缺失。文章主要讨论当前上下文下动作是否安全，但真实机器人任务中危险往往来自动作序列、资源转移和未来 affordance 改变。planner 实际是否形成长期状态建模，文中没有证据。

Takeaway

  • 1. 机器人 foundation model 的安全核心不是更强 refusal，而是 runtime context-conditioned constraint generation。
  • 这个视角值得迁移到所有具身智能系统。
  • 2. Alignment 和 control safety 之间需要一个显式语义-grounding 层；未来真正有价值的工作会在“把视觉/语言上下文转成可验证约束”这里展开。
  • 3. 分层安全不是工程洁癖，而是必要 inductive bias：单个 VLA/LLM 不可能可靠覆盖开放世界所有危险组合。

一句话总结

这篇文章的主要贡献是把机器人 foundation model 安全从 chatbot-style alignment 问题重新定位为分层、上下文条件化、可 grounding 的系统安全问题，属于从模型对齐走向具身安全架构的范式转移。