Preprint / 2024

DrEureka: Language Model Guided Sim-To-Real Transfer

作者：Yecheng Ma, William Liang, Hung-Ju Wang, Yuke Zhu, Linxi Fan, Osbert Bastani, Dinesh Jayaraman · 单位：University of Pennsylvania, NVIDIA, University of Texas, Austin · 会议/期刊：Preprint · 方向：2024 · 发布日期：2024

四足机器人机器人学习仿真到现实

精读笔记

Problem Setting

本文实际解决的是 sim-to-real pipeline 中“人类设计瓶颈”的自动化问题，而非单纯的策略学习。真正困难之处在于：奖励函数和 DR 配置相互耦合，且各自搜索空间无限；传统方法要么依赖领域专家直觉，要么需要在真实世界中进行昂贵且可能不安全的迭代试错。任务的关键矛盾是：如何在零真实世界数据的情况下，自动发现既能驱动仿真学习又能覆盖真实物理差异的训练配置。

Motivation

已有 LLM 奖励设计工作只在仿真中验证，未触及 sim-to-real 转移；而传统自动 DR 方法将问题视为纯数值优化，缺乏物理常识先验，导致样本效率低。作者的核心观察是：DR 参数设计本质上是“带物理常识的约束选择”问题，这正是 LLM 的强项；但 LLM 缺乏任务相关的尺度感，容易提出不可学习的范围。因此，关键缺口在于为 LLM 的常识提供任务级 grounding，使其假设生成落在与当前奖励/策略兼容的物理流形上。

Core Idea

核心思想是把 sim-to-real 设计重新建模为“LLM 引导的约束代码生成”问题。关键不是让 LLM 直接在高维空间优化，而是通过 RAPP 构建一个由当前策略鲁棒性决定的物理参数可行域，再将 LLM 的物理常识限制在该可行域内生成 DR 配置。这引入了一个新的信息组织方式：奖励设计决定了策略在物理空间中的“有效可达集”，RAPP 提取该可达集的边界，LLM 则基于常识在这个边界内做稀疏假设生成。与 prior 的本质区别在于：传统 Auto-DR 是数据驱动的密集搜索，DrEureka 是知识驱动的约束生成。

Method

方法层面有三个关键机制，各自解决不同问题：1. Safety instruction：解决“仿真奖励在真实世界过拟合到不安全行为”的问题。通过 prompt 内建安全约束，使 LLM 在生成阶段就平衡任务性能与物理可行性，而非事后添加惩罚项。2. RAPP：解决“LLM 缺乏任务相关物理尺度”的问题。通过在单参数扰动下评估初始策略，提取策略仍能成功的参数区间，为 LLM 提供 grounded 的采样边界。3. LLM for DR：解决“高维 DR 空间中盲目搜索效率低”的问题。将 DR 生成转化为代码生成任务，利用 LLM 的常识选择参数子集和合理范围，实现 zero-shot 假设生成。

Key Insight / Why It Works

方法真正有效的核心是“约束 grounding”，而非 LLM 的端到端优化能力。单独的安全指令使奖励从“仿真最优”转向“物理可部署”；单独的 RAPP 提供了任务相关的物理边界；但只有两者结合，LLM 才能生成可学习的 DR 配置——消融实验显示，直接拿 RAPP 全范围做 DR（Prompt DR）会因范围过宽导致策略过度用力，而无先验的 LLM 生成则直接崩溃。LLM 在这里的作用本质上是“带常识的稀疏优化器”：在巨大的 DR 空间中提出少量高质量假设，从而避开 CEM/BayRn 等方法对密集真实世界评估的依赖。此外，安全指令的成功验证了：对于 sim-to-real，奖励的归纳偏置（inductive bias）比数值优化更重要。

Relation To Prior Work

与 Eureka 的关系是直接扩展：Eureka 解决仿真奖励，DrEureka 将其扩展到 sim-to-real 配置。与 Auto DR、CEM、BayRn 等自动 DR 方法的本质差异在于：后者将 DR 视为纯数值黑盒优化，依赖仿真或真实反馈进行密集采样；DrEureka 将其转化为基于语言先验的约束生成问题，利用 LLM 的物理常识替代盲目搜索。与 System ID 方法的区别在于 DrEureka 不需要真实世界数据。属于“LLM for robotics”谱系中“用 LLM 做结构化代码/配置生成”的分支，其真正新增的信息是：通过 RAPP 将策略行为边界编码为 LLM 可理解的上下文约束。

Dataset / Evaluation

覆盖了标准 benchmark（四足运动、灵巧操作）和一个新颖的 circus-style 任务（瑜伽球行走），并在真实机器人上部署验证，这是其 claim 的主要支撑。但任务覆盖范围有限：所有任务均基于 Isaac Gym 的刚体/简化接触动力学。对于瑜伽球任务，作者明确承认仿真无法建模球的变形，因此该任务的成功更多展示了方法的“快速原型”能力，而非对复杂非刚性物理的泛化。评估未涉及跨仿真器验证或多任务迁移，benchmark 主要验证了“替代人工设计”的 claim，对“跨域泛化”的验证不足。

Limitation

方法的成立依赖几个隐性前提：LLM 的物理常识必须与仿真器语义对齐；RAPP 假设单参数可行区间的乘积能逼近联合可行域，这在参数高度耦合时可能不成立。更深层局限在于：DR 生成后是静态固定的，无法根据训练进度或真实反馈动态调整；且缺乏仿真到真实的策略选择机制，需要部署多个候选到真实世界。此外，性能增益部分可能来自 LLM 生成的乘性奖励结构（与人工加性奖励不同），文中未充分解耦奖励形式与 DR 配置各自的贡献。对于仿真-真实存在结构性差异的场景（如可变形体），RAPP 基于刚体假设的边界可能反而构成误导。

Takeaway

  • 1. LLM 在物理参数空间中的核心价值不是“优化”，而是“常识引导的假设生成”——这一范式可迁移到超参数搜索、控制器调参等其他机器人设计问题。
  • 2. RAPP 是一种通用的“策略画像”技术：通过探测策略在扰动下的表现来提取其隐含的物理鲁棒性边界，可用于任何需要为学习算法提供物理先验的场景。
  • 3. Safety instruction 的有效性表明：在 LLM-based 设计流程中，通过自然语言注入真实世界约束（安全性、平滑性）比后处理或硬编码更灵活、更可扩展。
  • 4. 未来真正值得做的不是让 LLM 生成更复杂的奖励，而是建立“仿真-真实”双向反馈闭环，让 LLM 根据真实部署数据迭代修正 DR 和奖励。

一句话总结

DrEureka 将 sim-to-real 中的奖励与域随机化设计重新定义为“由 LLM 物理常识驱动、由策略鲁棒性边界约束的自动化配置生成”问题，用 RAPP 桥接了奖励优化与物理随机化之间的耦合鸿沟。