OpenReview preprint / 2025

Versatile Legged Locomotion Adaptation through Vision-Language Grounding

作者：I Made Aswin Nahrendra, Seunghyun Lee, Dongkyu Lee, Hyun Myung, Senior Member · 会议/期刊：OpenReview preprint · 方向：2025 · 发布日期：2025

四足机器人机器人学习足式机器人视觉语言动作运动控制

精读笔记

Problem Setting

这篇论文实际解决的核心问题是：足式机器人在实时运动中如何响应高层视觉-语言语义（如“像袋鼠一样跳”、“图书馆里安静点”、“雪地小心走”），而不是仅仅响应几何地形和底层速度指令。真正困难点是 Foundation Model（LLM/VLM）的推理延迟与足式控制高频实时性之间的根本冲突。以前的方法要么困在纯几何感知（高度图、深度图），要么把 LLM 放在控制环路内实时生成指令或奖励（如 SayTap），导致系统依赖云端 API、延迟高、野外部署不现实。这个任务的关键矛盾是语义理解的“重计算”与运动控制的“硬实时”无法在同一时间尺度上直接耦合。

Motivation

纯几何控制的天花板在于它无法捕捉 affordance 和社交语境；在线 LLM 控制虽然能处理语义，但本质上是把机器人当作文本终端，忽视了足式控制的毫秒级实时约束。作者的关键观察是：足式运动的“风格”其实可以被极低维的物理参数（步态周期 T、四足相位偏移 ψ、速度上限 v_lim）紧凑地参数化。这意味着，复杂的自然语言指令到物理运动的映射，可以被离线“预编译”成一个有限的指令-参数查找表；在线阶段只需要一个轻量级的视觉-语言编码器来做最近邻检索，而不需要 Foundation Model 在环实时推理。这个观察填补了“Foundation Model 常识如何落地到高频实时控制”的缺口。

Core Idea

论文的核心思想是把“视觉-语言-动作”的端到端问题，降级为“视觉-语言-检索”加“低维参数-动作”的分层解耦问题。直觉上，足式运动的物理约束极其严苛，不应该让 Foundation Model 直接输出关节力矩甚至接触序列；相反，应该让大模型的能力仅限于它最擅长的“语义匹配”，把匹配结果翻译成一组紧凑的风格参数，再交给专门强化学习训练的低层策略去执行。这种方法引入了一个新的归纳偏置：运动语义可以被离散化为一个由 LLM 离线扩展的结构化数据库，而实时适应则通过 VLM 的 embedding 空间相似度来完成。与直接在控制回路中查询 LLM 的方法相比，这本质上是把“test-time compute”转移成了“offline data scaling + test-time retrieval”，从而满足了实时性。

Method

关键机制可分为四层，每层解决一个特定的耦合问题：1. 离线 LLM 知识蒸馏与数据库构建：为了解决在线 LLM 延迟和部署困难，作者用 LLM 在离线阶段批量生成指令-运动描述符对。通过“prompted reasoning”强制 LLM 先输出自然语言推理再输出参数，提升了生成数据的多样性和结构化程度。这一步把 Foundation Model 的常识固化到了一个可本地部署的数据库中。2. Text-as-Image 的 VLM 检索：VLM（BLIP-2）在图像-文本对比学习中训练，对纯文本之间的细粒度语义关系建模较弱。作者把文本查询渲染成图片，将检索问题统一为图像-图像/图像-文本匹配，从而激活了 VLM 最强的跨模态对齐能力。3. Mixed-Precision Retrieval：单独使用 embedding cosine similarity 速度快但精度低（21%）；单独使用 BLIP-2 的 ITM head 精度更高但无法承受全库遍历。作者用 cosine similarity 做 Top-K 粗筛，再用 ITM head 做精排，解决了检索的 scalability 与 accuracy 之间的矛盾。4. Compliant Contact Tracking：在低层策略训练中，严格的接触跟踪奖励会损害鲁棒性。作者引入了一个带死区（dead zone）的合规误差函数：当实际接触状态与期望状态的偏差在阈值内时，不施加惩罚。这让策略在跟踪风格的同时，保留了对地形扰动的物理顺应性。

Key Insight / Why It Works

这个方法真正有效的原因不是某个单一模块，而是它做对了“能力分层”：让 Foundation Model 负责语义对齐（检索），让 RL 策略负责物理鲁棒性（控制），两者通过低维、可解释的风格参数桥接。其核心贡献应当是“把足式控制的语义适应问题重构为可扩展的检索问题”，而非提出了某种新的控制理论。Compliant contact tracking 是一个有效的工程技巧，但本质上是奖励塑造（reward shaping）的一种变体。值得警惕的是，文中 87% 的指令跟随准确率是在一个仅有 100 条指令的小规模数据库上测得的，且运动描述符空间非常结构化，这导致检索任务本身就不难；所谓的“泛化”很大程度上依赖于 LLM 离线生成时已经覆盖了相近的语义描述。此外，humanoid 的 zero-shot 实验只是复用了前两个 leg offset，这几乎不能证明跨本体泛化，更像是参数子集的巧合兼容。因此，系统的“智能”可能更多地来自离线 LLM 的数据覆盖和 VLM 的预训练语义对齐，而非在线的深层推理。

Relation To Prior Work

与 SayTap（ICLR 2024）最为接近：SayTap 用 LLM 在线生成接触计划（contact schedule），把 LLM 放在控制回路中；LocoVLM 则彻底将 LLM 移出在线回路，用离线数据库+轻量 VLM 检索替代，这是本质差异。与 Walk These Ways / AllGaits 等风格控制工作相比，那些方法依赖手工设计的启发式奖励或随机 latent 来探索风格，没有解决“如何用自然语言/视觉语义指定风格”的问题。与 RT-2 等 VLA（Vision-Language-Action）模型相比，LocoVLM 没有试图训练一个端到端的大模型输出动作，而是坚持分层解耦，这在足式机器人这种高动态域中是更务实的选择。该技术路线属于“Foundation Model Distillation for Robot Control”和“Retrieval-Augmented Behavior Generation”的交叉。

Dataset / Evaluation

实验主要基于 Isaac Gym 仿真训练，在 Unitree Go1 真机上部署验证，另有一个 MuJoCo 中的 Unitree H1 人形机器人仿真测试。任务覆盖了多种几何地形（rough, discrete, stairs）和三类语义指令：模仿动物、场景响应、直接命令。Evaluation 的明显局限在于：缺乏大规模、公开的定量 benchmark；87% 的检索准确率基于作者自己人工标注的 100 条数据，统计量过小；真机实验主要是定性展示（如 Fig 6 的校园雪地场景），缺乏系统的真机定量对比；人形机器人的 zero-shot 测试过于简化（仅截取前两个 leg offset），无法支撑其关于“embodiment generalization”的 claim。

Limitation

方法成立强依赖一个前提：所有需要的运动风格都能被一个低维、周期性的参数向量（T, ψ, vlim）充分表达，这天然排除了复杂非周期运动（如攀爬、踢球、滑倒恢复）。系统的所谓“推理”本质上是数据库检索，部署时遇到完全超出离线生成分布的指令，系统不具备动态推理和组合泛化能力。Mixed-precision retrieval 的增益在仅有 300 条数据库时成立，当数据库规模扩大到真实世界所需的量级（数千至数万条），其 scalability 和准确率尚属未知。此外，论文把 VLM 部署在外部笔记本 GPU 上，通过 ROS 与机器人异步通信，虽然作者声称延迟可忽略，但这并非严格意义上的全自主 onboard 系统。最后，compliant tracking 中的阈值 δ 是固定超参数，文中未讨论其对不同机器人质量、地形难度的敏感度。

Takeaway

  • 1. 离线蒸馏+在线检索可能是 Foundation Model 落地高频控制更务实的范式：与其把大模型硬塞进实时控制环，不如让它在离线阶段“写手册”，在线阶段做快速检索。
  • 这个思路可以迁移到无人机飞行风格、机械臂操作原语选择等需要实时响应的领域。
  • 2. Text-as-Image 是一个被低估的 VLM trick：当需要利用 VLM 做纯文本语义匹配时，将其渲染为图像往往比直接送入文本编码器更有效，这利用了 VLM 在图文对比预训练中的固有偏置。
  • 3. 低维、可解释的运动参数化是语义-动作对齐的关键桥梁：未来如果要扩展到更复杂的技能，如何设计既紧凑又富有表达力的“技能描述符”空间，比单纯扩大数据库更重要。

一句话总结

LocoVLM 将足式机器人的视觉-语言语义适应问题重新定义为“离线 LLM 蒸馏生成结构化数据库 + 在线 VLM 轻量级检索低维风格参数”的分层框架，证明了无需 Foundation Model 在线推理即可实现实时高层语义运动控制，属于 Foundation Model 知识蒸馏与参数化运动检索路线在足式领域的早期成功尝试。