arXiv preprint 2025 / 轻量组件

MiniVLA: A Better VLA with a Smaller Footprint

作者：作者信息待提取 · 会议/期刊：arXiv preprint 2025 · 方向：轻量组件 · 发布日期：2025

视觉语言动作轻量组件高效架构

精读笔记

Problem Setting

这篇论文真正处理的是 VLA 的效率-性能矛盾：OpenVLA 代表的路线把机器人策略建立在大 VLM/LLM 之上，但 7B 参数带来的训练和推理成本很高，而机器人控制本身未必需要这么强的语言生成能力。关键困难不在于让模型“看懂图像和语言”这个表层问题，而在于如何把视觉语言表示稳定地映射到连续、时序相关、对接触敏感的动作上。

以前方法卡在两个接口上：输入侧通常是单张图像，缺少短时状态和末端局部几何；输出侧通常是逐维 action binning，把连续控制问题硬拆成一串弱结构离散 token。这个设计对 LLM 友好，但对控制不友好。MiniVLA 的问题意识是：VLA 的性能瓶颈可能不是模型不够大，而是 action/observation representation 太差。

Motivation

作者的核心观察是：OpenVLA 虽然是开放 VLA 里很强的 baseline，但它继承了 VLM 架构的很多默认选择，而这些选择并非为机器人控制优化。大语言骨干提升了通用语言/视觉能力，却没有直接解决动作连续性、短时动态、遮挡、末端状态估计这些 policy learning 的关键问题。

因此缺口在于：VLA 需要更轻的推理 footprint，同时需要更强的控制归纳偏置。与其继续扩大 LLM，不如先问一个更基础的问题：在当前 manipulation benchmark 上，哪些能力真正决定成功率？MiniVLA 的设计基本是在回答这个问题：小模型足够承载 VLA 框架，真正值得改的是动作 token 的语义粒度和输入状态信息。

Core Idea

MiniVLA 的核心思想不是单纯压缩模型，而是重新分配建模预算：把语言骨干从 7B 缩到 0.5B 量级，同时在动作空间和观测空间引入更符合控制结构的 inductive bias。小 LLM 负责条件生成和多模态融合，动作 chunk latent 负责承载短时运动模式，多图像输入负责补充状态估计。这个组合本质上削弱了“LLM 作为智能核心”的叙事，强化了“VLA 作为多模态 imitation policy”的属性。

与 OpenVLA 的本质差异在于 action token 不再只是连续动作的逐维量化值，而更接近离散化的运动 primitive。VQ action chunking 把一段动作轨迹压成少量 codeword indices，使模型预测的是已经带有时间一致性的 latent structure。这样既保留了 LLM 离散 token prediction 的形式，又避免让 LLM 直接建模低层连续控制的细碎变化。这个改变比换 backbone 更像核心贡献。

Method

第一，小 backbone 替换：MiniVLA 用 Qwen2.5-0.5B 替代 OpenVLA 的 Llama2-7B，同时保留类似 Prismatic 的视觉编码器。这一步解决的是部署成本和推理频率问题，也是在实验上检验语言容量是否过剩。核心变化是将 VLA 的瓶颈假设从“需要更大 language model”转向“需要更好的 control interface”。

第二，VQ action chunking：用 residual VQ 将动作序列 chunk 编码为 M 个 codeword tokens。它解决的是单步 action binning 缺少时序结构的问题。预测 chunk latent 相当于给策略加入动作连续性和平滑性先验，也减少了自回归模型需要生成的低层 token 细节。值得注意的是，文中单步 VQ 几乎无增益，这强烈说明收益来自 chunk temporal abstraction，而不是 VQ 本身。

第三，多图像输入：加入 history 或 wrist image。它解决的是单帧第三视角观测无法恢复完整状态的问题，尤其是末端执行器位置、遮挡和接触阶段。核心变化是增强 observation statefulness，而不是增强推理。这里的增益更像传统机器人视觉策略中已知有效的信息补全。

Key Insight / Why It Works

最重要的 insight 是：在当前 VLA manipulation benchmark 中，大 LLM 容量很可能不是决定性因素。MiniVLA 与 OpenVLA 在基础 LIBERO-90 上接近，说明 7B Llama 的很多能力对这类任务没有被充分使用；机器人策略更依赖数据覆盖、视觉 grounding、动作先验和短时状态估计。换句话说，OpenVLA 的 7B 参数很可能有相当部分是 deployment burden，而不是 task-critical capacity。

真正有效的部分大概率是 VQ action chunking。它把 action prediction 从“逐步数值回归的离散化版本”变成“短时行为片段分类/生成”。这会同时带来几个效果：降低动作空间复杂度、减少 compounding error、引入平滑和时间一致性、让模型学习数据集中常见的 motor motifs。它更接近 latent action / behavior prior，而不是语言模型意义上的推理提升。

multi-image 的贡献也合理，但它不是新 insight，而是把 Octo、ACT、Diffusion Policy 等 policy class 中早已验证的输入设计移植到 VLA。history 提供隐式速度/动态信息，wrist image 提供局部接触几何。它增强的是 state estimation，不是 semantic reasoning。

我会把这篇的贡献归因为：better inductive bias + representation alignment，而不是 scaling。甚至可以说它是 anti-scaling 的一个实证信号：在 VLA 中盲目扩大 LLM 不如改 action representation。至于 82% 的提升是否完全来自设计本身，仍需谨慎；LIBERO-90 的任务结构较短、动作模式重复度高，VQ chunk 很可能在利用 benchmark 中的行为模板分布。所谓泛化可能很大程度上是 latent action retrieval，而不是组合式规划能力。

Relation To Prior Work

MiniVLA 最接近 OpenVLA / Prismatic VLM 系列，架构上不是新范式，而是 OpenVLA 的轻量化和接口修正。和 EdgeVLA/EVLA 这类高效 VLA 工作相比，它的新增信息在于更系统地展示小 backbone 在 LIBERO 上不掉点，并把 action chunking 和 multi-image 作为性能主因纳入同一框架。

VQ action chunking 显然继承了 VQ-BeT、latent action、ACT、Diffusion Policy 中关于动作片段建模的思想。新意不在 VQ 或 chunking 本身，而在于将其适配到 VLA 的 token prediction 接口：让 LLM 输出 codeword token，而非逐维 action bin。这个桥接是实质性的 engineering-representation innovation。

multi-image support 则基本是已有机器人策略常识的迁移，不应被视为概念创新。它的重要性在于提醒 VLA 社区：不要因为模型叫 VLM/VLA 就忽略经典 policy architecture 中已知有效的观测设计。

Dataset / Evaluation

评估主要集中在 LIBERO-90，外加 Bridge V2 训练后在 Simpler Env 上的少量任务测试。LIBERO-90 能验证多任务模拟 manipulation 下的效率和成功率，但不能充分验证真实世界鲁棒性、跨 embodiment 泛化、长程任务规划或语言组合泛化。它更适合支持“在常见模拟多任务 imitation benchmark 上，小模型 + 好表示可以超过大模型 baseline”这个 claim，而不是支持“MiniVLA 是更通用的 VLA”。

Bridge/Simpler Env 的结果更有参考价值，因为涉及真实数据分布和 sim-real proxy，但任务数很少且表现不均：有的任务超过 OpenVLA，有的任务明显失败。这说明方法可能对动作模式和任务分布敏感。文中没有足够 ablation 来判断失败来自小 backbone、VQ codebook、数据覆盖还是 evaluation mismatch。

整体上，实验足以说明 OpenVLA baseline 的 action/input interface 有明显改进空间；但不足以证明 MiniVLA 在开放环境真实机器人部署中更 generalizable。

Limitation

第一，方法成立依赖一个隐含前提：任务可以由短时 action chunks 覆盖，且训练集中存在足够重复的 motor primitives。如果任务需要长程规划、在线纠错、稀有动作组合或精细接触控制，VQ codebook 可能把连续控制问题转化为 codebook coverage 问题。问题并没有消失，只是从 policy 输出空间转移到 latent action vocabulary 的覆盖和分辨率上。

第二，增益归因不够干净。VQ h8、history、wrist image 都提升性能，但文中未充分说明这些组件之间是否有交互、是否对不同 task family 一致有效、是否改变 rollout horizon 或控制频率。特别是 action accuracy 降低但 success rate 上升，说明 offline token accuracy 不是好指标，也暗示模型可能受益于动作平滑/模板化，而不是更精确预测。

第三，小 LLM 的结论有适用边界。LIBERO 类任务语言复杂度有限，指令多为短语级目标描述。不能据此推断 0.5B backbone 对真实人机交互、多步骤语言条件规划、视觉问答式纠错仍然足够。语言能力下降在 TextVQA 等任务上已经明显，只是这些能力在当前 benchmark 中没有被充分测试。

第四，真实世界部署证据不足。推理频率提升是实用价值，但真实机器人上的 latency、闭环稳定性、传感器噪声、相机标定偏差、action chunk 执行期间的再规划需求，都可能改变结论。VQ chunking 还可能降低高频反馈能力，尤其在接触丰富或动态环境中。

Takeaway

  • 1. VLA 的下一步不一定是更大 LLM；至少在 manipulation imitation learning 中，动作表示和观测设计的边际收益可能远高于语言 backbone scaling。
  • 2. 将 action chunk 作为离散 latent token 是一个值得迁移的设计：它保留了 transformer/LLM 的 token interface，同时把控制问题的时序结构显式编码进输出空间。
  • 3. MiniVLA 的价值在于把 VLA 拉回 policy learning 的基本问题：state estimation、temporal abstraction、behavior prior。
  • 它提醒我们不要把所有性能提升都寄托在 foundation model 容量上。

一句话总结

MiniVLA 是一次对 OpenVLA 路线的有效“去大模型化”修正：它表明当前 VLA 的关键改进更可能来自控制友好的动作/观测表示，而不是继续扩大语言骨干。

新标签打开 Paper