精读笔记

Problem Setting

VEGA 处理的不是一般意义上的“语言导航”，而是一个更具体的监督瓶颈：如何从没有 robot action、没有显式 goal、没有机器人坐标系轨迹的 in-the-wild egocentric video 中构造可用于训练 navigation VLA 的 dense action supervision。

真正困难点在于 navigation supervision 必须同时满足三件事：目标条件化、障碍物感知、落在机器人局部动作空间中。普通视频只给了视觉流和隐含的人类运动轨迹；机器人导航数据给了动作但规模小、目标稀疏；classical planner 给了安全轨迹但需要在线几何和显式地图。关键矛盾是：VLA 需要互联网级语义/视觉覆盖，但安全导航又需要高质量几何监督，而这两类信号通常不在同一个数据源里。

以前方法卡在两端：基于 robot demo 的 navigation VLA 监督太稀疏，同一场景通常只有单一目标或单一路径；基于 egocentric video 的方法多半只能利用观测轨迹或由已有 policy 打标签，缺少对同一局部场景下多个 counterfactual goals 的可行路径覆盖。结果是模型容易学到 goal-agnostic 的 dominant traversal pattern，而不是“目标改变时轨迹如何改变”。

Motivation

作者抓住的缺口是：互联网第一视角视频并不缺少导航视觉分布，缺的是把这些视觉分布转成 robot-centric、goal-conditioned、collision-aware action labels 的机制。

已有路线不够的原因很直接。直接 imitation robot data 不可扩展，因为覆盖维度随场景、目标、障碍布局、机器人 embodiment 组合爆炸。用人类视频的 observed trajectory 又太单薄：一段视频只展示了拍摄者实际走过的一条路径，并没有告诉模型如果目标换成旁边的椅子、门、行人或某个 free-space waypoint 时该怎么走。用预训练导航 policy 给视频打标签则会把该 policy 的避障缺陷继承到新模型中，尤其在 close-range clutter 下上限明显。

VEGA 的动机可以理解为：不要把 video 当 demo，而是把 video 当可重建的局部世界状态；不要学习“人怎么走过这里”，而是用几何 planner 枚举“机器人在这里可以怎样安全地走向不同目标”。这是论文最重要的视角转变。

Core Idea

VEGA 的核心思想是把 action-free egocentric video 转换成 geometry-supervised counterfactual navigation dataset。对每个视频帧，先用 monocular geometry foundation model 重建局部 3D，再构造 visibility-aware ESDF；然后在场景中抽取对象目标、图像区域目标和自由空间 waypoint；最后用 MPPI 在 ESDF 上生成避障轨迹。VLA 训练时只看 RGB 和 goal，不看 ESDF；ESDF 只作为 offline teacher 产生 action distribution。

本质区别在于信息流被重新组织了：传统 navigation VLA 是“数据中的动作 → policy”，VEGA 是“视频中的几何 → planner 生成动作 → policy”。这引入了强 inductive bias：局部 free space、clearance、unknown-as-obstacle、非完整约束等 classical navigation bias 被编码进监督标签，而不是指望 VLA 从稀疏 demonstrations 中自己悟出来。

它理论上可扩展的原因不是模型更强，而是 annotation cost 被转移到 foundation perception + classical planning。只要 monocular geometry 和 object grounding 足够好，就可以把海量普通第一视角视频变成密集多目标轨迹监督。这比收 robot demo 更 scalable，也比单轨迹 video learning 更能覆盖目标条件化分布。

Method

1. 几何恢复与 ESDF：解决的是 video 没有可用于规划的空间结构的问题。MoGe-2 提供 metric point map，RANSAC 地面平面对齐到 robot frame，BEV occupancy 和 visibility mask 把局部空间分成 free / occupied / unknown。核心变化是：单张 RGB 被提升成可查询 collision 和 clearance 的局部 planning substrate。这里最关键的是 unknown 被当作不可通行区域，这给监督注入保守安全 bias。

2. 多模态 goal anchoring：解决的是视频没有显式导航目标的问题。Florence-2 检测对象并投影到地面，形成 text / image-region / waypoint 对齐目标；再从 free space 采样辅助 waypoint。核心变化是一个视频帧不再只对应一个隐含目的地，而是扩展成多个 counterfactual goals。这是比单纯从视频轨迹学习更重要的监督密度提升。

3. MPPI trajectory generation：解决的是有目标和地图但没有机器人动作的问题。MPPI 在非完整动力学、ESDF clearance、goal progress 和 smoothness 下生成局部 waypoint trajectory。这里不是为了部署时用 planner，而是为了把 planner 的可行性判断变成训练标签。核心变化是监督从 human path 或 policy pseudo-label 变成 geometry-derived feasible trajectory。

4. Flow-matching VLA：解决的是同一 observation-goal 下可能存在多条可行路径的问题。相比 deterministic regression，flow matching 更适合表达绕障碍左右两侧等多模态 action distribution。不过文中没有充分证明 flow matching 是主要增益来源；它更像合理的 action-head 选择，而不是论文最核心贡献。

5. 冻结 VLM backbone、训练 waypoint encoder/action expert：这主要是利用 π0.5 的语义表示并降低训练成本。机制上它让语义 grounding 来自预训练，导航安全来自几何监督；但增益到底来自 frozen backbone 还是 dataset/pseudo-label，文中未充分拆解。

Key Insight / Why It Works

VEGA 最可能有效的核心不是“VLA 学会了规划”，而是训练标签本身比已有 navigation VLA 的标签更接近安全局部规划的目标分布。它把 classical planner 在 ESDF 上的局部可行性判断离线蒸馏到 policy 中，因此模型在推理时虽然没有显式地图，但行为上会偏向更大 clearance、更少穿越 unknown/occupied region 的路径。

最重要的 insight 是 counterfactual supervision density。同一帧生成多个目标和多条轨迹，迫使模型学习 goal-conditioned variation，而不是只学习场景中最常见的 forward motion prior。这对 navigation VLA 很关键，因为很多失败不是语义识别失败，而是 goal grounding collapse：换目标后轨迹基本不变。VEGA 用 geometry planner 人工放大了目标-轨迹之间的互信息。

第二个有效因素是 representation alignment：object detection / image region / waypoint 都被对齐到同一个 robot-centric ground plane。这样文本目标不只是语言 token，而是通过伪标签间接绑定到了一个几何目标点和可达路径。VLA 学到的不是纯语言导航，而是“语义目标对应局部空间锚点，对应一类 waypoint chunk”。这是比单纯 open-vocabulary VLM conditioning 更强的结构约束。

第三个因素是 scaling。论文的很多增益可能主要来自大规模自动生成数据，而不是算法本身的新颖性。MoGe-2 + Florence-2 + MPPI 的组合把数据规模扩展到 250k scenes / 5M goals 级别，这种监督密度对 baselines 并不公平，因为 baselines 未必见过同等 counterfactual geometry labels。这里的核心贡献更像 data engine，而不是 policy architecture。

Flow matching 可能有帮助，但文中证据不足以证明它是决定性因素。如果没有 ablation 比较 deterministic waypoint regression、diffusion、flow matching，在相同数据上谁更好，不能把多模态建模的收益和 geometry-label/data-scale 的收益区分开。

需要警惕的一点是 benchmark alignment。VEGA-Bench 使用同类几何重建和 ESDF 指标评估，而 VEGA 的训练标签也来自相似 ESDF/MPPI 管线。因此它天然奖励“像 MPPI-over-ESDF 的轨迹”。这并不等同于真实世界里所有安全导航能力，但确实验证了模型学会了该几何教师的偏好。真实机器人实验缓解了这个问题，但规模很小，更多是 sanity check 而不是强泛化证明。

Relation To Prior Work

VEGA 最接近三条线的交叉：navigation VLA、from-video navigation learning、classical geometry-based local planning。

相对 OmniVLA / NaVILA，VEGA 的差异不在 VLA conditioning 形式，而在 supervision 生成方式。OmniVLA 等依赖已有导航数据或单目标 supervision，容易缺少同一场景多目标轨迹变化；VEGA 则通过 geometry/planner 人工制造 counterfactual labels。这是实质差异。

相对 LeLaN，VEGA 的关键区别是 teacher 的来源。LeLaN 用预训练 navigation policy 打标签，因此 label 质量受该 policy 上限约束；VEGA 用重建几何和 classical planner 打标签，避障和 clearance 更显式。换句话说，LeLaN 是 policy distillation from videos，VEGA 是 planner distillation from reconstructed geometry。

相对 CityWalker / SocialNav 这类从 web-scale video 学轨迹分布的方法，VEGA 不满足于恢复 observed motion，而是从同一局部场景生成多个未实际发生的目标条件轨迹。这一点更接近 counterfactual data augmentation。

相对传统 SLAM/ESDF/MPPI navigation，VEGA 没有在部署时使用几何地图，而是把几何作为训练时 teacher。这个设计牺牲了显式在线可验证安全性，换来 RGB-only VLA 的轻量部署和语义开放性。因此它属于“classical planner as offline label generator / geometric supervision distillation”的技术谱系。

看似新的部分很多其实是已有模块重组：monocular geometry、object grounding、ESDF、MPPI、flow matching VLA 都不是新技术。实质创新在于把它们组织成一个可扩展的数据生成闭环，用于 navigation VLA 的多目标几何监督。

Dataset / Evaluation

VEGA-Bench 的价值在于它不是只评估 goal reaching，而是同时用 scene geometry 评估 progress、collision 和 clearance。这比只看是否接近目标更贴近 navigation safety，也能暴露 VLA “直线朝目标走但撞障碍”的问题。多模态目标覆盖 text / image / waypoint，也确实对应论文 claim 中的 multimodal goal conditioning。

但这个 benchmark 的限制也明显：它和训练数据生成逻辑高度同源，评估指标直接来自 ESDF，而 VEGA 的标签也是 ESDF/MPPI 风格。这会放大 VEGA 对 baselines 的优势，因为它评估的是“是否符合几何教师偏好”。如果 baselines 没有用同类 ESDF-supervised labels 训练，比较更像验证 supervision paradigm，而不是纯模型能力比较。

真实机器人实验是必要的，但规模很小，三类场景、每类少量 trials，更像 proof-of-concept。它支持“几何监督能迁移到真实 cluttered navigation”的弱 claim，但不足以证明 internet-scale generalization、动态障碍处理或长期导航能力。动态障碍结果尤其需要谨慎：VEGA 没有显式预测动态物体，表现好可能来自频繁 replanning 和局部视觉反应，而不是学到了 motion forecasting。

实验中缺少关键 ablation：没有清楚拆分 geometry supervision vs more data vs multimodal goals vs flow matching vs frozen π0.5 backbone。因而增益归因不清。最可信的结论是“用重建几何生成 planner labels 能显著改善局部避障监督”；更强的结论如“VLA 获得了几何推理能力”还没有被充分证明。

Limitation

VEGA 的首要隐含前提是 monocular geometry 足够可靠。地面平面拟合、metric scale、障碍高度过滤、object bbox 投影都可能在真实复杂环境中出错。一旦几何 teacher 出错，模型会系统性学习错误标签。论文没有充分讨论 label noise 对 policy 的影响，也没有给出 geometry failure 下的鲁棒性分析。

第二个前提是局部可见区域足以决定动作。VEGA 是 memoryless policy，从当前 RGB 和 goal 预测局部 waypoint；这对遮挡、目标离开视野、需要绕行后再回到目标方向的情形天然脆弱。所谓 planning 主要是短视距局部规划蒸馏，不是长期状态建模。

第三，动态障碍没有被真正建模。训练时 ESDF 是静态局部几何，MPPI 没有 time-indexed obstacle prediction。真实动态避障若有效，多半来自闭环重预测和数据中见过的人类场景先验，而不是显式动态规划能力。

第四，scalability 的上限取决于自动标注管线，而不只是视频数量。Florence-2 检测目标是否可导航、MoGe-2 是否给出可用尺度、ESDF 是否正确区分 traversable / non-traversable，这些都会成为瓶颈。互联网视频分布还可能偏向人类手持相机高度和运动方式，和机器人视角/动力学不完全一致。

第五，安全性本质上被从 test-time verification 转移到了 train-time distillation。推理时模型只看 RGB，没有在线 ESDF 或 formal collision check，因此无法保证安全。它可能在 benchmark 上表现出 planner-like behavior，但遇到 out-of-distribution geometry 时仍可能 hallucinate safe path。

第六，增益归因不清。没有充分 ablation 的情况下，很难判断 VEGA 强在哪里：更大的自动生成数据、更保守的 unknown-as-obstacle 标签、更好的 goal grounding、还是 flow matching action head。我的判断是主要来自 geometry-derived dense labels 和 data coverage，flow matching 与 multimodal interface 是次要增强。

Takeaway

• 1. 最值得记住的是 supervision shift：不要从视频中找动作，而是从视频中恢复局部几何，再用 planner 生成动作。
• 这比直接 imitation egocentric trajectories 更适合导航。
• 2. 对 navigation VLA，counterfactual goal supervision 可能比模型架构更关键。
• 同一场景多目标、多路径标签能显著减少 goal-conditioned mode collapse。

一句话总结

VEGA 是一篇把互联网第一视角视频转化为几何规划监督的数据引擎型工作，真正贡献在于用 reconstructed geometry + planner distillation 为 navigation VLA 提供密集多目标避障标签，而不是提出新的 VLA 推理机制。