精读笔记

Problem Setting

VISTA 针对的是 goal-conditioned visual navigation foundation models 在跨机器人部署时的尺度错配问题。现有 VNM 通常预测 normalized 2D waypoint，以避免绑定某一机器人速度、控制频率或数据集采样间隔；但部署时必须用某个 step size 把 normalized waypoint 还原成 metric waypoint。问题在于：normalized action 并不是几何不变量，同一组无量纲 waypoint 乘以不同尺度后，真实轨迹的曲率、转弯半径和碰撞风险都会改变。

困难点不是让模型看图到目标，而是让它在保持跨 embodiment 泛化的同时，知道当前 normalized 输出应该对应怎样的物理位移。视觉序列本身只显示外观变化，不能唯一确定造成该变化的是“大步慢采样”还是“小步快采样”，更不能区分机器人临时减速和本身低速部署。以前方法卡在一个隐含假设：训练时的平均 waypoint spacing 可以被部署时固定 scale 替代。这个假设在速度、控制频率、曲率和场景纹理变化时会直接破产。

Motivation

作者的关键观察是：归一化动作让模型获得了跨平台形式上的通用性，但也删除了物理尺度信息；而这个被删除的信息在执行时又必须被补回来。已有路线要么依赖视觉模型隐式估计尺度，要么像 MetricNet 一类尝试恢复 metric scale，但仍没有给模型一个明确的、与输出动作同空间的运动参照。

因此真正缺的不是更多视觉 token，也不是更复杂 action decoder，而是一个能告诉模型“过去这些 normalized action 导致了这样的视觉变化”的上下文。这个缺口在转弯和低纹理场景里尤其致命：转弯时 scale error 会变成曲率 error；重复场景里视觉定位不稳会放大 distance/subgoal 选择错误。VISTA 的动机就是把尺度推断从纯视觉问题改成视觉-动作对齐问题。

Core Idea

VISTA 的核心想法是用 normalized action history conditioning 来打破尺度歧义：模型不仅看到过去的图像序列和目标图像，还看到过去几步机器人在 normalized action space 中实际执行了什么。这样模型可以学习一个关系：给定某组 normalized motion，图像中应该出现怎样的位移；反过来，当前视觉变化应当如何校准未来 normalized waypoint 的曲率和幅度。

这引入的 inductive bias 很明确：尺度不是从单帧或纯视觉时序中恢复，而是由“动作历史作为 baseline”来锚定。类比多视图几何，图像对应关系只能给出 up-to-scale 的结构，baseline 才给绝对尺度。这里 action history 就是 policy 内部的 baseline。和 prior 的本质区别在于，VISTA 没有放弃 normalized action 的 embodiment generality，也没有直接把 metric scalar 作为外部参数硬塞给模型，而是把尺度信息放在与预测目标同构的动作空间里，让模型做 representation alignment。

Method

方法层面可以压缩为几个机制。

第一，normalized action history。过去位移除以部署 step size 后作为条件输入。这解决的是“视觉变化缺少运动基准”的问题。它的核心变化是把 waypoint prediction 从 f(images, goal) 改为 f(images, past normalized actions, goal)，使模型能基于执行历史修正未来轨迹几何。

第二，normalized metric training。训练目标不再只依赖全数据集平均间隔，而是按样本/轨迹 step size 归一化 future waypoint，并将 goal distance 监督为 normalized metric distance。这解决的是训练目标与部署尺度不一致的问题，尤其影响 topological map 中 closest-node / subgoal selection。

第三，varied spacing training。通过改变数据采样频率模拟不同速度和控制频率。这个机制很关键，因为 action history conditioning 只有在训练时见过足够多 scale variation 时才可能学会使用，而不是被网络忽略。

第四，DINOv3 encoder。它主要解决 perceptual aliasing 和低区分度环境中的表征问题。它不是尺度机制的一部分，但可能是实机结果好看的重要来源。这里需要谨慎：VISTA 的最终性能并不能简单归因于 action history。

Key Insight / Why It Works

最核心的 insight 是：visual navigation 中的 normalized action 并不天然 scale-invariant；它只是把尺度问题从训练目标转移到了部署 denormalization。过去很多 VNM 把 normalized action 当成跨 embodiment 泛化的免费午餐，但实际上它引入了一个未观测变量：当前控制循环下每个 action index 对应多少真实位移。VISTA 的贡献是把这个未观测变量部分显式化，但不通过机器人参数，而通过 action history 这个可跨平台的行为 trace。

为什么有效：action history 和未来 waypoint 处于同一坐标/归一化空间，模型不需要学习“metric scalar → normalized curvature”的跨空间映射；它只需要学习过去 normalized motion 与图像变化之间的对应关系。这比直接输入 v_max、f_ctrl 或机器人类型更自然，也更符合跨 embodiment policy 的设定。

但从实验归因看，最可能的性能来源有三层：一是 DINOv3 带来的 representation scaling，尤其解释 outdoor/office 中目标识别和重复场景鲁棒性；二是 varied spacing training 带来的 data coverage / curriculum，使模型见过不同 temporal spacing；三才是 action history 作为 inductive bias，在速度变化、减速转弯、狭窄门框等场景中提供尺度校准。论文声称 action history 是核心，但 VISTA w/o AH 在离线 scale consistency 上非常强，甚至部分指标略好，说明 DINOv3 + varied spacing 已经解决了相当一部分问题。action history 的价值更可能体现在闭环执行中的局部速度变化和误差恢复，而不是静态离线一致性指标。

这不是 retrieval，也不是长期规划；topological navigation 仍然依赖预采集 map 和局部 closest-node heuristic。所谓 goal prediction accuracy 更接近视觉匹配/距离估计稳定性，而非形成了新的 planning ability。VISTA 真正推进的是 policy 的尺度条件化，而不是端到端导航推理。

Relation To Prior Work

最接近的是 GNM/ViNT/NoMaD 这条 VNM 谱系：图像历史 + goal image → normalized waypoint + distance，用 topological map 做长程导航。VISTA 不是换了任务范式，也不是去掉 topomap，而是在这个范式内部修补 normalized action 的尺度漏洞。

相对 ViNT/GNM，VISTA 的新增信息是 past normalized actions。ViNT 依赖 transformer 从视觉历史中吸收时序上下文，但没有显式告诉模型过去每一步 motion 的尺度。相对 NoMaD，VISTA 不强调生成式 action distribution，而强调 metric alignment；NoMaD 的 diffusion head 能产生不同形状，但未必在 metric space 中一致。相对 MetricNet，VISTA 没有直接恢复 metric output，而是保留 normalized action，通过历史动作条件化来获得尺度感。这是更兼容跨 embodiment 泛化的选择。

看似新的部分中，DINOv3 backbone 属于明显的 scaling / stronger pretrained representation；normalized metric distance 监督也是对已有 temporal-distance formulation 的工程性修正。实质创新是把 action history 作为尺度 baseline 注入 VNM，尤其是坚持 conditioning 和 prediction 都在 normalized action space 中，这一点比“输入速度/频率”更有建模意义。

Dataset / Evaluation

训练数据覆盖多个导航数据集，包含室内/室外、不同机器人和不同采样频率，且作者额外做了 varied spacing。真实评估包括 outdoor、forest、office-lab、hallway step-size perturbation、dynamic door perturbation 和 loop navigation，优点是有真机闭环，不只是离线 regression。

这些实验基本验证了两个层面的 claim：DINOv3 级别的强视觉表征对重复/低纹理环境有帮助；action history 在速度/控制频率变化和紧约束路径中有闭环价值。尤其 varying control frequency / max velocity 的 hallway sharp-turn 实验直接命中论文主题，是最有说服力的部分。

但 evaluation 仍有明显限制。真实部署 trial 数较少，环境数量有限，topological map 是预采集的，不是 open-world exploration。baseline 配置不完全等价，例如 waypoint index、lookahead radius 对 VISTA 与 baseline 不同，这会影响闭环表现。MetricNet 的实现由作者复现且未含 MetricNav，公平性存在不确定性。更重要的是，缺少严格消融来分离 DINOv3、data resampling、normalized metric distance、action history 的贡献；因此“scale-aware improvement”与“更强 encoder + 更好训练 recipe”的边界并不干净。

Limitation

第一，方法依赖 action history 与真实 motion 的一致性。如果低层控制器执行偏差、轮滑、碰撞 avoidance 介入、延迟或速度饱和导致 commanded action 与实际位移不一致，action history 可能提供错误 baseline。文中没有充分讨论这一闭环 mismatch。

第二，VISTA 仍没有显式 embodiment geometry。机器人宽度、高度、转弯半径、可通行性都不在模型中。它能跟路径，不等于理解 traversability；Spot 上的 stair/collision avoidance 还依赖外部 controller，这说明 end-to-end 能力边界很清楚。

第三，低频控制下仍失败，说明 action history 不是完整尺度解。视觉变化太大或太小、连续帧几乎相同、场景重复时，模型仍然需要合适的 topomap sampling 和数据覆盖。换句话说，问题被部分转移为“训练和部署的 temporal spacing 是否落在支持集内”。

第四，泛化 claim 需要保守看。训练数据中已经包含 outdoor vegetation、hallway、office 等环境类型；真实评估是 zero-shot deployment，但不等于强 OOD reasoning。核心能力可能主要来自数据覆盖和 DINOv3 的泛化表征，而不是模型学到了抽象导航规律。

第五，长期导航仍是 topological retrieval + local waypoint tracking。distance prediction 的稳定性很重要，但 planner 没有形成长期状态建模；loop 实验更多验证 subgoal selection 不漂，而不是高层规划能力。

Takeaway

• 1. normalized action 不是无害设计；它提升跨 embodiment 兼容性的同时制造部署尺度歧义。
• 以后 VNM 论文如果继续使用 normalized waypoint，必须显式说明 scale grounding。
• 2. action history 是一个值得迁移的 conditioning 形式：当输出空间是归一化动作时，最自然的上下文不是机器人 ID 或 metric scalar，而是同空间的历史动作 trace。
• 这一思想可迁移到 manipulation、locomotion、mobile manipulation 中的 normalized action policy。

一句话总结

VISTA 是对 ViNT/NoMaD 式视觉导航基础模型的一次尺度条件化修正：它通过 normalized action history 给归一化 waypoint 一个运动基准，实质贡献在于暴露并缓解 normalized-action VNM 的部署尺度歧义，但最终性能仍混合了 DINOv3 表征 scaling 和数据覆盖收益。