精读笔记

Problem Setting

《Act on What You See: Unlocking Safe Social Navigation in Vision-Language-Action Models》（arXiv preprint / 2026）关注的不是一般 visual navigation，也不是给 VLA 加一个 social reasoning head，而是 navigation VLA 的 perception-action mismatch：模型内部有社会语义和风险信息，但最终动作仍像普通避障器一样工作。

关键矛盾在于：社会导航要求同一空间布局下根据实体身份改变行为，而行为克隆 VLA 的监督信号通常只要求复现 demonstrations 中的动作。BC 会奖励最容易解释动作的 shortcut，例如避开图像中高对比、显著的区域，而不会强制模型区分“这是人所以要更大 clearance”和“这是静态物体所以可以更贴近”。

以前方法卡在两个方向：模块化方法能显式做人检测、social cost 或 VLM path ranking，但失去端到端 VLA 的简洁和 scalability；纯 BC VLA 有强导航 prior，但 social distinction 和 anticipatory safety 不一定进入 action head。本文真正要解的是后者：不是让模型看懂，而是让模型 act on what it already sees。

Motivation

作者的核心观察很重要：base OmniVLA 的失败不是纯感知失败。线性 probe 显示行人/物体区分在中间层可解码，未来危险信号也能在隐藏状态中被预测；但行为 counterfactual 显示动作几乎不随人/物语义变化，只随视觉显著性变化。这说明瓶颈不在 concept absence，而在 action grounding。

这也是论文选择 annotation-free post-training 的原因：如果内部已经有这些 latent variables，就不必再引入昂贵人工社会标签或外部 VLM reasoning；更合理的是提供能把这些 latent variables 绑定到动作上的监督。缺口有两个：一是社会语义没有被保留到 action head；二是未来危险没有被赋予当前动作 credit。SALSA 就是围绕这两个缺口设计的。

Core Idea

核心思想可以概括为：把社会导航从“学习新社会概念”改写成“对齐已有表征与动作”。这改变了建模方式：不是增加一个显式 planner，也不是在测试时做语言推理，而是在后训练阶段重组信息流，让 action head 直接接触中层 social feature，并用 counterfactual pair 给它行为梯度。

它引入的 inductive bias 很明确：几何相同但实体身份不同的输入，应该产生不同 clearance；同一行人外观变化不应导致不同轨迹；当前状态若在短期未来导致碰撞，应提前减速或绕行。这些 bias 都不是通用 BC 会自然学到的，但又可以从现有数据自动构造，因此比人工 social annotation 更 scalable。

与 prior 的本质区别在于：本文不把 VLM/VLA 当作黑盒 high-level reasoner，也不把社会导航外包给模块化检测-规划链条，而是把表征诊断结果直接转化为训练目标。它更像 mechanistic diagnosis-driven alignment，而不是单纯加数据或加安全 reward。

Method

方法上最关键的是三类机制，而不是具体 LoRA recipe。

第一，中层特征融合。probe 发现 social entity signal 在 Layer 9 最强、到输出层接近消失，所以只从 final layer 取 action representation 会天然丢掉社会信息。把中间层特征接入 action head，本质是在修复信息通路，而不是增加模型容量。它解决的是 social signal propagation bottleneck。

第二，人-物 counterfactual alignment。通过检测、分割、inpainting 把行人替换成静态物体，并保持几何位置不变，然后要求 person scene 比 object scene 有更大 clearance，同时对同一行人的外观变化保持轨迹一致。这解决的是监督层面的 identifiability：如果没有几何匹配的 counterfactual，模型很难知道动作差异应归因于“人”而不是位置、大小、颜色或背景。

第三，temporal hindsight relabeling。BC 的单帧动作监督不会告诉模型当前状态将导致 1 秒后危险，因此模型倾向 reactive。作者用未来最小 clearance 给当前帧贴 pre-danger / danger 标签，并构造减速、绕行、停止 targets。这相当于把未来后果压缩成当前动作监督，做了一个简化的 temporal credit assignment。

EWC、mid-layer freeze、counterfactual EWC 的角色主要是防止 Stage 2 安全微调覆盖 Stage 1 学到的社会区分。它们重要但更偏工程稳定性，不是概念贡献的核心。

Key Insight / Why It Works

最重要的 insight 是：VLA 的社会导航失败可以不是“没理解”，而是“理解没有进入控制”。这使得问题从 perception/reasoning benchmark 转向 representation-action alignment。论文的 probe + behavior counterfactual 组合给出了相对有说服力的诊断框架：如果 hidden state 可线性解码但行为不变，那么继续扩大 backbone 或加语言解释未必解决问题，应该改 action supervision 和信息路径。

Stage 1 有效的原因大概率是 counterfactual supervision 打破了 saliency shortcut。base model 会把“视觉上显眼的东西”当成避障强度信号，这是 BC 在视觉导航中非常自然的 shortcut。人-物 pair 固定几何、改变语义，appearance augmentation 固定语义、改变外观，二者一起逼迫模型把控制差异绑定到 entity category，而不是低层视觉对比度。

Stage 2 有效的原因不是模型突然有了长期规划，而是获得了更好的短时风险标签和更保守的 action target。three-tier target 本质是 curriculum / shaped supervision：safe 走原轨迹，pre-danger 慢速绕行，danger 停止。它把稀疏碰撞后果变成密集动作监督。这里的“anticipation”更像短时未来风险分类 + policy regression，不应过度解读为真正的交互式预测或 planning。

最可能的核心贡献是诊断式 alignment：先证明 latent signal 存在且失败点不同，再分别用信息通路和未来后果监督修复。最可能只是辅助的是 EWC/冻结和部分 LoRA 训练细节。增益有一部分可能来自更安全、更保守的数据重标注，而非社会推理本身；但消融显示 Stage 1 和 Stage 2 的作用相对可分，这一点增强了归因可信度。

Relation To Prior Work

这篇最接近三条线：social navigation 中的 counterfactual / preference supervision，VLM-assisted modular social navigation，以及 VLA interpretability / activation steering。

和 CHOP 等 counterfactual preference 方法相比，SALSA 的区别在于它不仅用 counterfactual 改动作，还先分析内部表征在哪里存在、在哪里丢失，并用中层 feature fusion 修复信息流。也就是说 counterfactual 不只是数据增强，而是服务于 representation-action bridge。

和 VLM-Social-Nav、Path-Etiquette、GSON 这类外部 VLM path scoring 不同，SALSA 不在 inference time 引入 reasoning module，因此保留 end-to-end action generation。它牺牲的是显式可解释规划能力，换来部署简单和低延迟。

和 SafeVLA / safe RL 类路线相比，本文没有做真实闭环安全优化，也没有学习复杂 reward；它用 hindsight relabeling 近似 temporal safety supervision。这个做法更轻量，但 safety guarantee 更弱。

看似新的部分里，counterfactual pair、EWC、LoRA、hindsight relabeling 都不是新思想；实质新增的信息在于把它们组织成一个针对 VLA hidden-state bottleneck 的对齐流程，并用 probe 证明为什么应该这样组织。

Dataset / Evaluation

主要评估在 SCAND 上，使用 held-out bags，指标包括 LiDAR-computed clearance、near-collision、counterfactual accuracy 和 goal completion。这个设置能较好验证论文的两个核心 claim：是否更少 near-collision，是否在人/物 counterfactual 中产生差异动作。尤其是 counterfactual benchmark 对“社会语义是否影响动作”比普通轨迹误差更有针对性。

但 evaluation 仍然偏离完整 social navigation。clearance-based metric 只能覆盖“离人更远”和“不要撞”这类低阶社会规范，不能验证意图预测、让行、群体穿行、协商、可读性、舒适性等更复杂能力。offline open-loop / trajectory prediction 指标也不能充分反映闭环交互，因为模型动作会改变人的反应和未来状态。

真机部署是加分项：Unitree 上仅用 monocular RGB 推理，展示了安全响应和目标保持的可迁移性。但 trial 数量小，场景有限，更像 sanity check 而不是强泛化证明。它支持“不是只在离线指标上过拟合”，但不足以证明 dense pedestrian crowd 或长时任务中的 robust social navigation。

Limitation

最大的隐含前提是：预训练 VLA 内部必须已经编码了目标社会/风险变量。SALSA 是 unlock，不是 create；如果 backbone 没有这些 latent structures，中层融合和 counterfactual loss 未必奏效。

第二，counterfactual inpainting 可能引入隐性监督或伪影。模型可能学到某些生成痕迹、物体类别分布或局部纹理差异，而不是纯粹的人/物语义。论文虽然用 appearance invariance 缓解，但文中未充分说明 counterfactual 图像的真实性、artifact control 和跨生成器鲁棒性。

第三，所谓 anticipatory safety 很可能是短时风险条件下的保守动作回归，而不是真正的长期规划。未来窗口约 1 秒，oracle trajectory 来自旋转候选并最大化 LiDAR clearance，这会把安全策略限制在局部几何绕行范畴。对复杂动态人群、对向避让、互相让路，这种 relabeling 上限明显。

第四，Stage 2 的增益来源不完全清楚。near-collision 大幅下降可能部分来自重标注后模型整体更保守、clearance 更大，而不是更精细地理解危险因果。虽然 goal completion 没有明显崩，但 clearance-based offline 指标天然奖励保守策略。

第五，社会性被简化为 pedestrian > object clearance。这个定义在很多场景下不充分甚至可能错误：有时靠近静态障碍比靠近行人安全，有时行人意图、朝向、群体结构比身份本身更重要。方法把社会导航问题的一部分转成 differential clearance，解决的是重要但窄的 slice。

Takeaway

• 1. 对 VLA 失败模式，先做 hidden representation vs behavior 的对照诊断，比直接加数据或加模块更有信息量；这套诊断范式值得迁移到 manipulation、driving、embodied QA。
• 2. 如果 latent concept 已存在，最有效的后训练可能不是教概念，而是给 action head 可识别的 counterfactual gradient。
• 这是 VLA alignment 中很实用的一类路径。
• 3. Hindsight temporal relabeling 是把离线轨迹数据变成安全监督的低成本方式，但它更适合短时局部风险，不应被包装成长期规划。

一句话总结

这篇论文把 social navigation VLA 的问题从“缺社会理解”重新定位为“已有社会/风险表征未对齐到动作”，并用 counterfactual 行为对齐和短时未来风险重标注给出了一条轻量、端到端的 post-training 演化路线。