精读笔记
Problem Setting
《FloVerse: Floor Plan-Guided Multi-Modal Navigation》（arXiv preprint / 2026）处理的不是传统 PointNav/ObjectNav/ImageNav 的单任务优化，而是一个更具体的问题：给定一个全局 floor plan 和 egocentric RGBD，能否训练一个统一策略，在未见室内场景中处理点、物体类别、目标图像三种目标。
真正困难点在于信息不对称。floor plan 有全局结构但缺失家具、动态物体和细粒度语义；RGBD 有局部真实几何但视野短；Point goal 是显式空间目标，而 Object/Image goal 需要从语义或外观反推出目标位置。以前 floor-plan-guided 方法主要在 PointNav 上成立，因为目标坐标和 floor plan 几何天然对齐；一旦目标变成 object/image，floor plan 的作用从“几何约束”退化为“弱布局先验”，是否仍有效并不显然。
因此这篇论文的关键矛盾是：如何利用一个粗糙但稳定的全局结构先验来减少探索，同时不被其缺失的局部可通行信息误导。
Motivation
已有导航路线的问题不是缺少更强 encoder，而是缺少一个在目标不可见时可复用的全局先验。显式建图方法需要先探索再规划，效率天然受限；mapless/RL/IL policy 在长程目标上通常只是局部反应；LLM 或语义图方法能提供语义猜测，但未必有可靠几何约束。
作者抓住的核心观察是：floor plan 是一种廉价、稳定、压缩的空间先验。它不仅描述墙体和房间连接，还隐含住宅布局统计，例如某些物体更可能出现在某些房间或区域。此前工作的缺口在于：floor plan 被当作 PointNav 的辅助地图，而没有被系统检验能否成为多模态目标导航的共享结构先验。
所以这篇工作的动机可以概括为：把 floor plan 从“PointNav 的几何 shortcut”提升为“跨目标模态的空间条件”，并通过大规模数据集验证它到底能贡献多少。
Core Idea
核心思想是把多模态导航统一成 floor-plan-conditioned trajectory generation。模型不显式构建语义地图，也不在线探索完整环境，而是直接从 floor plan、历史观测和目标条件生成未来一段 waypoint。这样做改变了建模方式：导航不再是 step-wise action classification，也不是完整 SLAM+planning pipeline，而是条件轨迹分布建模。
更重要的是，论文把全局规划和局部避障分开。第一阶段 planner 学习“在这个布局中，朝这个目标应该往哪里走”的粗粒度意图；第二阶段 refiner 用 depth-derived SDF 修正局部障碍，弥补 floor plan 没有家具和细节的问题。这种分解很合理：floor plan 负责长程拓扑和布局先验，depth 负责局部真实可通行性。
与 prior 的本质区别在于，它不是只为 PointNav 使用 floor plan，也不是给每个 goal modality 设计专门 pipeline，而是将 Point/Object/Image 都压到同一个 trajectory-generation interface 中。随机 modality masking 的价值在这里：它迫使不同目标形式共享 floor-plan representation，使 PointNav 的强几何监督可能迁移到 ObjectNav/ImageNav。
Method
方法上真正必要的机制有三层。
第一层是 floor plan-conditioned planner。它解决的是长程全局结构缺失问题。通过把 floor plan feature、历史 RGBD/pose feature 和目标条件输入 diffusion model，planner 输出未来一段 coarse trajectory。这里 diffusion 的作用主要是建模多峰轨迹分布和生成平滑 waypoint；但文中没有充分证明 diffusion 相比普通 sequence regression 是不可替代的。
第二层是 multimodal goal alignment。Point goal 用坐标编码，Image goal 用当前图像与目标图像的视觉对应，Object goal 用当前图像与文本类别的 CLIP 表征。随机只开放一种目标模态训练，本质上是在同一策略中做 goal-condition dropout / masked modality modeling。它解决的不是“多模态理解”本身，而是让不同目标信号都投影到同一个可执行轨迹空间。
第三层是 depth-based refiner。planner 的训练轨迹来自最短路径，未必包含足够 collision feedback；floor plan 也不含家具。refiner 将当前 depth 投影成局部 BEV occupancy/SDF，再用第二个 diffusion model 调整 coarse trajectory。这个模块的机制意义很清楚：把安全性从全局先验中解耦出来，用局部几何约束兜底。
Key Insight / Why It Works
最核心的有效性来源不是 diffusion，而是 floor plan 提供了一个跨 episode 可复用的 latent structure。对于 PointNav，这个结构几乎是直接可用的：目标坐标、房间边界、通道连接都在同一空间中，模型只需学从当前位置到目标的可行方向分布。因此 PointNav 上 floor plan 带来的增益最大，这符合预期。
对于 ImageNav/ObjectNav，floor plan 的作用更弱但仍有用。它无法告诉模型“目标物体在哪里”，但能提供房间尺度的先验：哪些区域可能是厨房、卧室、卫生间，哪些通道连接哪些区域。这里所谓 goal reasoning 更像从布局统计中做 implicit retrieval，而不是显式语义推理。模型可能学到的是“看到某种目标条件时，在类似布局中目标常出现在某类房间区域”，这在住宅数据上有效，但泛化上限取决于数据覆盖。
多模态联合训练的真正 insight 是：PointNav 提供高质量几何监督，Object/Image 提供弱语义定位监督，三者共享 floor-plan encoder 后，几何结构可以迁移给语义目标。实验中 Point-only 与 ThreeDiff 在 PointNav 接近，而 ThreeDiff 在 Image/Object 上更好，支持这个解释。反过来，ThreeDiff 在 PointNav 略低于 Point-only，也说明语义任务引入的 bias 会干扰纯几何最优性。
refiner 可能是第二个实质贡献。floor plan-guided navigation 的硬伤是全局图与真实可通行区域不一致，尤其在室内家具密集场景。用 depth-SDF 做局部轨迹修正是简单但有效的 inductive bias，比让一个端到端 policy 同时学习全局布局和局部避障更稳。
需要警惕的是，部分性能可能主要来自 scaling / data。FloVerse 有大量专家轨迹、密集 waypoint、人工修正 navigable maps、扩展 object annotations，再加上 test-time 30 trajectory averaging 和 safety mechanism。论文没有完全隔离这些因素。ThreeDiff 的优势不应被简单解读为 diffusion planner 或 floor plan reasoning 的单独胜利，而是“结构先验 + 大规模 imitation + 局部几何修正 + 执行时 smoothing”的组合收益。
Relation To Prior Work
这篇工作最接近三条线：floor-plan-guided navigation、diffusion policy navigation、多模态 goal-conditioned navigation。
相对 FloNa/FloDiff 这类 floor-plan-guided PointNav，FloVerse 的实质新增信息是任务范围和数据规模：从单一 PointNav 扩展到 Point/Object/Image，并验证 floor plan 在弱语义目标上的作用。方法上并不是完全新范式，而是把已有 floor plan conditioning、diffusion trajectory generation 和局部 depth obstacle awareness 重新组织到一个统一框架中。
相对 NoMaD/NavDP 等 diffusion navigation，ThreeDiff 的不同点是引入外部 floor plan 作为全局条件，而不是只依赖局部观测或目标图像。这个差异是实质性的，因为它改变了策略的信息边界：模型不再必须通过探索获得全局结构。
相对 GOAT-Bench、VIENNA、Uni-Goal、OmniNav 等多模态导航，ThreeDiff 的位置更偏“structured prior + imitation policy”，而不是 lifelong memory、online semantic mapping 或 foundation-model reasoning。它的新增信息不是更强的多模态语义理解，而是证明一个简单的结构先验在多目标导航中可以替代一部分在线探索。
所以它属于一条很明确的技术谱系：从纯反应式 policy / 在线建图，向“离线获得的环境结构先验 + 学习式轨迹生成 + 局部闭环修正”演化。
Dataset / Evaluation
FloVerse-1.6K 是论文很重要的一部分。它把 HM3D 和 Gibson 的多层场景转成 floor plan，并构建大规模 expert trajectories，覆盖 PointNav、ImageNav、ObjectNav。相比已有 floor-plan navigation，小规模和单任务问题确实被缓解了。
评估基本支持核心 claim：移除 floor plan 后三类任务均下降；移除 refiner 后碰撞相关性能下降；联合多模态训练对语义目标有帮助。尤其 PointNav 上 floor plan 增益显著，说明几何先验确实有效。
但 evaluation 仍有几个明显限制。第一，所有主要实验仍在仿真中，没有真实机器人；而该方法高度依赖 floor plan 对齐、pose 精度和 depth 质量，sim-to-real 不确定性很大。第二，ImageNav/ObjectNav 只在 HM3D 上评估，Gibson 缺少这些目标，跨数据源验证不完整。第三，floor plan 是从同一 3D mesh 自动生成的，不是真实建筑图纸；它和 simulator geometry 之间天然同源，可能比真实 floor plan 更干净、更对齐。第四，部分 baseline 并非为该严格 collision protocol 或长距离 episodes 设计，比较结果能说明 ThreeDiff 适配 FloVerse，但不能完全说明其普适优越。
总体看，benchmark 能验证“在这个构造的数据分布里，floor plan prior 有用”，但还不足以证明“模型学到了可泛化的空间语义推理”。
Limitation
最核心限制是前提过强。模型默认有可用 floor plan，并且 agent pose 能映射到 floor-plan 坐标系。真实部署中，这等价于已解决 localization / registration 的大部分难题；论文没有充分讨论定位噪声、floor plan 尺度误差、楼层错配、家具变化对性能的影响。
第二，泛化可能依赖住宅布局统计。ObjectNav/ImageNav 的 floor-plan 增益来自隐式语义布局规律，但这种规律在办公楼、医院、商场、仓库等非住宅空间未必成立。作者也承认只评估住宅环境，但这不是小 limitation，而是决定该方法上限的关键假设。
第三，所谓 reasoning 可能主要是 retrieval-like prior。模型没有显式房间识别、目标可见性推断、拓扑搜索或不确定性维护；它只是从条件输入生成短轨迹并闭环重规划。长期规划能力可能是由短 horizon imitation + floor plan conditioning 叠加出来的行为，而不是显式规划。
第四，增益归因不清。数据规模、人工清洗、expert trajectory 覆盖、depth refiner、test-time 采样平均、安全机制都可能贡献性能。文中没有充分隔离 diffusion architecture、本体 floor plan prior、多任务训练和执行 trick 各自的贡献。
第五，方法可能把问题从“在线探索”转移到“离线数据和环境先验获取”。如果 floor plan 不可得、不准或与真实可通行区域变化大，ThreeDiff 的优势会迅速减弱。refiner 能处理局部障碍，但无法修正全局结构错误。
Takeaway
- 1. 这篇最值得记住的不是 ThreeDiff 的模块设计，而是把 floor plan 当作跨目标模态共享的 global spatial prior，并系统验证其在 Point/Object/Image navigation 中的作用。
- 2. 对多模态导航而言，PointNav 监督可能是非常有价值的几何 curriculum：它能把 floor-plan encoder 训练成结构敏感表示，再迁移给语义目标任务。
- 3. floor plan-guided 方法的正确分解很可能是“全局结构先验负责意图，局部 depth/SDF 负责安全”，而不是试图让 floor plan 本身承担完整可通行地图。
- 4. 未来真正值得做的是鲁棒对齐、不确定 floor plan、非住宅布局、真实机器人闭环，以及显式区分布局统计 retrieval 和可组合空间推理。
一句话总结
FloVerse/ThreeDiff 是 floor-plan-guided navigation 从 PointNav 几何辅助走向多模态结构先验的一步，真正贡献在于大规模任务设定和“全局 floor plan prior + 局部 depth refinement”的建模分解，而不是单个 diffusion 模块本身。