精读笔记

Problem Setting

这篇论文瞄准的不是传统 3D referring expression grounding，也不是一般 open-vocabulary mapping，而是机器人在线构建的持久空间记忆如何支持“按关系描述找特定物体实例”。在大房子、仓库、工地这类环境里，类别标签几乎没有区分力：同类物体很多，外观相似，用户自然会说“某个在 A 旁边、B 下方、C 左边的东西”。因此真正困难是实例消歧，而不是类别识别。

以前方法卡在两个位置。scene graph / semantic SLAM 路线能组织空间结构，但常常闭词表、需要离线清理、或对尺度和参数敏感；open-vocabulary 图方法把 CLIP/VLM caption 加到 object map 上，但关系要么预先构建、要么交给 LLM 在图上下文里端到端推理，空间关系稳定性差。另一条 video-VLM 路线绕过显式记忆，直接从帧历史中推理，但长轨迹下上下文窗口、视角覆盖和多实例检索都会崩。

这个任务的核心矛盾是：关系查询需要结构化、可组合、可验证的空间推理；但开放世界语言和视觉证据又需要 foundation model 的语义弹性。FARM 的出发点就是不要让 VLM 同时承担记忆、检索、空间推理和视觉验证，而是把这些角色拆开。

Motivation

作者真正想补的缺口是“在线、开放词表、对象级、可执行关系检索”的统一接口。已有 open-vocabulary scene graph 解决了语义开放性，但没有很好解决 query-time compositional grounding：如果把所有可能关系都存在图里，关系数量和语义空间会爆炸；如果不存关系而让 LLM 临时读图推理，小模型不稳，大模型贵且慢；如果只用 embedding，关系结构又被压扁。

FARM 的核心观察是，很多用户查询中的空间关系并不需要预先作为 graph edge 存下来。只要 memory 保留了足够好的 object geometry、appearance evidence 和 viewpoint evidence，关系可以在 query time 按需计算。这等于把“关系建图”从 mapping time 移到 retrieval time，并且只实例化当前 query 需要的少量 predicate。

另一个动机是尺度。点云、voxel、mesh 或 dense object fragments 都会引入分辨率/体素/后处理参数，室内小物体和室外大物体很难用同一套超参数。FARM 用单 Gaussian object abstraction，牺牲几何细节换来 O(1) 更新、尺度无关匹配和紧凑 memory。这是一个很明确的 retrieval-first 设计，而不是 reconstruction-first 设计。

Core Idea

FARM 的核心思想可以概括为：把长期观测压缩成对象符号表，再把语言查询编译成在该符号表上执行的软关系约束，而不是让 VLM 在原始帧或完整图上下文中自由推理。VLM 只负责两类它相对擅长的事情：把自然语言解析成结构化 query graph，以及在少数候选上看视图做最终 disambiguation。空间关系本身由显式几何 predicate 计算。

这个设计引入的 inductive bias 很强：世界由持久对象组成；关系查询通常是 target-anchor 结构；空间关系可以由对象几何和观测视角近似评估；语义不确定性应该作为 soft score 而不是 hard filter。这样一来，系统把一个不可控的 multimodal reasoning 问题转成了 candidate retrieval + soft constraint satisfaction + local reranking。

与 prior 的本质区别不是用了哪些模型，而是重新组织了信息流。ConceptGraphs/BBQ/DAAAM 更像“建图后让 LLM/VLM 解释图”；RynnBrain 类方法更像“让 VLM 直接读视频记忆”；FARM 则把 object memory 作为主计算 substrate，把 VLM 放在边缘位置。它的 scalability 来自 memory 压缩和 query-time relation instantiation，而不是模型上下文更长或参数更多。

Method

第一，memory construction 的关键不是 caption 或 embedding，而是 object-level compression。每个 object 用一个 Gaussian 表示位置和尺度，并维护少量代表视角、caption、视觉/文本 embedding。它解决的是长期观测不能无限保留的问题，也避免了 dense reconstruction 在不同尺度场景中的参数敏感性。核心变化是：memory 的基本单位从 frame/point/voxel 变成 retrievable entity。

第二，关系不作为完整 graph schema 预存。memory 只保留 covisibility、adjacency 这类廉价结构，以及每个对象的几何和视觉证据。这样做是为了避免把所有可能的 left-of、between、inside、near 等关系组合提前枚举。真正的关系在 query time 由 predicate evaluator 按需计算。

第三，query 被解析成 target、anchors、descriptions 和 predicate list。每个变量先通过多 embedding channel 做 unary retrieval，再对 target-anchor binding 计算 soft relation score。由于多数 referring expression 是星型结构，给定 target 后 anchor 可以贪心/分解绑定，避免组合爆炸。这是方法中最重要的 computational trick。

第四，reranking 只作用于 top-5。它解决的是候选已经找到了但 top-1 排序不稳的问题，而不是解决召回。论文中的 ablation 也显示 reranking 并非总是正收益，所以它更像 deployment knob，而不是核心算法。

Key Insight / Why It Works

最关键的有效性来源是把“空间推理”从 VLM latent reasoning 中拿出来，变成显式、可检查、可调试的 predicate scoring。VLM 对 left/right/below/near 这类关系在长上下文或图文本中很容易不稳定，尤其是小模型和机器人 onboard 场景；但如果对象已经有 3D Gaussian 和视角证据，很多关系用几何函数近似反而更可靠。这里的贡献是 inductive bias，不是模型能力。

第二个有效点是 memory reuse。视频 VLM 每次 query 都要重新在帧序列里找证据，成本随轨迹长度增长；FARM 把历史变成 object table，query 成本主要随对象数和候选数增长。对于大场景、多 query、多次交互，这是本质优势。它不是单次 grounding 的小优化，而是把 amortization 做进系统结构。

第三个有效点是 soft，而不是 hard。关系 predicate 只重排语义候选，不直接删除候选。这避免了 anchor 识别错、predicate 参数不准时召回崩掉。论文里 top-K recall 大幅提升，说明它首先是一个强 retrieval system；最终 top-1 仍然困难，说明“推理”部分没有完全解决 fine-grained ranking。

哪些可能只是辅助？多 embedding fusion、Qwen/SigLIP/Qwen-VL 的组合、captioner 替换、异步 vLLM 工程都很重要，但更像系统增强。它们会显著影响数字，但不是概念上最干净的创新。reranking 的增益来源也不稳定，ScanNet 上甚至可能伤害 top-1，因此不能把最终 VLM verifier 视为核心原因。

需要警惕的是，FARM 的成功很大程度依赖 query 分布与 predicate vocabulary 的匹配。SR3D+ 这类显式关系查询非常适合它；NR3D 上相对不占优势，说明自由人类语言里的隐含语义、功能描述、非标准关系仍然主要靠 embedding/caption 覆盖。所谓 reasoning 更像 structured retrieval，不是开放式推理。

Relation To Prior Work

FARM 最接近的是 open-vocabulary object-centric scene graph / spatial memory 系列，如 ConceptGraphs、BBQ、DAAAM，以及 video-based VLM grounding 如 RynnBrain。它并没有发明“对象图 + caption + embedding”，也没有发明“语言解析成符号查询”。这些思想都已有较长谱系，甚至可追溯到 SHRDLU 式 executable reasoning。

真正不同的是系统边界和推理职责分配。BBQ/ConceptGraphs 更倾向于把图语义和关系作为构图后的一部分，再让 LLM 参与推理；DAAAM 强在在线开放词表 scene graph，但 retrieval 仍依赖更重的 agentic reasoning 或 scale-sensitive graph construction；RynnBrain 则完全依赖隐式视频记忆。FARM 的新增信息是：不预存复杂关系、不端到端读图、不读全视频，而是在紧凑对象 memory 上 query-time 执行少量软 predicate。

实质创新主要在 retrieval-centric scene memory 的设计取舍：单 Gaussian object abstraction、query-time relation instantiation、star-shaped binding decomposition、VLM-as-parser/verifier 而非 VLM-as-reasoner。看似新的一些组件，如多模态 embedding fusion、captioning、top-K rerank，本质上是已有工具的工程组合；但组合方式服务于一个清晰的 inductive bias，这点是有价值的。

Dataset / Evaluation

评估总体上是支持主 claim 的。ScanNet/ReferIt3D 检验室内关系 grounding，HM3D/IRef-VLA 检验更大室内场景，FARM-Scenes 补上大规模户外和机器人轨迹场景。相比只在小型重建场景上做 grounding，这个覆盖面更接近“机器人长期记忆”的问题设定。

最有说服力的是：所有方法使用同样轨迹和 evaluation pipeline，并且 FARM 同时报告 accuracy、top-K recall、memory size、mapping latency、query latency。这使它不仅是在比 grounding accuracy，也是在比 memory system 的质量-吞吐 tradeoff。top-K recall 的优势尤其重要，因为它说明正确对象更常进入候选集合，而不是仅靠 reranker 碰运气。

但 evaluation 仍有明显边界。第一，输入是 posed RGB-D，SLAM/pose estimation 的难度基本被移出问题。第二，HM3D 轨迹是渲染生成，图像质量和覆盖策略会影响 detector/captioner，和真实机器人分布不完全一致。第三，FARM-Scenes 查询数量不大，且人工标注关系可能偏向 predicate vocabulary。第四，真机实验是 qualitative，导航使用录制轨迹图回放，不足以证明开放环境长期自主能力。

因此，实验足以证明 FARM 是更强的在线 object memory retrieval system，但还不能证明它解决了通用 embodied reasoning 或长期任务规划。

Limitation

最大前提是 object discovery 必须足够好。FARM 把世界压缩成对象表，一旦 detector 漏掉、跨视角合并错、caption 错、视角证据差，后续 predicate 再合理也无能为力。HM3D 上大量失败发生在候选集之前，说明瓶颈不是关系推理，而是 memory coverage。

第二，关系空间是手工的、低阶的、几何化的。Near、Above、LeftOf、Between 等可以用 Gaussian 和视角近似，但现实语言里的“靠近入口那边”“面向柜台”“可拿到的”“属于某个区域的临时物体”并不容易落到这些 predicate。文中未充分说明 parser 在复杂、含糊、多重从句查询下的鲁棒性。

第三，当前 query graph 假设主要是 target-anchor 星型。作者也承认 anchor-anchor reasoning 不充分。很多真实指令需要先用关系识别 anchor，再用 anchor 找 target，例如“机器人坐着的沙发旁边的杯子”。这会破坏简单 decomposition，复杂度和错误传播都会上升。

第四，单 Gaussian 是强压缩，也意味着几何表达上限很低。对细长物体、复合物体、容器/支撑关系、部分可见对象、非凸区域，Gaussian 只能提供粗尺度线索。它适合 retrieval ranking，不适合精确空间验证或 manipulation。

第五，增益归因仍不完全干净。FARM 同时更换了 mapper、captioner、多 embedding、predicate scoring 和 reranking。Ablation 表明 mapper 和 locked retrieval 很重要，但具体哪些提升来自更强 backbone / caption quality / engineering scaling，哪些来自核心建模，仍有混合。增益来源不清的部分主要在多模态 embedding fusion 和 reranker。

第六，真实 deployment 还没有触及动态长期记忆。物体移动、消失、重复观察下 identity maintenance、用户交互纠错、主动探索补证据，这些才是 persistent memory 的长期难点。论文目前更像“在线构建一次、随后查询”的 setting。

Takeaway

• 1. 对机器人空间记忆而言，VLM 不应是全局推理黑箱；更合理的角色是 parser、captioner、local verifier，空间关系应尽量在显式 memory 上执行。
• 2. 对象级压缩比帧级长上下文更适合长期、多查询场景。
• FARM 的价值在于把历史观测 amortize 成可复用 memory，而不是每次 query 重新读视频。
• 3. Query-time relation instantiation 是一个值得迁移的设计：不要在 mapping 阶段预存所有可能关系，而是在检索时只计算当前任务需要的 predicate。

一句话总结

FARM 是一篇把 open-vocabulary scene graph 从“LLM 读图推理”推进到“对象记忆上执行软关系检索”的系统论文，真正贡献在于 retrieval-centric relational spatial memory 的 inductive bias，而不是单个 VLM 或工程模块。