精读笔记

Problem Setting

这篇论文实际处理的是 KB-VQA 中“搜索过程不可自适应”的问题，而不是单纯提高 VQA backbone 或检索器精度。长尾视觉实体下，模型通常先要判断图中实体是什么，再查缺失属性或关系；但这两个阶段互相依赖：实体没对齐，文本查询会漂；检索结果不可靠，生成阶段又会被错误 evidence 锚定。以前的固定 RAG pipeline 卡在一次性决策：预先选 retriever、取固定 top-k、压入上下文、直接生成。关键矛盾是外部知识能减少 hallucination，但检索本身需要一个随证据状态变化的控制策略。

Motivation

已有路线主要在提高 retrieval recall、reranking、filtering 或 conflict handling，但仍默认“检索发生在回答之前，且只发生一次或按固定规则发生”。作者的核心观察是 KB-VQA 样本状态差异很大：有些问题缺实体识别，有些缺属性知识，有些需要多跳扩展，有些继续检索只会引入噪声。因此缺口不是更大的 top-k，而是能判断“现在缺什么、该用哪种工具、是否还值得继续搜”的闭环机制。这个动机是成立的，因为 KB-VQA 的失败常见于 early retrieval drift，而不是 generator 完全不会读证据。

Core Idea

核心思想是把 KB-VQA 建模成 budgeted progressive search-and-reasoning，而不是 retrieve-then-answer。模型在每一步根据当前状态选择 image search、text search 或 stop；image search 更像实体对齐/纠错，text search 更像属性补全/关系扩展，stop 则对应 evidence sufficiency 判断。这样做改变了问题的建模单位：从“给定 evidence 生成答案”变成“在有限工具预算下主动构造 evidence”。

本质区别在于它把检索决策纳入 policy learning。prior RAG 的 inductive bias 是“更多/更准 evidence 会带来更好答案”；ProMSA 的 inductive bias 是“正确的 evidence acquisition trajectory 比单次 evidence set 更重要”。这使其理论上更适合长尾实体和多跳问题，因为模型可以在第一轮错过目标时通过 exclusion 和 query rewrite 继续探索，而不是被固定 context 锁死。

Method

方法上最关键的不是工具种类，而是三个机制形成闭环。第一，统一生成式 policy 同时产生 reasoning、action 和 action arguments，使检索选择与语言推理共享上下文表示；它解决的是 retrieval policy 与 answer reasoning 脱耦的问题。第二，image/text 双工具加 deduplication，把“找实体”和“补知识”分成可交替的动作，并给模型一个逃离重复错误候选的通道；这比简单提高 top-k 更像搜索。第三，训练采用 rejection-sampling SFT 冷启动再 RL：SFT 主要让工具调用可执行，RL 才优化何时搜、搜什么、何时停。TN-GSPO 的机制必要性在于序列级 reward 下，轨迹长度和工具深度都会影响 update scale；只按 token 长度归一化会让 policy 偏向短输出或少工具，和 budgeted search 的决策结构不匹配。

Key Insight / Why It Works

最可能真正有效的是“test-time adaptive retrieval + explicit correction channel”，而不是 TN-GSPO 本身。KB-VQA 的很多错误来自第一步实体对齐失败；ProMSA 允许继续 image search 并排除已见页面，相当于给检索过程加入了负反馈。text search 则在实体大致确定后补缺失事实，减少把图像识别问题和知识查询问题混在一次检索里的负担。

RL 的贡献更像是在学习工具使用的 stopping/search heuristic，而不是让模型产生新的视觉语言 reasoning 能力。SFT 提升说明格式和基本 interaction pattern 已经重要；RL 大幅提升说明 benchmark 上存在可学习的 search policy。但这类提升也可能强依赖数据覆盖、retrieval corpus overlap、answer reward 的可判定性，以及 summarizer 的质量。TN-GSPO 是合理的 optimization engineering：它修正了 tool horizon 与 token length 不一致导致的训练偏置，可能提升稳定性，但它不是 conceptual breakthrough。真正可迁移的 insight 是：对于 knowledge-intensive multimodal tasks，把 retrieval 看作 sequential decision process，而不是一次性 context construction。

Relation To Prior Work

它最接近三条线：KB-VQA RAG、multimodal search agents、RL-for-tool-use。相对 EchoSight、Wiki-PRF、ReAG、CC-VQA 这类方法，ProMSA 的差异不是换了更强 retriever，而是把 retrieval modality、depth、stop decision 从人工 pipeline 参数变成模型动作。相对 MMSearch-R1 / SenseNova-MARS，它更专门面向 KB-VQA 的实体对齐失败和 evidence sufficiency，而不是泛化的多工具 web search。

看似新的部分有不少是已有思想重组：多轮搜索来自 search agent，SFT cold start + RL 来自 tool-use RL，dedup/exclusion 是经典搜索工程，sequence-level clipping/normalization 也有 GSPO/DAPO 背景。实质新增的信息在于把这些机制放进 KB-VQA 后形成了一个明确的状态机式 inductive bias：先纠正视觉实体，再补全文本知识，再预算内停止。

Dataset / Evaluation

E-VQA 和 InfoSeek 能覆盖长尾实体、Wikipedia knowledge grounding、unseen entity/question 等设置，因此基本能检验论文主张中的“知识检索”和“实体泛化”。OK-VQA 额外结果说明 policy 可能有一定跨 benchmark 迁移，但仍不足以证明真实开放世界泛化。评估主要是离线 Wikipedia corpus，检索空间和答案分布相对受控；这比真实 web / dynamic KB 简单很多。

实验支持多轮双模态搜索有用：双工具强于单工具，budget/top-k 过大出现噪声和边际收益下降，RL 后工具使用分布变化也符合 claim。但 evaluation 的主要 limitation 是归因不够干净：backbone、retriever、summarizer、训练数据、RL objective 同时参与，无法完全判断增益来自 policy learning、外部工具质量，还是 benchmark corpus 覆盖。

Limitation

最大的隐含前提是正确证据在 corpus 中，且有限次 image/text retrieval 可以触达；否则 progressive search 只是更昂贵地失败。第二，summarization 是信息瓶颈：一旦强 summarizer 把页面压缩成看似相关但错误的 snippet，agent 后续很难恢复；文中未充分说明压缩错误如何影响决策。第三，所谓 planning 可能比较浅：状态只是历史 snippet 和动作记录，不等于长期显式 belief tracking；stop 行为也可能是 reward 和 budget 学出来的启发式。

增益来源不清。RL、双工具、dedup、Qwen3-VL-8B summarizer、BGE/EVA-CLIP retrieval、训练样本覆盖都可能贡献结果。核心能力可能主要来自数据覆盖和 test-time compute，而不是模型内化了更强知识推理。真实 deployment 中，corpus 更大、页面噪声更高、实体歧义更强、latency 成本更敏感，当前离线 benchmark 上的搜索策略未必保持同样收益。

Takeaway

• 最值得记住的不是具体 TN-GSPO 公式，而是 KB-VQA 应该从 static RAG 转向 budgeted evidence acquisition。
• 对于长尾 multimodal QA，检索失败恢复机制比单次 top-k recall 更关键。
• image search 和 text search 不应简单拼接，而应作为不同阶段的不确定性消解工具：前者解决实体对齐，后者解决属性/关系缺失。
• 未来真正值得做的是显式 belief/state modeling、可验证 evidence sufficiency、以及在真实动态检索环境中 disentangle policy learning 与工具 scaling 的贡献。

一句话总结

ProMSA 是把 KB-VQA 从固定 RAG 推向预算约束下多模态搜索代理的一步，真正贡献在于将证据获取建模为可学习的逐步决策过程，而非单纯扩大检索或增强生成器。