精读笔记
Problem Setting
论文标题：DocArena: Turning Raw Documents into Controllable Training Environments for Document Search Agents（arXiv preprint / 2026）。
这篇论文实际处理的是 search agent RL 中更底层的问题：训练环境如何构造。对于这类 agent，训练样本里的 question、answer、evidence 并不是静态监督数据，而是定义了 agent 需要探索的状态空间、可观察证据、奖励信号和潜在搜索策略。困难不在于生成一个看起来合理的 QA，而在于保证这个 QA 对 agent 训练是“有效环境”：答案必须只能从指定 evidence 推出，问题必须真的需要检索，evidence 必须覆盖必要页面且不可冗余。
以前方法卡在两个地方。第一，大量 search-agent 数据来自 NQ、HotpotQA、Wikipedia multi-hop 这类文本环境，不能覆盖真实文档里的表格、图像、布局和多页视觉结构。第二，即便有 evidence annotation，也常常不能保证 evidence exclusivity；如果非 evidence 页面也能回答，RL reward 会给 agent 错误反馈，训练出的策略可能只是碰巧命中语义相近页面，而不是学会必要检索。
关键矛盾是：search agent 需要从环境中学习主动搜索策略，但环境本身如果不可控，reward 再精细也只能在噪声上优化。DocArena 的切入点是把“训练数据”提升为主要研究对象，而不是继续只优化 policy 或 reward。
Motivation
已有路线不够的根本原因是它们把搜索能力的提升主要归因于 policy optimization、reward design 或 search tool，而低估了 triplet 环境本身的结构约束。Search-R1、R1-Searcher、ZeroSearch、IKEA 等方法确实改善了文本搜索训练，但多数仍依赖已有文本 QA，或者通过 rollout/difficulty probing 调整样本，而不是从原始文档中系统构造可控 evidence 环境。
作者的核心观察是：训练环境的质量维度应该包括 correctness、diversity、searchability、modality、scalability。这里最关键的是 correctness 不只是 QA 正确，而是 answer-evidence 的排他性；searchability 也不只是能检索，而是 base model 不能靠参数知识或问题泄漏直接回答。
关键缺口因此不是“缺更多 QA”，而是缺一种能从 raw PDFs 自动产生高约束、多模态、可扩展、可验证 q-a-E triplet 的 pipeline。这个缺口在多模态文档场景里尤其明显，因为信息往往分散在多页、表格、图、版面关系中，普通文本采样很难自然产生检索必要性。
Core Idea
DocArena 的核心思想是：先建模文档内部的信息分布，再生成问题，而不是先生成问题再事后找 evidence。具体来说，它把页面级事实单元按 concept key 聚合，估计某个信息在候选页面集合中的分布宽度。只出现在一个页面的事实被视为 irreplaceable evidence，出现在少数页面的事实用于构造跨页桥接，广泛出现的事实用于让问题自然可读。
这个建模方式引入了一个很强的 inductive bias：好的搜索任务应该由“局部唯一信息 + 跨页连接 + 可读上下文”共同定义。它不是简单合成 multi-hop QA，而是在数据构造阶段显式控制 agent 未来必须执行的检索路径。直觉上这会有效，因为 RL 训练时 progress reward 可以对齐到真实 evidence recall；如果 evidence 本身是唯一且必要的，那么检索奖励才不会鼓励投机行为。
和 prior 的本质区别在于，DocArena 不是在现有 QA 数据上做难度筛选、模拟搜索结果或添加 reward，而是把 raw document collection 转成一个可参数化的训练环境生成器。它改变的是环境构造范式：从“利用已有问答任务训练搜索”变成“根据文档信息拓扑生成搜索任务”。
Method
1. 跨页信息分布 profiling：解决 evidence 不唯一和检索不必要的问题。它通过事实单元的分布宽度识别哪些信息能强制 agent 找到特定页面。核心变化是把 evidence selection 从语义相似检索变成基于信息排他性的约束选择。
2. Evidence-grounded reasoning construction：解决生成 QA 容易退化成单页抽取或表面 multi-hop 的问题。模板不是主要创新，真正作用是把已选 evidence 的跨页依赖固定下来，防止 MLLM 生成一个虽然自然但不需要所有 evidence 的问题。
3. Cascaded QA verification：解决 MLLM 生成链路中错误传播的问题。它不是简单质量过滤，而是把 answer reproducibility、evidence grounding、leave-one-page-out necessity 作为环境有效性的检查。尤其 leave-one-out 是必要机制，因为它直接测试每个 evidence 页面是否真的不可替代。
4. Doc-Search infrastructure：解决多模态输入和文本 policy 之间的接口问题。视觉检索器负责页面级视觉对齐，OCR/structured text 负责把结果转成 policy 可处理的文本，LLM policy 只做查询生成和推理。这种 decoupling 的价值在于公平比较 policy，也让已有 text LLM 可以迁移到多模态文档搜索。
5. Progress reward：解决 outcome-only QA reward 对搜索行为信用分配太弱的问题。由于 DocArena 提供较干净 evidence set，recall-based progress reward 才有意义；如果 evidence 有噪声，这个 reward 反而会强化错误检索。
Key Insight / Why It Works
最可能的核心贡献是“用信息分布控制 evidence necessity”，不是 Doc-Search agent 架构，也不是 GRPO recipe。search agent 的行为很大程度上由训练样本中 evidence 的结构塑造；当样本强制要求跨页、每页必要、答案不可从其他页面推出时，agent 才会被 reward 推向多样化查询和覆盖式检索。
方法有效主要来自三类因素。第一是 better inductive bias：事实分布宽度把 latent document structure 显式暴露给数据生成器，让 QA 更可能具备真实搜索需求。第二是 data coverage / scaling：DocArena-79K 覆盖大量领域、语言、文档类型和视觉元素，这本身就可能是主要增益来源。第三是 reward-data alignment：clean evidence annotation 使 progress reward 变成有效训练信号，而不是噪声监督。
我倾向于认为，论文中所谓 reasoning-intensive 的提升，很多时候更像 retrieval-policy improvement，而不是深层推理能力的突破。低 NrDup 说明 agent 学会避免重复查询，但不等价于形成长期 planning 或状态建模。训练最大 search turns 很小，inference turn scaling 的收益更像“多一次检索机会能覆盖更多 evidence”，还不足以证明复杂规划能力。
哪些可能只是辅助：reasoning templates、optimizer choice、Doc-Search infrastructure 的大部分工程组织。模板能控制分布但也可能限制自然问题空间；GRPO/PPO 差异很小；infrastructure 的 decoupling 重要但不是算法创新。真正不可替代的是数据环境构造逻辑和 evidence verification。
需要警惕的点是 hidden supervision。虽然没有人工 annotation，但 pipeline heavily relies on MLLM perception、fact extraction、answer verification。这里的“无人工标注”不等于无监督；监督被转移到了强 MLLM 的世界知识和视觉理解能力里。文中未充分说明这些 MLLM 错误在大规模数据中如何系统性偏置 policy。
Relation To Prior Work
最接近的技术谱系是 RL with verifiable environments + search-agent post-training + synthetic QA generation。和 Search-R1 / R1-Searcher / ReSearch 的区别不在 RL 框架，而在环境来源：那些方法主要利用已有文本 QA 和 evidence，DocArena 从 raw PDFs 构造 evidence-controlled environment。
和 ZeroSearch 的区别是，ZeroSearch 控制搜索响应模拟器，DocArena 控制训练任务本身的信息结构。和 IKEA / R1-Searcher 的区别是，后者多是样本难度或搜索时机的 curriculum，DocArena 直接控制 evidence exclusivity、search depth 和 modality。和 REDSearcher / GRADE 这类合成 multi-hop 工作更接近，但 DocArena 的对象从文本/KG 扩展到 visually rich documents，并把页面作为交互状态单元。
看似新的部分里，模板化 reasoning、级联过滤、MLLM-as-judge 都是已有思想重组；实质创新是把这些组件组织成面向 search-agent RL environment 的 pipeline，并把“页面事实分布”作为生成约束。这一点比单纯多模态 QA synthesis 更有研究价值。
Dataset / Evaluation
DocArena-79K 的价值在于它不是普通 QA dataset，而是带 evidence pages 的训练环境集合，覆盖多页、多模态、多领域、多语言。评估覆盖了多模态文档检索/QA和文本 QA transfer，基本能支持“该环境训练出的搜索策略比文本 QA 训练更适合文档搜索”这个 claim。
统一 infrastructure 是实验设计中比较强的一点：所有 baseline 共享 retriever、OCR、prompt 和 inference setting，只替换 policy checkpoint，因此性能差异更可能来自训练数据和 learned policy。但这也意味着论文验证的是“DocArena-trained policy 在作者定义的 Doc-Search stack 中表现更好”，而不是一个完全端到端多模态 agent 的通用优势。
实验没有充分证明泛化的边界。文本 QA 上的提升可以说明搜索行为有一定迁移，但也可能只是多样化 query training 带来的泛化，并不说明多模态 reasoning 迁移到了文本 reasoning。真实部署中的动态 corpus、跨文档任务、权限过滤、OCR failure、用户模糊意图等都没有被充分覆盖。
消融最有说服力的是 reward 组件和数据源对比：去掉 progress reward 后重复查询显著上升，换成 Search-R1 数据后多模态文档性能下降。这支持“干净 evidence + 检索进度监督”是核心。但增益在多大程度来自数据规模、领域覆盖、视觉文档分布、QA 模板或 reward 设计，归因仍不完全清楚。
Limitation
1. Evidence exclusivity 是近似保证，不是形式化保证。它依赖候选集 R、fact extraction、semantic key 聚合和 MLLM 判断；如果非候选页面或外部知识也能回答，训练信号仍可能有噪声。
2. Scalability 有明显成本瓶颈。pipeline yield 很低，成功样本需要多次 MLLM 调用，扩展到更大 corpus 或更复杂 cross-document QA 时成本会很高。论文说 fully automated，但自动化不等于低成本。
3. 方法把一部分问题转移给 MLLM。视觉感知、事实抽取、QA 构造、correctness verification 都依赖同类模型能力；如果 MLLM 在表格、图表、多语言、细粒度数字上出错，错误可能以更隐蔽方式进入训练集。文中未充分说明系统性 hallucination 的残余风险。
4. 所谓 planning 能力可能被高估。训练 turn budget 很小，agent 主要学习的是 query reformulation 和 evidence coverage，而非长期任务分解、状态维护或复杂 tool-use planning。低重复查询是好信号，但不能直接证明形成了深层搜索策略。
5. 泛化可能主要来自 data coverage。DocArena 覆盖大量文档类型和视觉元素，因此跨 benchmark 性能提升可能主要是 domain/data match，而不是方法本身带来抽象可迁移能力。文本 QA transfer 虽有意思，但 benchmark overlap 或检索风格相似性不能完全排除。
6. Offline benchmark 与真实 deployment 有鸿沟。当前评估 evidence 已存在于固定 corpus，且答案通常短、可验证、页面级检索；真实文档搜索往往涉及权限、版本、跨文档聚合、长答案生成、用户意图澄清和不可回答判断，这些都不是当前环境的核心能力。
Takeaway
- 1. 对 search agent 来说，环境构造可能比 RL algorithm 更重要。
- 没有 evidence exclusivity 和 search necessity，reward 设计很难救回训练信号。
- 2. 多模态文档搜索的关键不一定是让 policy 直接看图，而是把视觉感知、页面检索、文本推理解耦，并保证训练环境的 evidence 结构足够干净。
- 3. “信息分布驱动的数据生成”是可迁移 insight。
一句话总结
DocArena 是一篇把 search-agent 进展重心从 policy/reward 转向训练环境构造的工作，真正贡献在于用跨页信息分布和级联验证把 raw multimodal documents 转成可控的 evidence-driven RL 环境。