精读笔记

Problem Setting

论文标题：Search Beyond What Can Be Taught: Evolving the Knowledge Boundary in Agentic Visual Generation（arXiv preprint / 2026）。

这篇论文不是在解决一般的 text-to-image prompt following，也不是简单地给图像生成加 web search。它真正处理的是开放世界视觉生成中的知识归属问题：一个请求里哪些知识应该被生成器参数承载，哪些必须在 inference-time 通过外部上下文提供。

困难点在于视觉生成器的失败通常不是显式拒答，而是高置信度编造。对用户来说，生成器可以画出很精致的图，但关键实体、文化符号、近期事件、历史细节或文字事实是错的。也就是说，渲染能力和世界知识能力被现有 benchmark 混在一起，而真实生产请求恰好打在后者的长尾上。

以前的路线主要卡在两个地方：一类是继续扩大训练数据和模型，希望把更多知识塞进参数；另一类是 retrieval-augmented generation，默认检索总是有帮助。但视觉生成不同于文本 RAG：检索结果不是弱 evidence，而往往是强视觉条件，会直接改变身份、风格、构图和局部纹理。因此关键矛盾不是“有没有搜索”，而是“什么时候搜索、搜索什么、以什么形式进入生成器”。

这篇论文的 problem setting 可以概括为：在一个能力不断变化的图像生成器旁边，学习一个随生成器能力演化的工具调用策略，使系统既能利用外部知识，又不被外部知识污染。

Motivation

作者的动机来自一个很实际但常被 benchmark 掩盖的观察：现有 T2I 模型在常规 compositional / aesthetic benchmark 上看起来接近饱和，但遇到近期实体、区域文化、长尾 IP、精确 UI、历史服饰、科学流程图这类请求时会突然崩塌。这不是 prompt understanding 不够，而是世界知识缺失。

更关键的是，直接加搜索并不能自动解决问题。Blind search 会把本来能画对的 prompt 画坏，因为检索内容包含大量不该迁移的信息：背景、构图、色调、低层纹理、相似但错误的实体。视觉模型在 conditioning 下往往把参考当成 authoritative signal，而不是可选择的 evidence。

所以缺口不是一个更强的搜索引擎，也不是一个更会写 prompt 的 LLM planner，而是一个 generator-aware 的不确定性 / 边界判断机制：系统需要知道当前这个生成器已经会什么、还不会什么。这个判断不能预先写死，因为训练后边界会移动；也不能只由 prompt 表面特征决定，因为同一个实体对不同生成器、不同训练阶段的难度不同。

因此作者把问题从“给生成器补知识”改写成“发现并追踪生成器的知识边界”。这个动机是论文最有价值的部分。

Core Idea

核心思想是把视觉生成系统拆成两个互相适配的角色：generator 负责把可稳定内化的知识吸收到参数中，reasoner 负责识别仍然留在参数外的 contextual knowledge 并调用搜索。两者不是固定组合，而是通过 co-training 围绕一个动态边界共同移动。

这个建模方式引入了一个很明确的 inductive bias：世界知识不是一刀切地 parametric 或 non-parametric，而是相对于某个 generator 状态的可内化集合与上下文集合。稳定、低维、重复出现的视觉身份可以被教进模型；新近、极长尾、组合性强或依赖实例上下文的知识更适合检索。搜索策略的目标不是最大化信息量，而是最小化越界信息进入生成器。

和 prior 的本质区别在于，很多 retrieval-augmented diffusion / reference-based generation 默认 retrieval 是常开模块；很多 tool-use / adaptive RAG 方法学习的是 query-level 是否检索；这篇论文强调检索决策必须条件化于生成器本身，并且生成器训练会改变检索策略的最优解。

这使得方法在直觉上更 scalable：模型变强后，reasoner 不需要继续搜索它已经学会的部分；世界变新后，reasoner 又可以把新知识留在 context 中。系统不是追求一个“知道一切”的模型，而是追求一个能动态划分内存与工具边界的生成系统。

Method

方法可以压缩成三个机制，而不是一堆模块。

第一，gate-filter-integrate 是对视觉搜索噪声的结构化防御。Gate 解决是否搜索和搜索哪种模态；Filter 解决搜索结果里哪个 evidence 最少携带无关信息；Integrate 解决参考如何进入生成器。最重要的是 integrate：它把视觉参考尽量转译成“只借用哪些属性”的语言约束，而不是让 raw pixels 无限制支配生成。这是在减少 reference copying 和 style leakage。

第二，Generator DPO 的作用不只是提高图片分数，而是把部分搜索增强知识转入参数，并让生成器适应不完美的搜索输入。这个阶段相当于把外部 context 当成 curriculum：模型先在外部知识帮助下产生好坏样本，再用 preference learning 强化自身能稳定复现的部分。它推动知识边界向外扩张。

第三，Reasoner RFT 的作用是重新收缩搜索策略。DPO 后 generator 已经会一些原来不会的东西，旧 reasoner 如果继续搜索会过度调用工具。RFT 通过生成结果筛掉负收益轨迹，强化那些对当前 generator 真正有帮助的搜索/不搜索行为。这里 reasoner 学到的不是通用世界知识难度，而是当前 generator 的残余缺口。

机制上，这是一种 asymmetric co-training：先改变环境中的 generator，再让 policy 重新适配环境。论文所谓 evolving boundary 主要就是由这个顺序产生的。

Key Insight / Why It Works

最核心的 insight 是：视觉生成中的外部知识不是单调有益信号。搜索同时提供信息和噪声，而且图像生成器对条件信号的鲁棒性远弱于语言模型对文档 evidence 的选择性读取。因而 search policy 的 precision 比 recall 更重要，尤其在 generator 已经掌握相关概念时。

方法有效的主要原因可能有三层。第一是 better inductive bias：把世界知识分成 internalizable / contextual，并让这个划分随模型变化，而不是把 retrieval 当成固定前处理。第二是 representation alignment：DPO 让 generator 在搜索增强输入分布上训练，减少 train-test mismatch，也降低参考污染。第三是 boundary-aware data selection：RFT 实际上在做基于生成质量的 trajectory filtering，学习哪些搜索行为对当前模型有正边际收益。

我认为真正的贡献是 knowledge boundary 这个 operational framing，而不是 gate-filter-integrate 本身。三阶段 reasoner 很像已有 tool-use pipeline 的视觉版；DPO 和 rejection finetuning 也不是新算法。新意在于把它们组织成“先教会可教的，再搜索不可教的”的闭环，并用生成器特定的反馈来校准搜索。

但也要直接说：增益来源不完全清楚。DPO 是否真的“内化知识”，还是主要学会更好利用 SearchGen 分布中的参考和 rubric 偏好，文中没有完全隔离。RFT 是否学到知识边界，还是学到 benchmark-specific search abstention pattern，也需要更强 out-of-distribution 验证。所谓 self-awareness 更像 reward-shaped retrieval policy，而不是模型内部形成了可靠不确定性估计。

另外，benchmark 和训练数据同源于同一 failure taxonomy、同一 search corpus、同一类 VLM judge，存在隐式对齐风险。不是说结果无效，而是 claim 应限定为：在 SearchGen 这种长尾知识密集分布上，generator-aware retrieval calibration 明显优于 generator-agnostic retrieval。更广泛的“递归自我改进”仍然是推测。

Relation To Prior Work

这篇论文位于 retrieval-augmented generation、tool-use agent、preference alignment 和 subject/reference-conditioned image generation 的交叉处。

和 Re-Imagen、RDM、KNN-Diffusion、IP-Adapter 这类视觉检索/参考方法相比，本质差异是 retrieval 不再 always-on。过去方法更关心如何把检索结果注入生成器，这篇更关心什么时候不注入，以及注入前如何降噪。

和 Self-RAG、Toolformer、FLARE、Adaptive-RAG 等文本 selective retrieval 相比，核心差异在模态后果：文本检索错了通常是事实污染，视觉检索错了会变成身份混合、像素复制、构图漂移、风格覆盖。因此视觉场景需要 filter/integrate 这类专门的噪声控制，而不能照搬文本 RAG 的置信度触发。

和 agentic image generation / prompt planning 方法相比，这篇不是在解决 compositional planning，而是在解决 missing knowledge。很多 planner 假设模型知道所有对象，只是需要拆解布局；这里的问题是模型根本不知道实体或事实是什么。

和 DreamBooth/Textual Inversion 等 personalization 方法相比，它不是 per-concept optimization，而是把“哪些概念值得内化、哪些概念保持检索”作为系统层决策。这里的新增信息是边界随 generator training 移动，而不是某个单独概念能否被学习。

看似新的部分里，DPO、RFT、SFT reasoner 都是已有思想重组；实质创新在于把这些训练信号用于 searcher-generator coordination，并把工具调用策略从 prompt 静态分类提升为 generator-conditioned policy。

Dataset / Evaluation

SearchGen-20K / SearchGen-Bench 的价值在于它把真实生产请求中的长尾世界知识失败显式 benchmark 化。覆盖面包括近期事件、IP/实体、文化符号、UI、数据可视化、历史事实、文字/字体、复杂科普图等，比常规 T2I benchmark 更接近真实用户会触发的 failure mode。中英双语和多文化实体也是加分项，因为这类问题在英语中心 benchmark 中经常被低估。

评测是否支持核心 claim？部分支持。NoSearch / VisualSearch / TextualSearch 分层很好地证明了 search 是双刃剑；base vs DPO 的 no-search CDF 右移支持“部分知识可内化”；RFT reasoner 与 oracle reasoner 的比较支持“generator-specific calibration 有价值”；calibrated reasoner 换 generator 后退化支持边界依赖生成器。

但 evaluation 也有明显限制。首先，自动 VLM judge 是核心 reward 和核心 evaluator，存在 judge-induced optimization 的风险。即使有人类相关性，密集文字、身份相似度、文化真实性仍然是 VLM judge 的弱项。其次，数据是 answer-first / template + LLM rewriting 构造的，可能比真实线上 prompt 更规整，也可能让 reasoner 学到 annotation schema 而非开放世界能力。第三，offline cached search 保证可复现，但真实搜索的时间漂移、网页噪声、版权过滤、搜索失败、恶意 SEO 都没有完全进入闭环。

因此 benchmark 很适合验证“搜索增强视觉生成存在知识瓶颈和噪声瓶颈”，但还不足以单独证明系统已经学到广义的开放世界 self-improving behavior。

Limitation

第一，知识边界的定义依赖质量函数 Q、搜索协议和 prompt 分布。换 judge、换 search engine、换 corpus，边界可能变化。因此它更像一个 operational construct，而不是模型内部固有属性。文中未充分说明边界在分布外是否稳定。

第二，增益归因不清。DPO 带来的提升可能来自知识内化、搜索输入鲁棒性、benchmark reward 对齐、LoRA 适配特定 prompt 分布，甚至简单的数据覆盖。RFT 带来的提升也可能主要来自学会少搜索，而不是更深的 reasoning。

第三，核心能力 heavily rely on data。SearchGen 有大量预执行搜索、reasoning trajectories、generated images 和 checklist/rubric，这本身就是强监督基础设施。若没有这类高质量搜索-评估闭环，方法是否仍然成立不清楚。

第四，所谓 reasoner 的“推理”可能主要是 retrieval routing。它没有形成长期状态建模，也没有真正维护用户、世界或生成器内部知识的显式 memory；它只是基于单次 prompt 和 reward 轨迹学习工具调用。

第五，scaling 上限未验证。论文强调边界不会消失，这个判断合理；但不同规模 generator 下哪些类别可内化、哪些永远 contextual，没有系统 scaling law。4B/7B 上的结论不能直接外推到 frontier multimodal generators。

第六，真实部署鸿沟很大。商业系统的优势可能来自隐藏搜索、专有数据、后处理、安全过滤和更强生成器，论文的离线 harness 只模拟其中一部分。线上系统还要处理 latency、成本、版权、source reliability、实时性和 adversarial retrieval。

Takeaway

• 1. 对开放世界生成来说，工具调用的核心不是“能不能搜”，而是“当前模型还需不需要搜”。
• 这个 generator-specific boundary 可能会成为 agentic generation 的基本设计变量。
• 2. 搜索增强视觉生成的主要风险是 context over-conditioning。
• 未来方法不能只优化 retrieval recall，必须优化 reference compression、attribute-level grounding 和 selective conditioning。

一句话总结

这篇论文把 search-augmented visual generation 从“给图像生成器外接检索”推进到“围绕生成器动态知识边界进行工具调用校准”，真正贡献是 generator-aware teach-then-search 这一系统级归纳偏置，而非单个模块创新。