精读笔记

Problem Setting

论文标题：Self-Evolving Agentic Image Restoration via Deliberate Planning and Intuitive Execution（arXiv preprint / 2026-06-30）。

这篇论文不是在解决传统意义上的 denoise / deblur / SR 子任务，而是在解决真实复杂退化下“如何组织多个 restoration tools 的执行轨迹”。困难点不在于某个工具不够强，而在于多个工具之间存在顺序依赖、信息破坏和延迟收益：例如先去噪可能提高即时 IQA，却把后续超分需要的纹理结构抹掉。

以前方法卡在两个层面。AiO IR 把多退化压进一个静态模型，面对未知组合时缺少显式策略空间；agentic IR 虽然引入 LLM 调度工具，但多数仍是 step-wise greedy，优化的是局部中间质量而非终端轨迹质量。这个任务的关键矛盾是：高质量恢复需要长程搜索，但真实部署又不能每张图都付出完整搜索成本。

Motivation

作者的核心观察是，当前 agentic IR 的失败不是单纯因为 LLM 看不懂图，而是因为系统范式有问题：它们既没有足够的 long-horizon foresight，也没有把已经探索过的成功轨迹沉淀下来。换言之，agent 每次都像第一次处理这类退化。

这解释了为什么 greedy agent 容易在 restoration 中出错：很多操作是不可逆的，局部 reward 与最终视觉质量并不一致。复杂恢复更像 planning problem，而不是分类式 tool selection。关键缺口是一个能够同时做 test-time exploration 和 cross-sample experience reuse 的机制。

Core Idea

SEAR 的真正核心是把 image restoration agent 从“LLM 决策器”改造成“搜索—记忆—复用”的闭环系统。慢路径用 P-MCTS 在候选工具序列上做长程搜索，快路径用退化指纹检索历史高收益轨迹；成功搜索轨迹会进入 memory，之后相似退化可以直接走 shortcut，失败或不可靠时再回退到 planner。

这个建模方式引入了一个很重要的 inductive bias：相似退化模式通常共享相似的 restoration ordering，而不是相似语义内容共享策略。因此 memory key 不是图像 embedding，而是 degradation-aware fingerprint。它重新组织了信息流：原本一次性消耗的 test-time compute 被转化为可复用的 execution prior。这比 prior greedy agent 更 scalable 的地方不在于单次推理更便宜，而在于长期部署中重复分布上的搜索成本可以摊销。

Method

1. 长程轨迹建模：把恢复过程定义为工具序列 τ，而不是逐步选择当前最优工具。它解决的是 restoration 中 delayed effect 和 irreversible damage 的问题，核心变化是优化目标从 step-level reward 转为 terminal trajectory reward。

2. 宏观 agenda 约束：LLM 先生成任务级顺序，例如去噪、去雾、超分的粗粒度优先级。它不是主要贡献，但很必要，因为否则 MCTS 在完整工具库上分支爆炸。它带来的核心变化是把搜索从 flat action space 变成 stage-wise constrained search。

3. P-MCTS：在 agenda 限制下进行 selection / expansion / rollout / backpropagation，用 UCT 平衡 exploration 和 exploitation。它解决 greedy agent 没有 long-horizon foresight 的问题。这里真正重要的是 test-time compute 被系统性用于比较完整轨迹，而不是让 LLM 一次性拍脑袋。

4. Hybrid reward + MLLM tournament：由于真实场景没有 GT，只能用 no-reference IQA 和 human preference proxy。这个设计解决的是 reward misspecification 和 metric hacking。MLLM tournament 更像安全阀，避免最终结果只是在固定指标上高分。

5. Self-evolving memory：把高 reward 轨迹以 degradation fingerprint 为 key 存入 memory，并用可靠性门控决定直接执行还是转入 planner。它解决 episodic amnesia，核心变化是把 planning 的输出转化为后续 inference 的 prior。

Key Insight / Why It Works

最可能真正有效的是两个机制的组合：test-time search 找到比 greedy 更好的轨迹，memory reuse 把昂贵搜索转化为长期 amortized benefit。单独看 P-MCTS，它只是把计算量换质量；单独看 memory，它只是 retrieval cache。二者结合后，系统才形成“先探索、再压缩、后复用”的动态。

这篇的核心贡献更接近 memory-augmented test-time compute，而不是 LLM reasoning 本身。所谓 dual-process theory 主要是叙事框架；技术上就是 slow planner + fast retrieval executor。直觉上它成立，是因为复杂退化组合的空间虽然看起来大，但在 benchmark 和真实拍摄场景中可能存在大量重复模式：类似噪声+模糊、雨+低分辨率、雾+暗光等组合会反复出现。只要这些模式能被粗粒度 fingerprint 聚类，历史最优轨迹就有可迁移性。

最关键的 inductive bias 是“退化结构比图像内容更决定工具顺序”。如果这个假设成立，memory 会有效；如果不成立，比如同一退化下内容结构差异要求不同的保真策略，复用就可能产生错误。

哪些可能只是辅助：MLLM tournament、HPSv2/IQA ensemble、阈值门控更多是在缓解 reward 不稳定，不是范式创新。哪些可能主要来自 engineering / scaling：更大的工具库、更强 GPT-4o planning、更长 test-time search、更多 tool calls、统一重评 baseline 都可能贡献了增益。文中虽有 ablation，但增益归因仍不完全干净。

需要警惕 evaluation bias：reward 用的 no-reference metrics 与报告指标有重叠或相关性，容易让 search 对 evaluation proxy 优化。MLLM judge 也可能与 DepictQA/CLIP-IQA 类评价偏好同源，未必等价于真实人类偏好。若 benchmark 退化组合与 memory taxonomy 高度匹配，所谓泛化可能部分是 implicit memorization of degradation patterns。

Relation To Prior Work

它最接近三条线：AiO restoration、LLM/MLLM-based restoration agents、MCTS/test-time search agents。相对 AiO 方法，它不试图训练一个统一恢复网络，而是把已有 expert tools 组织成动态 pipeline；相对 RestoreAgent / AgenticIR / 4KAgent，它的关键差异不是“也用了 LLM”，而是从 greedy dispatch 转向 trajectory-level search，并把搜索结果持久化。

看似新的部分里，dual-process theory 其实是已有 fast/slow system、cache/planner、retrieval/planning 的重组；MCTS 本身也不是新算法；episodic memory 也来自 agent memory 系谱。实质创新在于把这些机制对齐到 restoration 的顺序敏感性：用退化指纹作为 memory key，用 terminal no-reference reward 搜索工具轨迹，用可靠性门控避免盲目复用。

因此它属于“agentic IR 从 prompt-planning 走向 search-and-memory systems”的技术谱系。真正新增的信息是：restoration agent 的经验不应只写进 prompt，而应该以可检索、可更新、可验证的轨迹形式存在。

Dataset / Evaluation

评估覆盖了 synthetic mixed degradations 和一个聚合 real-world dataset，任务上确实比单一退化更贴近 agentic IR 的 claim。实验也包含 AiO 和 agentic baselines，并统一工具集/DepictQA proxy，这对比较 planning strategy 有一定帮助。

但 evaluation 对核心 claim 的支持仍有限。它较好证明了：在这套退化 taxonomy、工具库、reward 和 benchmark 下，P-MCTS + memory 比 greedy 更强、更省重复搜索。它没有充分证明：系统能处理真正开放世界退化、未知工具需求、长期在线分布漂移，或真实用户偏好。

另一个问题是指标体系与方法目标存在耦合。搜索 reward 包含 no-reference IQA 和 HPSv2，报告也包含类似 perceptual / no-reference 指标，因此部分提升可能来自直接优化评价 proxy。PSNR/SSIM 上 SEAR 并非在所有真实场景最优，这也说明它更偏 perceptual optimization，而不是严格重建。

Limitation

第一，方法的上限由工具库决定。planner 再强，也只能在已有 operators 里组合；如果缺少针对某类退化的工具，或者工具本身引入不可逆 artifacts，搜索无法创造新恢复能力。

第二，退化诊断是系统的瓶颈。memory retrieval 依赖 MLLM 生成的 degradation fingerprint；若诊断错、强度量化粗糙、或多个不同退化映射到同一 fingerprint，shortcut 可能系统性错误。文中未充分说明 fingerprint collision 下如何处理不同内容结构需求。

第三，self-evolving 的说法要打折。它没有更新 restoration model，也没有学习新的 latent restoration operator；更像把成功 trajectory 存入 memory 并统计更新。所谓推理能力增长，本质是 retrieval coverage 增长。

第四，泛化可能依赖 benchmark overlap。MiO100-style 组合、预定义 8 类退化、固定工具库和真实数据聚合都可能让 memory reuse 很有效，但这不等价于开放世界泛化。核心能力可能主要来自数据覆盖和工具覆盖。

第五，reward alignment 仍是未解决问题。MLLM tournament 可以缓解 metric hacking，但本身也是一个 learned evaluator，可能引入偏置。文中未充分说明 judge 与 reported metrics、human preference 之间的独立性。

第六，成本转移没有完全消失。SEAR 把单次搜索成本转移到冷启动和 memory 建设阶段；长期是否划算取决于部署分布是否重复。如果输入分布长尾且变化快，memory amortization 会明显变弱。

Takeaway

• 1. 对 agentic restoration 来说，核心不是让 LLM 多说几步 chain-of-thought，而是把工具调用建模为可搜索、可评估、可复用的轨迹。
• 2. 最值得迁移的 insight 是：test-time compute 不应被一次性浪费，应该被蒸馏成 retrieval prior；这对视频处理、医学图像增强、多工具视觉编辑也适用。
• 3. 退化结构作为 memory key 是一个有效但有上限的抽象。
• 未来更值得做的是学习更细粒度、可校准、能表达不确定性的 state representation，而不是继续堆更多工具。

一句话总结

SEAR 是 agentic image restoration 从 greedy LLM tool dispatch 走向 memory-augmented test-time search 的一步，真正贡献在于把昂贵的轨迹搜索转化为可检索、可验证、可摊销的恢复经验。