Self-Evolving Agents Survey

Large language model agent: A survey on methodology, applications and challenges

Junyu Luo, Weizhi Zhang, Ye Yuan, Yusheng Zhao, Junwei Yang, Yiyang Gu, Bohan Wu, Binqi Chen, Ziyue Qiao, Qingqing Long, Rongcheng Tu, Xiao Luo, Wei Ju, Zhiping Xiao, Yifan Wang, Meng Xiao, Chenwu Liu, Jingyang Yuan, Shichang Zhang, Yiqiao Jin, Fan Zhang, Xian Wu, Hanqing Zhao, Dacheng Tao, Philip S. Yu, Ming Zhang

Rongcheng Tu, Hanqing Zhao, and Dacheng Tao are with Nanyang Technological University, Singapore, Shichang Zhang is with Harvard University, Cambridge, USA, Yiqiao Jin is with Georgia Institute of Technology, Atlanta, USA, Fan Zhang and Xian Wu are with Jarvis Research Center, Tencent YouTu Lab, Shenzhen, China, Allen School of Computer Science and Engineering, University of Washington, Seattle, USA

这篇综述面向LLM智能体从“对话助手”走向能感知、规划、用工具并长期适应的自主系统这一趋势，试图解决现有研究按应用或模块割裂的问题。其核心是提出以方法论为中心的“构建—协作—进化”框架，将角色定义、记忆、规划、行动、多智能体协作和自我改进统一到同一分类下，并进一步整理评测、工具、应用及安全伦理挑战。主要结果不是新的实验性能，而是一套较系统的研究地图和未来方向清单。

Advances and challenges in foundation agents: From brain-inspired intelligence to evolutionary, collaborative, and safe systems

Bang Liu, Xinfeng Li, Jiayi Zhang, Jinlin Wang, Tanjin He, Sirui Hong, Hongzhang Liu, Shaokun Zhang, Kaitao Song, Kunlun Zhu, Yuheng Cheng, Suyuchen Wang, Xiaoqiang Wang, Yuyu Luo, Haibo Jin, Peiyan Zhang, Ollie Liu, Jiaqi Chen, Huan Zhang, Zhaoyang Yu, Haochen Shi, Boyan Li, Dekun Wu, Fengwei Teng, Xiaojun Jia, Jiawei Xu, Jinyu Xiang, Yizhang Lin, Tianming Liu, Tongliang Liu

MetaGPT, Université de Montréal, Mila - Quebec AI Institute, Nanyang Technological University, Argonne National Laboratory, University of Sydney, Penn State University, Microsoft Research Asia, University of Southern California, Yale University, Stanford University, University of Georgia, The Ohio State University, King Abdullah University of Science and Technology, Duke University, The Hong Kong Polytechnic University, Google DeepMind, Canada CIFAR AI Chair

该综述的动机是厘清“大模型只是引擎、智能体才是可自主感知—记忆—规划—行动系统”的能力缺口。核心洞察是用类脑模块化框架统一梳理认知、记忆、世界模型、奖励、目标与情绪，并进一步覆盖自我进化、多智能体协作和安全对齐。主要结果不是实验增益，而是一套面向基础智能体的研究地图、概念框架与挑战清单。

Toward a Theory of Agents as Tool-Use Decision-Makers

Hongru Wang, Cheng Qian, Manling Li, Jiahao Qiu, Boyang Xue, Mengdi Wang, Heng Ji, Amos Storkey, Kam-Fai Wong

全文短总结尚未生成。

A survey on self-evolution of large language models

Zhengwei Tao, Ting-En Lin, Xiancai Chen, Hangyu Li, Yuchuan Wu, Yongbin Li, Zhi Jin, Fei Huang, Dacheng Tao, Jingren Zhou

面对依赖人工/外部监督成本高、复杂任务上限渐显的问题，本文将大语言模型自我进化整理为“经验获取—经验精炼—更新—评估”的迭代框架，并按进化目标与各模块梳理自指令、自博弈、自训练等方法。主要结果是给出统一分类、关键洞察与开放挑战；作为综述，文中不主张新的实证性能增益。

Curriculum Learning for Cooperation in Multi-Agent Reinforcement Learning

Rupali Bhati, Sai Krishna Gottipati, Clodéric Mars, Matthew E. Taylor

Mila & Laval University, University of Alberta

本文关注多智能体合作中课程学习如何选择“队友”，因为单智能体或竞争式课程难以直接指导协作训练。作者在 Overcooked 中将新手学生与不同技能预训练队友及队友课程配对，核心洞察是团队回报与学生自身学习并不一致：低技能队友最利于即时团队回报却最不利于学生学习；总体上，按技能递减的队友课程优于其他课程，而单一队友中中等技能队友最均衡。

A Survey on Curriculum Learning

Xin Wang, Wenwu Zhu

面对传统训练随机呈现样本、忽略难度与学习状态的问题，本文系统梳理课程学习的定义和基础。核心洞察是把课程统一为“难度度量器+训练调度器”的样本/任务重加权过程，并区分预设课程与自步、迁移教师、RL教师等自动课程。综述显示CL常能提升泛化与收敛速度，但效果依赖任务、数据和课程设计，并非总是有效。

Self-Evolving Curriculum for LLM Reasoning

Xiaoyin Chen, Jiarui Lu, Minsu Kim, Dinghuai Zhang, Jian Tang, Alexandre Piché, Nicolas Gontier, Yoshua Bengio, Ehsan Kamalloo

Mila – Quebec AI Institute, Universit´e de Montr´eal, KAIST, Microsoft Research, HEC Montr´eal, ServiceNow AI Research

这篇论文关注 LLM 强化学习微调中“题目出场顺序”对推理能力的影响，指出随机课程次优、人工课程依赖启发式、在线过滤成本高。作者提出 SEC，将题类选择建模为非平稳多臂老虎机，用策略梯度中的绝对 advantage 近似即时学习增益，并用 TD(0)同步更新课程策略。实验覆盖规划、归纳推理和数学，SEC 相比随机课程提升 OOD 泛化，并在多任务微调中带来更均衡的技能表现。

Continual lifelong learning with neural networks: A review

German I. Parisi, Ronald Kemker, Jose L. Part, Christopher Kanan, Stefan Wermter

Knowledge Technology, Department of Informatics, Universit¨at Hamburg, Germany, Chester F. Carlson Center for Imaging Science, Rochester Institute of Technology, NY, USA, Department of Computer Science, Heriot-Watt University, Edinburgh Centre for Robotics, Scotland, UK

面向真实机器人/自主体需在非平稳数据流中持续学习而不遗忘旧技能的问题，本文梳理终身学习的定义基础与灾难性遗忘成因，核心洞察是以稳定性—可塑性权衡统一理解突触调节、结构扩展、记忆回放和互补学习系统等方法。主要结果是给出神经网络持续学习路线的分类比较，并指出现有方法多停留在有限监督任务，距离鲁棒开放环境机器人学习仍有明显缺口。

Lifelong Learning of Large Language Model-based Agents: A Roadmap

Junhao Zheng, Chengming Shi, Xidi Cai, Qiuke Li, Duzhen Zhang, Chenxing Li, Dong Yu, Qianli Ma

针对现有 LLM 智能体部署后多为静态、难以在机器人等动态环境中持续适应且易灾难性遗忘的问题，本文将终身学习引入智能体框架，核心洞察是按感知、记忆、行动三模块梳理多模态输入、演化知识存取与环境交互机制。主要结果是形成首个面向终身 LLM 智能体的系统路线图，覆盖定义、技术谱系、评测指标、应用场景与开放挑战；文中未充分说明具体算法带来的量化增益。

Vision-Zero: Scalable VLM Self-Improvement via Strategic Gamified Self-Play

Qinsi Wang, Bo Liu, Tianyi Zhou, Jing Shi, Yueqian Lin, Yiran Chen, Hai Helen Li, Kun Wan, Wentian Zhao

针对VLM强化学习依赖人工标注与验证、难以规模化自我提升的问题，Vision-Zero把任意图像转化为“谁是卧底”式多智能体视觉博弈，让模型在平民/间谍角色中自生成训练信号，并用Iterative-SPO交替自博弈与可验证奖励RL稳定优化。实验显示其在推理、图表问答和视觉理解任务上超过多种有标注训练基线，但具体增益中自博弈与数据多样性的贡献仍需更细拆解。

Self-Challenging Language Model Agents

Yifei Zhou, Sergey Levine, Jason Weston, Xian Li, Sainbayar Sukhbaatar

UC Berkeley, FAIR at Meta

针对多轮工具使用智能体训练依赖人工设计任务、难以规模化的问题，论文提出 Self-Challenging：同一模型先作为 challenger 探索工具环境并生成任务，再作为 executor 用反馈强化学习训练。其关键是 Code-as-Task，把指令、验证函数、示例解和失败例写成可执行任务以筛除不可行或不可验证数据。在 M3ToolEval 与 TauBench 上，仅用自生成数据即可使 Llama-3.1-8B-Instruct 成功率翻倍，自改进从 12.0% 提升到 23.5%。

Self Rewarding Self Improving

Toby Simonds, Kevin Lopez, Akira Yoshiyama, Dominique Garmier

全文短总结尚未生成。

SELF: Self-Evolution with Language Feedback

Jianqiao Lu, Wanjun Zhong, Wenyong Huang, Yufei Wang, Qi Zhu, Fei Mi, Baojun Wang, Weichao Wang, Xingshan Zeng, Lifeng Shang, Xin Jiang, Qun Liu

Noah’s Ark Lab

SELF 针对现有 LLM 训练依赖人工数据、外部奖励且缺少自主持续改进的问题，先用少量样例学习自反馈与自修正元技能，再在无标注指令上生成、反馈、精炼、过滤并迭代自训练，同时支持推理时自修正。实验显示其相较普通 SFT 在 GSM8K/SVAMP 准确率提升 6.82%/4.9%，在 Vicuna/Evol-Instruct 胜率提升 10%/6.9%。

Self-reasoning Language Models

Deng Cai, Wanjun Zhong, Shijue Huang, Jeff Z. Pan, Kam-Fai Wong

The Chinese University of Hong Kong, ByteDance, The University of Edinburgh, Beihang University, MoE Key Laboratory of High Confidence Software Technologies

该文针对长 CoT 数据稀缺、通用指令缺少可验证答案导致推理时 scaling 难以训练的问题，提出 SRLM：用约 1000 条“推理催化”示例教模型展开隐藏推理链，再通过自生成、筛选与迭代微调实现自我改进。实验在 MMLU、GSM8K、ARC-C、HellaSwag、BBH 上平均提升超过 2.5 分，64 次采样时平均增益达 7.89 分，增益可能主要来自 data 与 inference-time sampling 结合。

AgentGen: Enhancing Planning Abilities for Large Language Model based Agent via Environment and Task Generation

Mengkang Hu, Pu Zhao, Can Xu, Qingfeng Sun, Jianguang Lou, Qingwei Lin, Ping Luo, Saravan Rajmohan

The University of Hong Kong, Microsoft Corporation

针对LLM智能体训练依赖人工设计环境与任务、难以获得多样专家轨迹的问题，AgentGen用LLM自动生成环境，并借助灵感语料提升场景覆盖，再用双向演化构造由易到难的规划任务曲线。基于592个PDDL环境和7246条轨迹微调后，Llama-3.1-8B总体超过GPT-3.5，70B在AgentBoard规划任务上达到SOTA，且跨域任务也有提升。

Reflexion: Language Agents with Verbal Reinforcement Learning

Noah Shinn, Federico Cassano, Edward Berman, Ashwin Gopinath, Karthik Narasimhan, Shunyu Yao

Northeastern University, Massachusetts Institute of Technology, Princeton University

针对语言智能体难以像强化学习那样从试错中快速改进、而微调成本高的问题，Reflexion把环境奖励、错误信号或自评结果转写为自然语言反思，并存入情节记忆，在后续尝试中作为“语义梯度”指导决策，无需更新模型权重。实验显示其在ALFWorld、HotPotQA、HumanEval等决策、推理和编程任务上分别带来约22%、20%、11%的提升，HumanEval pass@1达91%。

AdaPlanner: Adaptive Planning from Feedback with Language Models

Haotian Sun, Yuchen Zhuang, Lingkai Kong, Bo Dai, Chao Zhang

Georgia Institute of Technology

针对 LLM 智能体在长序列任务中要么贪心行动、要么执行静态计划而难以利用环境反馈的问题，AdaPlanner 将模型同时作为 planner 与 refiner，用代码式提示生成可分解计划，并区分符合预期与偏离预期的反馈：前者调用 LLM 抽取关键信息，后者从中间状态重写计划；同时用成功轨迹做技能发现以提升样本效率。在 ALFWorld 和 MiniWoB++ 上分别较强基线提升 3.73% 与 4.11%，且样本需求减少 2 倍和 600 倍。

Self-Refine: Iterative Refinement with Self-Feedback

Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Shashank Gupta, Bodhisattwa Prasad Majumder, Sean Welleck, Amir Yazdanbakhsh, Peter Clark

Language Technologies Institute, Carnegie Mellon University, Allen Institute for Artificial Intelligence, University of Washington, NVIDIA, UC San Diego Google Research, Brain Team

论文针对大模型首轮生成常难以满足复杂目标、而训练专用修正器或奖励模型成本高的问题，提出 Self-Refine：同一 LLM 先生成答案，再基于提示自我给出具体反馈并迭代改写，无需监督数据、额外训练或强化学习。作者在对话、代码、数学推理等 7 类任务上验证，该测试时自改进流程相对一次性生成平均带来约 20% 绝对性能提升，说明模型的反馈能力可被直接转化为输出质量增益。

Learn-by-interact: A Data-Centric Framework for Self-Adaptive Agents in Realistic Environments

Hongjin Su, Ruoxi Sun, Jinsung Yoon, Pengcheng Yin, Tao Yu

Google, The University of Hong Kong

这篇论文针对真实软件、网页和桌面环境中智能体缺少高质量交互数据、人工标注长轨迹成本高的问题，提出 Learn-by-interact：先依据文档生成任务并让 LLM 与环境交互，再用“反向构造”从实际轨迹摘要出匹配指令，形成可用于微调或 ICL 检索的环境数据。实验覆盖 SWE-bench、WebArena、OSWorld、Spider2-V，ICL 最高提升 12.2%，训练最高提升 19.5%，反向构造贡献最高 14.0%。

DYSTIL: Dynamic Strategy Induction with Large Language Models for Reinforcement Learning

Borui Wang, Kathleen McKeown, Rex Ying

Department of Computer Science, Columbia University

针对从少量专家示范学习时行为克隆易过拟合、样本效率低且策略黑箱的问题，DYSTIL让大语言模型依据优势估计与示范轨迹动态归纳文本策略，并在PPO式优化中逐步内化到RL策略网络，从而把高层任务原则转化为可训练信号。在Minigrid和BabyAI四个任务上，其平均成功率较最强基线提升17.75%，同时提供可观察的策略演化文本通道。

Self-evolving Agents with reflective and memory-augmented abilities

Xuechen Liang, Yangfan He, Yinghui Xia, Xinyuan Song, Jianhui Wang, Meiling Tao, Li Sun, Xinhang Yuan, Jiayi Su, Keqin Li, Jiaqi Chen, Jinsong Yang, Siyuan Chen, Tianyu Shi

East China Jiao Tong University, University of Minnesota - Twin Cities, Emory University, University of Electronic Science and Technology of China, Guangdong University of Technology, Amazon, Washington University, Xiamen University, Independent Researcher, University of Bristol, University of Toronto

针对LLM智能体在动态任务中连续决策困难、长期记忆不足和上下文受限的问题，论文提出SAGE框架，用User-Assistant-Checker三智能体循环反馈、自反思与基于艾宾浩斯遗忘曲线的MemorySyntax筛选记忆，无需额外训练以降低信息负载。实验显示其在多基准和长文本任务上提升明显，闭源模型最高2.26倍，开源模型提升57.7%至100%，小模型收益更突出。

Mem0: Building Production-Ready AI Agents with Scalable Long-Term Memory

Prateek Chhikara, Dev Khant, Saket Aryan, Taranjeet Singh, Deshraj Yadav

针对长周期、多会话交互中 LLM 受固定上下文窗口限制而遗忘偏好、事实不一致的问题，Mem0 将记忆作为可演化基础设施，动态抽取、合并、更新并按需检索关键信息，另以图记忆显式建模实体关系以支持多跳与时序推理。在 LOCOMO 上其优于多类记忆/RAG/全上下文基线，较 OpenAI 评测指标相对提升 26%，图版本再提升约 2%，同时 p95 延迟降低 91%、token 成本节省超过 90%。

MemInsight: Autonomous Memory Augmentation for LLM Agents

Rana Salama, Jason Cai, Michelle Yuan, Anna Currey, Monica Sunkara, Yi Zhang, Yassine Benajiba

针对 LLM 智能体长期交互记忆不断膨胀、原始历史噪声大且缺乏语义结构导致检索变差的问题，MemInsight 让模型自主挖掘实体与对话层面的属性并为记忆生成结构化增强，再用于属性过滤和嵌入检索。实验覆盖对话推荐、问答和事件总结，在 LLM-REDIAL 上推荐说服力最高提升 14%，在 LoCoMo 检索召回上较 RAG 基线提升 34%。

Large Language Models Are Semi-Parametric Reinforcement Learning Agents

Danyang Zhang, Lu Chen, Situo Zhang, Hongshen Xu, Zihan Zhao, Kai Yu

X-LANCE Lab, Department of Computer Science and Engineering, MoE Key Lab of Artificial Intelligence, SJTU AI Institute, Shanghai Jiao Tong University, Shanghai, China, Suzhou Laboratory, Suzhou, China

针对大语言模型智能体难以在不微调参数的情况下从交互中长期学习的问题，本文提出 REMEMBERER：将跨任务的成功与失败轨迹写入持久化经验记忆，并用 RLEM 通过强化学习更新记忆而非模型权重，使 LLM 成为半参数化 RL 智能体。在 WebShop 与 WikiHow 上，少量训练任务获得的经验可迁移到未见任务，成功率较既有 SOTA 分别提升约 2 和 4 个百分点。

Agent Workflow Memory

Zora Zhiruo Wang, Jiayuan Mao, Daniel Fried, Graham Neubig

png}}} start_FLOATSUPERSCRIPT end_FLOATSUPERSCRIPT Carnegie Mellon University {}^

论文针对长程网页操作中智能体难以从历史成功/失败中复用经验的问题，提出 Agent Workflow Memory：从轨迹中归纳可复用工作流，并在离线或在线场景选择性写入/检索为记忆，支持由简单流程组合出更复杂子目标。在 Mind2Web 与 WebArena 上，相对成功率分别提升 24.6% 和 51.1%，且在线设置在跨任务、网站和领域评测中仍有 8.9–14.0 个百分点增益。

Richelieu: Self-Evolving LLM-Based Agents for AI Diplomacy

Zhenyu Guan, Xiangyu Kong, Fangwei Zhong, Yizhou Wang

♢ ♢ \diamondsuit ♢ Institute for Artificial Intelligence, Peking University, ♣ ♣ \clubsuit ♣ Computer School, Beijing Information Science & Technology University, ♠ ♠ \spadesuit ♠ School of Artificial Intelligence, Beijing Normal University, ♡ ♡ \heartsuit ♡ Center on Frontiers of Computing Studies, School of Computer Science, Nat’l Eng. Research Center of Visual Technology, State Key Lab of General Artificial Intelligence, \dagger State Key Laboratory of General Artificial Intelligence, diamondsuit ♢ Institute for Artificial Intelligence

针对外交博弈中长程规划、自然语言谈判与社会推理交织且既有方法依赖人类专家数据的问题，Richelieu 将LLM智能体与层级策略、可信度/目标记忆、反思评估和自博弈经验积累结合，使记忆可随对局自我演化。实验显示其在 Diplomacy 中超过依赖大规模人类示范的 Cicero，消融验证各模块有效，并可迁移到 GPT-4、Llama 3 等不同底座模型。

Memory OS of AI Agent

Jiazheng Kang, Mingming Ji, Zhe Zhao, Ting Bai

Beijing University of Posts, Tencent AI Lab

针对固定上下文窗口导致智能体长对话中记忆断裂、个性化不足的问题，论文将操作系统内存管理思想引入 LLM Agent，提出 MemoryOS：以短期、中期、长期个人记忆构成分层存储，并用存储、更新、检索、生成四模块协同；短到中采用对话链 FIFO，中到长采用分段分页与热度机制。LoCoMo 上在 GPT-4o-mini 相比基线 F1 平均提升 49.11%、BLEU-1 提升 46.18%，显示更好的上下文连贯性与个人记忆保持。

Large Language Models Are Human-Level Prompt Engineers

Yongchao Zhou, Andrei Ioan Muresanu, Ziwen Han, Keiran Paster, Silviu Pitis, Harris Chan, Jimmy Ba

University of Toronto, Vector Institute, University of Waterloo

论文针对手工提示依赖试错、且不同措辞会显著影响 LLM 行为的问题，将自然语言指令视为可执行“程序”，提出 APE：由 LLM 根据少量输入输出示例生成候选提示，再用目标模型得分并可迭代重采样优化。实验显示，APE 在指令归纳与 BIG-Bench 多任务上达到或超过人工提示水平，并可提升 few-shot、零样本 CoT 及真实性/信息性控制。

Large Language Models as Optimizers

Chengrun Yang, Xuezhi Wang, Yifeng Lu, Hanxiao Liu, Quoc V. Le, Denny Zhou, Xinyun Chen

Google DeepMind

针对许多真实任务缺少梯度、离散提示空间难以手工调参的问题，本文提出 OPRO：用自然语言描述目标，并把历史候选解及分数放入 meta-prompt，让 LLM 迭代生成新解，在探索与利用间搜索。除线性回归、TSP 小案例外，重点用于提示优化；在 GSM8K 上较人工零样本提示最高提升 8%，在 BBH 任务最高提升 50%，但并非旨在替代专用优化器。

Automatic Prompt Optimization with "Gradient Descent" and Beam Search

Reid Pryzant, Dan Iter, Jerry Li, Yin Tat Lee, Chenguang Zhu, Michael Zeng

Microsoft Azure AI

针对手写提示依赖反复试错且黑盒 API 难以做可微调优的问题，本文提出 ProTeGi：用小批量训练样本让 LLM 生成自然语言“梯度”批评当前提示，再按相反语义方向编辑，并用束搜索与 bandit 选择提高候选筛选效率。四个分类任务含越狱检测上，初始提示最高提升 31%，较既有提示学习平均高 4–8%，但实验范围较窄且 API 调用成本仍是限制。

PromptAgent: Strategic Planning with Language Models Enables Expert-level Prompt Optimization

Xinyuan Wang, Chenxi Li, Zhen Wang, Fan Bai, Haotian Luo, Jiayou Zhang, Nebojsa Jojic, Eric P Xing, Zhiting Hu

UC San Diego Carnegie Mellon University, Microsoft Research Georgia Institute of Technology, Mohamed bin Zayed University of Artificial Intelligence

本文针对闭源大模型上专家级提示难以自动构造的问题，指出现有采样/改写式优化常停留在局部变体、缺少领域知识注入。PromptAgent将提示优化建模为战略规划，用MCTS在提示树中搜索，并通过错误样例反思生成反馈来更新提示。实验覆盖BBH、领域任务和通用NLP共12项，在GPT-3.5、GPT-4、PaLM 2上均超过CoT和APE等基线，显示更强的专家级细节生成与泛化能力。

REVOLVE: Optimizing AI Systems by Tracking Response Evolution in Textual Optimization

Peiyan Zhang, Haibo Jin, Leyang Hu, Xinnuo Li, Liying Kang, Man Luo, Yangqiu Song, Haohan Wang

Hong Kong University of Science and Technology, University of Illinois at Urbana-Champaign, Brown University, University of Michigan - Ann Arbor, Hong Kong Polytechnic University, Intel Lab

针对 TextGrad 等文本反馈优化只看当前迭代、易在响应变化缓慢或震荡时停滞的问题，REVOLVE 将连续轮次的提示—响应演化纳入更新，相当于用“二阶”响应动态辅助自然语言梯度，提升调整稳定性并帮助跳出局部最优。实验覆盖提示、解答和代码优化，分别报告 7.8%、20.72% 和 29.17% 增益，且收敛轮次更少。

DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines

Omar Khattab, Arnav Singhvi, Paridhi Maheshwari, Zhiyuan Zhang, Keshav Santhanam, Sri Vardhamanan, Saiful Haq, Ashutosh Sharma, Thomas T Joshi, Hanna Moazam, Heather Miller, Matei Zaharia, Christopher Potts

Stanford University, UC Berkeley, Carnegie Mellon University

针对多阶段大语言模型流水线依赖手写 prompt、难迁移且难系统优化的问题，DSPy 将 LM 调用抽象为带自然语言签名的参数化模块，并用 compiler/teleprompter 自动为整条流水线搜索示例、提示或微调策略。实验在数学推理与多跳问答中显示，数行程序可在数分钟到数十分钟内自举，GPT-3.5 与 Llama2-13B 相比标准 few-shot 和专家示例链均有显著提升，且小模型可接近部分手写 GPT-3.5 流水线。

Voyager: An Open-Ended Embodied Agent with Large Language Models

Guanzhi Wang, Yuqi Xie, Yunfan Jiang, Ajay Mandlekar, Chaowei Xiao, Yuke Zhu, Linxi Fan, Anima Anandkumar

面向开放世界中具身智能体难以长期自主探索、积累并迁移技能的问题，Voyager 将 GPT-4 作为黑盒代码生成器，结合自动课程、可检索的可执行技能库与基于环境反馈/报错/自验证的迭代提示，实现无需微调的终身学习。在 Minecraft 中，它比既有 LLM 智能体发现更多物品、走得更远，并显著更快解锁技术树，技能库还能迁移到新世界任务。

Alita: Generalist Agent Enabling Scalable Agentic Reasoning with Minimal Predefinition and Maximal Self-Evolution

Jiahao Qiu, Xuan Qi, Tongcheng Zhang, Xinzhe Juan, Jiacheng Guo, Yifu Lu, Yimin Wang, Zixin Yao, Qihan Ren, Xun Jiang, Xing Zhou, Dongrui Liu, Ling Yang, Yue Wu, Kaixuan Huang, Shilong Liu, Hongru Wang, Mengdi Wang

AI Lab, Princeton University, IIIS, Tsinghua University, Shanghai Jiao Tong University, University of Michigan, Tianqiao and Chrissy Chen Institute, The Chinese University of Hong Kong, OpenAI DeepResearch

现有通用智能体依赖大量人工预设工具和流程，难以覆盖开放任务且限制组合灵活性。Alita反其道而行，只保留Web Agent作为直接解题核心，并通过通用模块按任务自动生成、改写和复用MCP来扩展能力。实验显示其在GAIA验证集达75.15% pass@1、87.27% pass@3，并在MathVista和PathVQA取得74.00%、52.00% pass@1，说明较少预定义也可获得较强泛化表现。

Advanced Tool Learning and Selection System (ATLASS): A Closed-Loop Framework Using LLM

Mohd Ariful Haque, Justin Williams, Sunzida Siddique, Md. Hujaifa Islam, Hasmot Ali, Kishor Datta Gupta, Roy George

针对预定义工具集难以覆盖新任务、LLM 工具生成又常受外部 API/依赖环境限制的问题，ATLASS 将工具需求理解、检索/按需生成与任务求解组成闭环，并把生成工具沉淀到数据库复用；其亮点是自动配置环境、在线获取 API 文档并用 Python 解释器验证工具。论文声称可提升复杂问题适应性、减少重复推理成本，但定量实验效果和增益来源文中未充分说明。

From Exploration to Mastery: Enabling LLMs to Master Tools via Self-Driven Interactions

Changle Qu, Sunhao Dai, Xiaochi Wei, Hengyi Cai, Shuaiqiang Wang, Dawei Yin, Jun Xu, Ji-Rong Wen

Gaoling School of Artificial Intelligence, Renmin University of China, Baidu Inc., Institute of Computing Technology, Chinese Academy of Sciences

论文关注 LLM 使用外部工具时对人类编写工具文档的误解问题：文档常有歧义、遗漏、冗余或与工具更新不同步。作者提出 DRAFT，让模型通过试错交互收集执行反馈，再分析失败原因并重写文档，同时用多样化探索和自适应停止控制迭代。多数据集实验显示，该方法能提升文档质量与工具调用效果，且改写后的文档具备一定跨模型泛化能力。

ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs

Yujia Qin, Shihao Liang, Yining Ye, Kunlun Zhu, Lan Yan, Yaxi Lu, Yankai Lin, Xin Cong, Xiangru Tang, Bill Qian, Sihan Zhao, Lauren Hong, Runchu Tian, Ruobing Xie, Jie Zhou, Mark Gerstein, Dahai Li, Zhiyuan Liu, Maosong Sun

start_FLOATSUPERSCRIPT 3 end_FLOATSUPERSCRIPT Renmin University of China, start_FLOATSUPERSCRIPT 4 end_FLOATSUPERSCRIPT Yale University

针对开源大模型缺乏真实 API 调用与多工具规划能力的问题，ToolLLM构建了覆盖16,464个RapidAPI接口的ToolBench，并用ChatGPT自动生成指令、标注调用路径；其关键在于引入DFS决策树扩展推理搜索，同时提供ToolEval自动评测。基于此微调的ToolLLaMA在复杂单/多工具任务和未见API上接近ChatGPT，并在APIBench展现零样泛化。

ToolGen: Unified Tool Retrieval and Calling via Generation

Renxi Wang, Xudong Han, Lei Ji, Shu Wang, Timothy Baldwin, Haonan Li

LibrAI Mohamed bin Zayed University of Artificial Intelligence Microsoft, University of California, Los Angeles The University of Melbourne

ToolGen针对大规模工具库下“先检索再调用”受上下文长度、外部检索器误差与流水线不一致限制的问题，将每个工具表示为LLM词表中的虚拟token，并通过工具记忆、检索训练和Agent微调把工具选择与API调用统一为生成任务。在4.7万真实工具上，文中报告其在工具检索和自主任务完成中达到或超过传统范式，同时显著降低额外检索成本、提升可扩展性。

AgentSquare: Automatic LLM Agent Search in Modular Design Space

Yu Shang, Yu Li, Keyu Zhao, Likai Ma, Jiahe Liu, Fengli Xu, Yong Li

Department of Electronic Engineering, Tsinghua University, Shenzhen International Graduate School, Tsinghua University

针对现有 LLM 智能体多依赖人工、任务特定架构且难以复用不同代码库中成功组件的问题，本文提出 MoLAS 问题和 AgentSquare：将智能体抽象为规划、推理、工具使用、记忆四类统一 IO 模块，并通过模块进化、重组及上下文性能预测器自动搜索架构。在网页、具身、工具使用和游戏等六个基准上，相比最佳人工设计平均提升 17.2%，同时能给出较可解释的模块组合洞察。

Retrieval Models Aren't Tool-Savvy: Benchmarking Tool Retrieval for Large Language Models

Zhengliang Shi, Yuhan Wang, Lingyong Yan, Pengjie Ren, Shuaiqiang Wang, Dawei Yin, Zhaochun Ren

Shandong University, Qingdao, China, Baidu Inc., Beijing, China, Leiden University, Leiden, The Netherlands

面向大规模工具库时，LLM 智能体受上下文限制必须先检索可用工具，但现有评测常预先给定少量相关工具，掩盖了真实瓶颈。论文提出 ToolRet，将 7.6k 检索任务与 43k 工具统一为异构基准，并构造 20 万级训练集；实验显示常规 IR 强模型在工具检索上明显失效，最佳 nDCG@10 仅约 33.83，且会拉低端到端任务通过率，而专门训练可显著改善检索与智能体表现。

Towards Completeness-Oriented Tool Retrieval for Large Language Models

Changle Qu, Sunhao Dai, Xiaochi Wei, Hengyi Cai, Shuaiqiang Wang, Dawei Yin, Jun Xu, Ji-Rong Wen

Gaoling School of Artificial Intelligence, Renmin University of China, Institute of Computing Technology, Chinese Academy of Sciences

面向工具增强 LLM 的大规模工具库，论文指出仅按语义相似检索会返回冗余工具，难以覆盖多步骤任务所需的完整工具组合。COLT 将查询、场景、工具构成二部图，在语义微调后用双视图图协同学习建模工具间互补关系，并提出 ToolLens 与完整性指标 COMP@K。实验显示其在开放基准和 ToolLens 上优于稠密检索，且 BERT-mini 版可超过 BERT-large 基线。

Gödel Agent: A Self-Referential Framework for Agents Recursively Self-Improvement

Xunjian Yin, Xinyi Wang, Liangming Pan, Li Lin, Xiaojun Wan, William Yang Wang

Peking University ♣, University of California, Santa Barbara ♢, University of Arizona

针对手工流水线或固定元学习智能体受人类先验限制、难以搜索完整设计空间的问题，Gödel Agent 将 LLM 智能体做成可自指系统：通过运行时读取并 monkey patch 自身代码，递归改写策略和更新算法。实验覆盖代码、科学、数学和推理任务，显示其可持续自我改进，并在性能、成本效率与跨任务适配上超过多种人工设计智能体。

AlphaEvolve: A coding agent for scientific and algorithmic discovery

Alexander Novikov, Marvin Eisenberger, Emilien Dupont, Po-Sen Huang, Adam Zsolt Wagner, Sergey Shirobokov, Borislav Kozlovskii, Francisco J. R. Ruiz, Abbas Mehrabian, M. Pawan Kumar, Abigail See, Swarat Chaudhuri, George Holland, Alex Davies, Sebastian Nowozin, Pushmeet Kohli, Matej Balog

Google DeepMind1, Google DeepMind. All rights reserved

本文面向“LLM 如何真正产生可验证的新算法/工程改进”这一难题，提出 AlphaEvolve：用 SOTA LLM 生成和修改整段代码，以进化算法维护程序库，并通过自动评测器闭环筛选，关键洞察是把科学构造、启发式和系统优化都表述为可执行程序搜索。结果上，它在矩阵乘法、50 余个数学构造问题及 Google 数据中心调度、TPU 电路、LLM 训练内核等任务上取得改进，包括 4×4 复矩阵乘法 48 次标量乘法的发现；局限是依赖可自动评测的问题。

TextGrad: Automatic "Differentiation" via Text

Mert Yuksekgonul, Federico Bianchi, Joseph Boen, Sheng Liu, Zhi Huang, Carlos Guestrin, James Zou

Department of Computer Science, Stanford University, Department of Biomedical Data Science, Stanford University

针对多 LLM、工具和仿真器组成的复合 AI 系统仍依赖人工调参的问题，TextGrad 将系统表示为计算图，用 LLM 生成的自然语言批评充当“文本梯度”，沿图反传并更新提示、代码、分子等变量，接口仿 PyTorch。实验显示其在不改框架下提升 GPQA 准确率 51%→55%，LeetCode-Hard 相对增益约 20%，并用于推理提示、分子设计和放疗计划优化。

EvoFlow: Evolving Diverse Agentic Workflows On The Fly

Guibin Zhang, Kaijie Chen, Guancheng Wan, Heng Chang, Hong Cheng, Kun Wang, Shuyue Hu, Lei Bai

针对现有自动化智能体工作流常优化单一、同质且复杂方案，难以在不同难度任务上兼顾成本与性能，EvoFlow 将工作流搜索改写为成本-效果多目标进化问题，通过标签检索、交叉/变异和 niching 选择维护异构 LLM 与复杂度多样的 Pareto 工作流群。七个基准显示其较手工和自动基线提升 1.23%–29.86%，并可用较弱开源模型以 o1-preview 12.4% 的推理成本取得更好结果。

Multi-Agent Design: Optimizing Agents with Better Prompts and Topologies

Han Zhou, Xingchen Wan, Ruoxi Sun, Hamid Palangi, Shariq Iqbal, Anna Korhonen

Google, University of Cambridge

该文针对多智能体系统在新任务中需反复手工调提示词与通信拓扑、搜索空间组合爆炸的问题，先分析发现提示优化影响很大，而有效拓扑只占少量空间；据此提出 Mass，将局部提示预热、剪枝后的工作流拓扑搜索、全局提示优化交替串联。实验覆盖推理、多跳理解和代码任务，Mass 相比手工设计及既有自动化方法取得显著提升，并归纳了若干 MAS 设计原则。

AFlow: Automating Agentic Workflow Generation

Jiayi Zhang, Jinyu Xiang, Zhaoyang Yu, Fengwei Teng, Xionghui Chen, Jiaqi Chen, Mingchen Zhuge, Xin Cheng, Sirui Hong, Jinlin Wang, Bingnan Zheng, Bang Liu, Yuyu Luo, Chenglin Wu

DeepWisdom, The Hong Kong University of Science and Technology (Guangzhou, Renmin University of China, Nanjing University, Fudan University, The Hong Kong University of Science and Technology

AFlow针对智能体工作流依赖人工设计、难以迁移的问题，将由LLM调用节点和代码边组成的工作流视为可搜索程序空间，并用蒙特卡洛树搜索结合可复用算子、执行反馈和经验回传自动改写流程。在HumanEval、MBPP、MATH、GSM8K、HotPotQA、DROP上平均较SOTA提升5.7%，较既有自动方法提升19.5%，且部分任务中小模型能以约4.55%成本超过GPT-4o。

Automated Design of Agentic Systems

Shengran Hu, Cong Lu, Jeff Clune

University of British Columbia, Vector Institute, Canada CIFAR AI Chair

本文针对手工设计智能体组件与工作流成本高、难以穷尽组合的问题，提出 ADAS 研究框架，并用 Meta Agent Search 让元智能体在代码空间中迭代生成、评测和归档新智能体，从而搜索提示、工具使用与控制流程的组合。实验显示其发现的智能体在阅读、数学、科学等任务上显著超过手工基线，并在跨领域、跨模型迁移时仍保持优势。

AutoFlow: Automated Workflow Generation for Large Language Model Agents

Zelong Li, Shuyuan Xu, Kai Mei, Wenyue Hua, Balaji Rama, Om Raheja, Hao Wang, He Zhu, Yongfeng Zhang

Rutgers University, Independent Researcher

针对 LLM 智能体工作流依赖人工设计、难以规模化迁移的问题，AutoFlow 将工作流表示为可由 LLM 解释执行的自然语言程序，并用执行表现作为奖励迭代优化生成器；同时给出微调式与上下文式两条路径，分别适配开源和闭源模型。实验显示其生成的工作流在有效计划率和整体任务表现上优于手工流程，并保持一定可读性。

Language Agents as Optimizable Graphs

Mingchen Zhuge, Wenyi Wang, Louis Kirsch, Francesco Faccio, Dmitrii Khizbullin

这篇工作针对现有 LLM 智能体提示流和多智能体协作代码割裂、依赖人工编排的问题，提出 GPTSwarm：把节点视为 LLM/工具等操作、边视为信息流，并将智能体递归组合成可优化计算图。其关键洞察是同时优化节点提示与跨智能体连接，可自动重组 CoT、ToT、Reflexion 等模式。实验在 MMLU、Mini CrossWords、HumanEval、GAIA 上显示图优化能提升构建与性能，但具体增益来源仍可能受任务与基座模型影响。

ScoreFlow: Mastering LLM Agent Workflows via Score-based Preference Optimization

Yinjie Wang, Ling Yang, Guohao Li, Mengdi Wang, Bryon Aragam

ScoreFlow针对手工设计或离散搜索智能体工作流难以适配多任务、易早收敛且成本高的问题，将工作流以代码表示，并训练一个按题生成工作流的生成器；其关键在于用评价分数构造偏好并提出Score-DPO，把定量分数纳入DPO式梯度优化。实验覆盖问答、代码和数学六个基准，较既有自动工作流优化方法平均提升8.2%，并显示小模型在更低推理成本下可超过部分大模型。

FlowReasoner: Reinforcing Query-Level Meta-Agents

Hongcheng Gao, Yue Liu, Yufei He, Longxu Dou, Chao Du, Zhijie Deng, Bryan Hooi, Min Lin, Tianyu Pang

Sea AI Lab, Singapore, University of Chinese Academy of Sciences, National University of Singapore, Shanghai Jiao Tong University

本文针对现有多智能体系统多按任务级固定工作流设计、难以适配单个用户查询的问题，提出 FlowReasoner：用 DeepSeek R1 合成数据先赋予生成工作流的推理能力，再通过外部执行反馈做强化学习，并以性能、复杂度和效率构成多目标奖励，使其为每个查询生成专属多智能体流程。在工程与竞赛代码基准上，FlowReasoner-14B 优于手工和自动化基线，三项基准总体较 o1-mini 提升 10.52%。

ReMA: Learning to Meta-think for LLMs with Multi-Agent Reinforcement Learning

Ziyu Wan, Yunxiang Li, Xiaoyu Wen, Yan Song, Hanjing Wang, Linyi Yang, Mark Schmidt, Jun Wang, Weinan Zhang, Shuyue Hu, Ying Wen

Shanghai Jiao Tong University, Shanghai Artificial Intelligence Laboratory, University of British Columbia, University College London

针对单智能体在同一自回归轨迹中同时学习元思考与推理、探索低效且易陷入局部最优的问题，ReMA将过程拆成高层元思考智能体和低层推理智能体，并用多智能体强化学习对齐训练。实验显示其在数学推理和LLM-as-a-Judge任务上优于单智能体RL基线，多轮设置中还通过turn-level ratio与参数共享提升效率。

TrustAgent: Towards Safe and Trustworthy LLM-based Agents

Wenyue Hua, Xianjun Yang, Mingyu Jin, Zelong Li, Wei Cheng, Ruixiang Tang, Yongfeng Zhang

Department of Computer Science, Rutgers University, New Brunswick, Department of Computer Science, University of California, Santa Barbara

面向能调用工具并作用于现实环境的 LLM 智能体，论文关注其规划阶段可能带来的高风险行为。TrustAgent 将安全规则显式组织为 Agent Constitution，并在规划前注入、规划中约束、规划后检查三阶段执行规则。实验覆盖家务、金融、医疗、化学和食品等领域，显示该框架可降低潜在危险并提升安全性，同时对任务有用性也有改善；作者还指出遵守宪法规则仍强依赖模型自身推理能力。

Self-Adapting Language Models

Adam Zweiger, Jyothish Pari, Han Guo, Ekin Akyürek, Yoon Kim, Pulkit Agrawal

Massachusetts Institute of Technology

针对大模型部署后难以把新任务、新知识持久写入参数的问题，SEAL让模型为输入自行生成“自我编辑”：包括可微调的合成数据、更新指令及超参数，并用更新后下游表现作为强化学习奖励来训练这种生成策略。实验显示，在无上下文SQuAD知识注入中准确率由33.5%升至47.0%，且优于GPT-4.1生成数据；在简化ARC-AGI少样本任务中也优于ICL和未经RL训练的自编辑，但仍受遗忘与计算开销限制。

Test-Time Training on Nearest Neighbors for Large Language Models

Moritz Hardt, Yu Sun

Max Planck Institute for Intelligent Systems, Tübingen, Tübingen AI Center, University of Tübingen, Stanford University

针对检索增强语言模型需在训练/测试同时拼接检索文本且 Transformer 长上下文代价高的问题，论文提出 TTT-NN：为每个测试样本从 Pile 大规模向量索引检索近邻，并在推理前仅用这些文本做少量梯度微调，把单个测试样本视作局部“域”。实验在 Pile 22 个语言建模任务上显示，约 20–50 个近邻、每个一次更新即可显著降低 bits-per-byte，GPT-2 小模型与大得多的 GPT-Neo 差距被明显缩小，代码任务降幅可超过 60%；但效果依赖索引规模与质量，代价是推理变慢。

Efficiently Learning at Test-Time: Active Fine-Tuning of LLMs

Jonas Hübotter, Sascha Bongni, Ido Hakimi, Andreas Krause

ETH Z¨urich, Switzerland

本文关注测试时微调中“为单个提示选哪些数据”的瓶颈：近邻检索虽相关，却容易反复选到信息重复样本，甚至削弱增益。作者提出 SIFT，将检索的相关性与主动学习的去冗余结合，以降低模型对目标响应的不确定性来选样，并用不确定性估计自适应分配测试时计算。在 Pile 上，SIFT 较近邻检索更稳定提升 prompt-specific 语言建模性能，且额外开销较小。

LADDER: Self-Improving LLMs Through Recursive Problem Decomposition

Toby Simonds, Akira Yoshiyama

论文针对强化学习训练 LLM 时缺少难度匹配、可验证任务导致学习停滞的问题，提出 LADDER：让模型递归生成更简单的题目变体，形成难度梯度，并用可验证奖励进行自我训练；进一步在测试时用 TTRL 对测试题变体做短程强化学习。实验集中在积分任务，Llama 3B 从约 1% 提升到 82%，7B 模型在 MIT Integration Bee 上由 73% 经 TTRL 提升到 90%。

TTRL: Test-Time Reinforcement Learning

Yuxin Zuo, Kaiyan Zhang, Li Sheng, Shang Qu, Ganqu Cui, Xuekai Zhu, Haozhan Li, Yuchen Zhang, Xinwei Long, Ermo Hua, Biqing Qi, Youbang Sun, Zhiyuan Ma, Lifan Yuan, Ning Ding, Bowen Zhou

Tsinghua University, Shanghai AI Lab

针对推理任务中测试数据无标签、传统 RL 难以获得奖励的问题，TTRL 将测试时多次采样的多数投票结果作为伪奖励，在无监督测试数据上直接进行强化学习更新，实现模型测试内自进化。实验显示其在多任务和多模型上稳定提升，Qwen2.5-Math-7B 在 AIME 2024 pass@1 从 12.9 提至 40.2，平均增益约 76%，且可超过初始 maj@n 上限并接近有标签测试训练效果。

STaR: Bootstrapping Reasoning With Reasoning

Eric Zelikman, Yuhuai Wu, Jesse Mu, Noah D Goodman

全文短总结尚未生成。

Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking

Eric Zelikman, Georges Harik, Yijia Shao, Varuna Jayasiri, Nick Haber, Noah D Goodman

Stanford University

Quiet-STaR针对传统STaR依赖人工构造问答任务、难以从任意文本学习隐式推理的问题，提出让语言模型在每个token后生成“静默思考”以解释后续文本，并用并行采样、可学习思考起止标记、混合预测头与REINFORCE式奖励筛选有用思路。基于Mistral 7B继续预训练后，无需任务微调即将GSM8K零样本准确率从5.9%提升到10.9%、CommonsenseQA从36.3%提升到47.2%，且对难预测token困惑度更有帮助。

SiriuS: Self-improving Multi-agent Systems via Bootstrapped Reasoning

Wanjia Zhao, Mert Yuksekgonul, Shirley Wu, James Zou

SiriuS针对多智能体LLM依赖手工提示、难以为各专门智能体分配训练信号的问题，提出用任务成败奖励自举优化协作行为：保留成功交互中的推理轨迹构建经验库，并用带真值反馈的外部智能体改写失败轨迹以扩充数据。实验显示其在推理与生物医学问答上提升2.86%至21.88%，并改善竞争谈判表现。

RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning

Zihan Wang, Kangrui Wang, Qineng Wang, Pingyue Zhang, Linjie Li, Zhengyuan Yang, Xing Jin, Kefan Yu, Minh Nhat Nguyen, Licheng Liu, Eli Gottlieb, Yiping Lu, Kyunghyun Cho, Jiajun Wu, Li Fei-Fei, Lijuan Wang, Yejin Choi, Manling Li

Northwestern University, University of Washington, Stanford University, Microsoft, New York University, University of British Columbia, Singapore Management University

这篇论文关注多轮交互中 LLM 智能体如何通过强化学习在测试间自进化，针对长时序决策、随机反馈和训练不稳定问题，提出轨迹级 StarPO 框架与 RAGEN 训练评测系统。实验揭示 Echo Trap、rollout 多样性/频率的重要性，以及仅靠任务成功奖励难以诱发真实推理；StarPO-S 通过不确定性过滤、critic 与梯度稳定化缓解崩溃，在四类环境中提升训练稳定性。

Learning Like Humans: Advancing LLM Reasoning Capabilities via Adaptive Difficulty Curriculum Learning and Expert-Guided Self-Reformulation

Enci Zhang, Xingang Yan, Wei Lin, Tianxiang Zhang, Qianchun Lu

State Key Laboratory of Mobile Network and Mobile Multimedia Technology, Shenzhen, China, ZTE Corporation, Shenzhen, China, Peking University, Shenzhen, China

本文针对 Zero-RL 在复杂推理训练中两类瓶颈：静态课程难以跟随模型能力变化，以及纯 on-policy 探索受限于已有知识。核心洞察是“难度感知会漂移”，因此提出 ADCL 周期性重估后续批次难度；同时用 EGSR 让模型以自身表述重构专家解法，而非直接模仿。基于 Qwen2.5-7B 的数学推理实验显示，两者叠加相较 Zero-RL 在 AIME24、AIME25 分别提升 10% 和 16.6%。

WebRL: Training LLM Web Agents via Self-Evolving Online Curriculum Reinforcement Learning

Zehan Qi, Xiao Liu, Iat Long Iong, Hanyu Lai, Xueqiao Sun, Wenyi Zhao, Yu Yang, Xinyue Yang, Jiadai Sun, Shuntian Yao, Tianjie Zhang, Wei Xu, Jie Tang, Yuxiao Dong

Tsinghua University Zhipu AI

针对开放大模型网页智能体缺少决策数据、在线任务稀缺且反馈稀疏，WebRL将失败轨迹转化为新任务，构建自进化课程，并结合结果监督奖励模型、KL约束更新与经验回放缓解策略漂移。在WebArena-Lite上，Llama-3.1-8B成功率由4.8%升至42.4%，GLM-4-9B由6.1%升至43%，超过GPT-4-Turbo、GPT-4o及AutoWebGLM。

DigiRL: Training In-The-Wild Device-Control Agents with Autonomous Reinforcement Learning

Hao Bai, Yifei Zhou, Mert Cemri, Jiayi Pan, Alane Suhr, Sergey Levine, Aviral Kumar

UC Berkeley, Google DeepMind

DigiRL针对静态示范和现成VLM难以应对真实GUI随机性、非平稳性及错误恢复的问题，将设备控制训练改为可交互的自主强化学习：先离线RL初始化，再在并行Android环境中借助VLM评估器进行离线到在线微调，并用优势加权、自动课程和价值估计提取有效学习信号。在AitW上，1.3B模型成功率由SFT的17.7%提升到67.2%，超过GPT-4V/AppAgent、CogAgent及过滤BC方法。

Training Language Models to Self-Correct via Reinforcement Learning

Aviral Kumar, Vincent Zhuang, Rishabh Agarwal, Yi Su, John D Co-Reyes, Avi Singh, Kate Baumli, Shariq Iqbal, Colton Bishop, Rebecca Roelofs, Lei M Zhang, Kay McKinney, Disha Shrivastava, Cosmin Paduraru, George Tucker, Doina Precup, Feryal Behbahani, Aleksandra Faust

针对大模型在无外部反馈时“自我纠错”常失效的问题，本文指出离线 SFT 易受分布偏移或行为坍塌影响，提出 SCoRe：在模型自身生成轨迹上做两阶段多轮在线强化学习，并用进步奖励鼓励第二次回答真正修正错误。在 Gemini 1.0 Pro/1.5 Flash 上，MATH 与 HumanEval 的自纠错分别提升 15.6% 和 9.1%。

PAG: Multi-Turn Reinforced LLM Self-Correction with Policy as Generative Verifier

Yuhua Jiang, Yuwen Xiong, Yufeng Yuan, Chao Xin, Wenyuan Xu, Yu Yue, Qianchuan Zhao, Lin Yan

Tsinghua University, ByteDance Seed

针对大模型会解题但难以可靠自检、外置验证器或多阶段自纠训练又成本高的问题，PAG把同一模型在多轮强化学习中交替用作生成策略和生成式验证器，先逐步判错、仅在确认错误时再修订，避免无条件二次作答带来的复读式坍塌。实验显示其在数学推理上同时提升直接生成与自纠准确率，自验证的best-of-N也优于自一致性；但训练仍依赖外部真值验证器给奖励。

Confidence Improves Self-Consistency in LLMs

Amir Taubenfeld, Tom Sheffer, Eran Ofek, Amir Feder, Ariel Goldstein, Zorik Gekhman, Gal Yona

Google Research, The Hebrew University of Jerusalem, Columbia University

针对自一致性解码需要采样大量长推理路径、成本高的问题，论文提出 CISC：让模型为每条推理路径自评置信度，并用 softmax 归一后的置信度做加权多数投票；同时指出传统校准指标不适合衡量同题内正确/错误路径区分，提出 WQD。九个模型、四类推理数据上，CISC 几乎全面优于普通自一致性，平均减少超过 40% 所需推理路径。

Self-ensemble: Mitigating Confidence Distortion for Large Language Models

Zicheng Xu, Guanchu Wang, Guangyao Zheng, Yu-Neng Chuang, Alexander Szalay, Xia Hu, Vladimir Braverman

Rice University, University of North Carolina at Charlotte, Johns Hopkins University

论文关注多选题选项增多时，大语言模型对正确答案信心下降、对错误答案反而过度自信的问题。核心做法是将多选项拆成若干少选项子集，并通过注意力掩码与位置重编码在单次推理中完成自集成，无需标注验证集调参。实验覆盖多个模型和数据集，显示其能缓解校准偏差，并使 MCQA 准确率平均提升约 8%。

Scalable Best-of-N Selection for Large Language Models via Self-Certainty

Zhewei Kang, Xuandong Zhao, Dawn Song

UC Berkeley

本文针对 Best-of-N 推理依赖昂贵奖励模型、而自一致性难处理开放式输出和大 N 扩展的问题，提出用模型生成时的 token 概率分布偏离均匀分布来度量 self-certainty，并据此重排或加权投票。实验覆盖数学、代码推理与生成，显示该指标随采样数扩展、可与 CoT 互补，并在开放式任务上优于贪心解码和 USC，主要价值在于低额外开销的候选选择。

Can Large Reasoning Models Self-Train?

Sheikh Shafayat, Fahim Tajwar, Ruslan Salakhutdinov, Jeff Schneider, Andrea Zanette

KAIST, Carnegie Mellon University

本文关注在缺少人工或可验证标签时，大推理模型能否通过强化学习持续自训练。作者将多数投票转化为每步更新的自奖励信号，观察模型性能与反馈质量是否共同提升。实验显示该简单机制在合成和真实推理任务上提升 maj@k、avg@k，部分接近 RLVR，并可借助课程难度继续进步；但长训会诱发奖励黑客，模型输出模板答案并完全崩溃，说明反馈设计是自进化的核心瓶颈。

Unsupervised Post-Training for Multi-Modal LLM Reasoning via GRPO

作者信息待提取

全文短总结尚未生成。

Consistent Paths Lead to Truth: Self-Rewarding Reinforcement Learning for LLM Reasoning

Kongcheng Zhang, Qi Yao, Shunyu Liu, Yingjie Wang, Baisheng Lai, Jieping Ye, Mingli Song, Dacheng Tao

Zhejiang University, Alibaba Cloud Computing, Nanyang Technological University

针对LLM推理强化学习依赖人工标签、可验证答案或奖励模型而难以扩展的问题，论文提出CoVo自奖励框架：利用中间推理状态到候选答案的似然距离，刻画正确轨迹“高一致、低波动”的模式，并以向量聚合与好奇心奖励生成内在奖励。实验显示其在多类推理基准上可接近甚至超过有监督/规则奖励RL，且较现有自奖励方法更稳定。

SWE-Dev: Evaluating and Training Autonomous Feature-Driven Software Development

Yaxin Du, Yuzhu Cai, Yifan Zhou, Cheng Wang, Yu Qian, Xianghe Pang, Qian Liu, Yue Hu, Siheng Chen

Shanghai Jiao Tong University, Beijing University of Aeronautics and Astronautics, The Chinese University of Hong Kong, University of Michigan

针对现有代码基准多停留在函数补全或缺陷修复、难以衡量真实功能开发的问题，SWE-Dev构建了面向大型既有仓库的端到端特性开发数据集，并为1.4万训练样本和500测试样本提供可运行环境与开发者单测，使SFT和基于测试奖励的RL成为可能。评测显示任务仍很难：最佳单轮模型在hard split仅22.51% Pass@1，OpenHands提升至56.44%但仍有大量未解；测试监督训练可让7B模型接近GPT-4o水平。

A Self-Improving Coding Agent

Maxime Robeyns, Martin Szummer, Laurence Aitchison

University of Bristol

针对人工设计智能体编排、提示和工具成本高且搜索空间受限的问题，本文提出 SICA：让同一个编码智能体在自我改进循环中查看历史版本与评测结果，按性能、成本和时间效用选择最佳版本并直接修改自身 Python 代码库，而非依赖独立元智能体或专用 DSL。实验显示其在 SWE-Bench Verified 随机子集上由 17% 提升到 53%，并在 LiveCodeBench 与合成智能体任务上取得额外增益，但部分提升可能来自更快编辑和成本控制。

Feedback Friction: LLMs Struggle to Fully Incorporate External Feedback

Dongwei Jiang, Alvin Zhang, Andrew Wang, Nicholas Andrews, Daniel Khashabi

Johns Hopkins University

本文关注LLM自我进化中一个关键前提：模型能否真正吸收外部正确反馈。作者构建近理想的迭代反馈框架，让解题模型在多任务上接收含真值信息的不同强度反馈，并提出“反馈摩擦”概念。实验显示即使使用强模型生成反思反馈，Claude与Llama系列仍显著低于理论上限；采样和拒绝旧错答案只能部分缓解，高语义置信度预测了更强的抗纠错倾向。

Unified Software Engineering agent as AI Software Engineer

Leonhard Applis, Yuntong Zhang, Shanchao Liang, Nan Jiang, Lin Tan, Abhik Roychoudhury

National University of Singapore, Purdue University

针对现有软件工程智能体多为修复、测试等单任务专用、难以承担真实项目中混合维护与演化工作的局限，论文提出 USEagent：在 AutoCodeRover 上加入 Meta-Agent，按任务动态编排工作流并维护项目状态，同时构建统一评测 USEbench。1271 个仓库级任务上，USEagent 总体通过率 33.3%，高于 OpenHands 的 26.8%；在 SWE-bench 维护任务上接近专用 AutoCodeRover，但代码生成等任务仍有明显短板。

OTC: Optimal Tool Calls via Reinforcement Learning

作者信息待提取

全文短总结尚未生成。

AutoRule: Reasoning Chain-of-thought Extracted Rule-based Rewards Improve Preference Learning

Tevin Wang, Chenyan Xiong

School of Computer Science, Carnegie Mellon University

针对偏好对齐中规则奖励依赖人工设计、神经奖励又易被 reward hacking 利用的问题，AutoRule 用推理模型从偏好样本的思维链中抽取并合成可验证规则，将规则满足率作为 GRPO 中学习奖励的辅助信号。在 Llama-3-8B 上，相比仅用同一奖励模型的 GRPO，AlpacaEval2.0 长度控制胜率相对提升 28.6%，MT-Bench 二轮表现提升 6.1%，并显示较低过优化风险。

SPIRAL: Self-Play on Zero-Sum Games Incentivizes Reasoning via Multi-Agent Multi-Turn Reinforcement Learning

Bo Liu, Leon Guertler, Simon Yu, Zichen Liu, Penghui Qi, Daniel Balcells, Mickel Liu, Cheston Tan, Weiyan Shi, Min Lin, Wee Sun Lee, Natasha Jaques

National University of Singapore Northeastern University Sea AI Lab, Centre for Frontier AI Research (CFAR), A STAR Plastic Labs University of Washington

针对RLVR依赖人工题库与领域奖励设计的瓶颈，SPIRAL让LLM在多轮零和游戏中与持续变强的自身版本自博弈，并用在线多智能体RL系统和按角色归一化的RAE稳定训练、避免“思考坍塌”。结果显示，多游戏训练在8个推理基准、多个Qwen/Llama模型上最高带来约10%提升，且优于2.5万专家轨迹SFT，表明简单竞争游戏可诱发可迁移的空间、概率和策略推理模式。

Reward Is Enough: LLMs Are In-Context Reinforcement Learners

Kefan Song, Amir Moeini, Peng Wang, Lei Gong, Rohan Chandra, Shangtong Zhang, Yanjun Qi

University of Virginia

面向大语言模型智能体在新任务中需测试时自我改进、而专家示范难以扩展的问题，本文提出 ICRL prompting：仅把历轮回答及标量奖励拼入上下文，不更新参数也不加入文本反馈，观察模型是否能在推理时优化奖励。实验覆盖 Game of 24、创意写作、ScienceWorld 和奥赛数学，表现优于 Self-Refine、Reflexion；即使奖励由同一 LLM 生成仍有增益，支持“上下文内强化学习”这一洞察，但其机制仍主要是行为证据而非严格证明。

Generalist Reward Models: Found Inside Large Language Models

Yi-Chen Li, Tian Xu, Yang Yu, Xuqin Zhang, Xiong-Hui Chen, Zhongxiang Ling, Ningjing Chao, Lei Yuan, Zhi-Hua Zhou

National Key Laboratory for Novel Software Technology, Nanjing University, China, School of Artificial Intelligence, Nanjing University, China

针对 RLHF 依赖昂贵偏好标注、RLAIF 又偏启发式的问题，本文从理论上指出标准 next-token 训练的 LLM 内部已隐含“内生奖励”：可将 logits 解释为 soft Q，并经逆 soft Bellman 算子恢复奖励，无需额外训练奖励模型。作者证明用该奖励做 RL 可将误差界由 O(H²) 改善到 O(H)，实验中优于 LLM-as-a-judge，且部分超过显式训练的奖励模型。

V-STaR: Training Verifiers for Self-Taught Reasoners

Arian Hosseini, Xingdi Yuan, Nikolay Malkin, Aaron Courville, Alessandro Sordoni, Rishabh Agarwal

pngMicrosoft Research, pngUniversity of Edinburgh

针对 STaR 等自我改进方法只保留正确样本、浪费大量错误推理的问题，V-STaR 将迭代生成的正确/错误解成对用于 DPO 训练验证器，同时用正确解继续微调生成器；推理时由验证器在多候选中选优。实验在 GSM8K、MATH、MBPP、HumanEval 上较自我改进和 ORM 验证基线提升约 4%–17%，显示错误样本可为自我进化提供有效监督。

AdaSTaR: Adaptive Data Sampling for Training Self-Taught Reasoners

Woosung Koh, Wonbeen Oh, Jaein Jang, MinHyung Lee, Hyeongjin Kim, Ah Yeon Kim, Joonkee Kim, Junghyun Lee, Taehyeon Kim, Se-Young Yun

KAIST AI, LG AI Research, Yonsei University

该文针对 STaR/RFT 自训练推理中随机采样导致的样本失衡与算力浪费：已会题被反复训练、难题又训练不足。AdaSTaR 将自生成 CoT 的筛选训练改为自适应数据采样，一方面优先补足欠训练样本，另一方面按当前训练准确率调节课程难度，弱模型阶段更多保留较易样本。六个推理基准上其准确率均为最佳，并相对强基线平均减少 58.6% 训练 FLOPs，效果在不同预训练模型和更大模型上仍成立。

Enhancing Large Vision Language Models with Self-Training on Image Comprehension

Yihe Deng, Pan Lu, Fan Yin, Ziniu Hu, Sheng Shen, Quanquan Gu, James Zou, Kai-Wei Chang, Wei Wang

University of California, Los Angeles, University of California, Berkeley Stanford University

本文针对LVLM提升依赖昂贵人工或GPT-4V标注的问题，提出STIC自训练：用未标注图像自构造图像描述偏好对，以误导提示/损坏图像生成负样本，并在少量指令数据中注入自生成描述来强化基于视觉信息的推理。基于LLaVA-v1.6在7个多模态基准平均提升4.0%，同时减少约70%监督微调数据；消融显示负样本和描述后回答机制是关键。

Genixer: Empowering Multimodal Large Language Models as a Powerful Data Generator

Henry Hengyuan Zhao, Pan Zhou, Mike Zheng Shou

针对多模态指令数据依赖人工标注或GPT-4V、成本高且在REC等复杂任务上效果受限的问题，Genixer将现有MLLM训练成可控数据生成器，通过任务无关/任务特定模板与自动过滤，从未标注图像合成VQA和REC数据。用915K VQA样本训练LLaVA1.5可提升12项中10项基准，350K REC样本使Shikra提升8项中7项，并显示可降低幻觉；增益可能主要来自数据扩增与过滤质量。

Bridging the Gap: Self-Optimized Fine-Tuning for LLM-based Recommender Systems

Heng Tang, Feng Liu, Xinbo Chen, Jiawei Chen, Bohao Wang, Changwang Zhang, Jun Wang, Yuegang Sun, Bingde Hu, Can Wang

Zhejiang University, OPPO Research Institute, South China University of Technology

论文针对 LLM 推荐中仅提示或仅 SFT 难以弥合语言模型知识空间与真实推荐数据之间差距的问题，提出 SOFT：先用微调后的模型自蒸馏生成更易学习且含类别偏好信息的辅助数据，再通过自适应课程调度从自蒸馏数据逐步过渡到真实交互数据训练。实验显示该策略使 LLM 推荐准确率平均提升 37.59%，但具体增益在多大程度来自额外生成数据仍需进一步拆解。

Recursive Introspection: Teaching Language Model Agents How to Self-Improve

Yuxiao Qu, Tianjun Zhang, Naman Garg, Aviral Kumar

Carnegie Mellon University, UC Berkeley

本文针对现有大语言模型即使被提示出错也难以在多轮中持续自我修正的问题，提出 RISE：将单轮提示改写为多轮 MDP，用学习者自身的 on-policy 轨迹结合 best-of-N、专家或自生成监督与奖励加权回归，训练其改正自身分布下的错误。在 GSM8K/MATH 上，Llama2/3、Mistral 的多轮准确率持续提升，优于等算力单轮采样且基本不损害首轮能力。

Confidence Matters: Revisiting Intrinsic Self-Correction Capabilities of Large Language Models

Loka Li, Zhenhao Chen, Guangyi Chen, Yixuan Zhang, Yusheng Su, Eric Xing, Kun Zhang

Mohamed bin Zayed University of Artificial Intelligence, Abu Dhabi, UAE, Carnegie Mellon University, Pittsburgh PA, USA

论文针对大模型“内在自我纠错”是否有效的争议，指出以往直接要求模型批判自身会忽略答案置信度，导致过度修改正确答案。作者提出 IoE 提示，让模型先判断是否自信：自信则保留，不自信再修正。实验显示，模型可在确定性和开放任务中进行有意义的置信度自评，并在4个LLM、6个基准上相较初始答案和批判式提示取得更稳定的纠错精度提升。

Darwin Godel Machine: Open-Ended Evolution of Self-Improving Agents

Jenny Zhang, Shengran Hu, Cong Lu, Robert Lange, Jeff Clune

University of British Columbia Vector Institute Sakana AI Canada CIFAR AI Chair

针对现有 AI 依赖人工设计、难以持续自我改进的问题，论文提出 Darwin Gödel Machine：让编码智能体在沙箱与人工监督下改写自身代码，并用基准评估选择，同时保留历代变体形成开放式进化档案。实验中其自动发现工具、长上下文管理和同伴评审等改进，使 SWE-bench 从 20.0% 提升到 50.0%，Polyglot 从 14.2% 提升到 30.7%。

Nature-Inspired Population-Based Evolution of Large Language Models

Yiqun Zhang, Peng Ye, Xiaocui Yang, Shi Feng, Shufei Zhang, Lei Bai, Wanli Ouyang, Shuyue Hu

Northeastern University, China, Shanghai Artificial Intelligence Laboratory

论文针对大量任务专用 LoRA/专家模型难以低成本复用的问题，将 LLM 权重视作“基因”，提出 GENOME/GENOME+：通过交叉、变异、选择及经验继承、集成，在每个新任务仅 200 样本且无梯度更新下进化模型种群。12 个数据集实验显示其优于多种模型合并/适配基线，最高较初始最佳模型提升 54.8%，并可扩展到 40 个模型、支持多任务与零样本迁移。

Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models

Zixiang Chen, Yihe Deng, Huizhuo Yuan, Kaixuan Ji, Quanquan Gu

为降低大模型对新增人工偏好/标注数据的依赖，论文提出 SPIN：从 SFT 模型出发，让当前模型与上一轮自身生成的回答“对弈”，学习区分人类示范与自生成回答，从而迭代逼近目标数据分布。理论上证明最优点对应模型分布与数据分布一致；在 Open LLM Leaderboard、MT-Bench、Big-Bench 等评测中，SPIN 显著提升 Zephyr 系模型，并可超过使用额外 GPT-4 偏好数据的 DPO。

SPC: Evolving Self-Play Critic via Adversarial Games for LLM Reasoning

Jiaqi Chen, Bang Zhang, Ruotian Ma, Peisong Wang, Xiaodan Liang, Zhaopeng Tu, Xiaolong Li, Kwan-Yee K Wong

The University of Hong Kong Tencent, Tsinghua University MBZUAI, Independent researcher

针对 CoT 推理步骤可靠性难评估、人工步级标注昂贵且易过时的问题，SPC 将同一基座模型分化为“隐蔽造错”的生成器与找错评论器，通过对抗自博弈和胜负奖励持续产生训练信号，使评论器自我进化。实验显示其在 ProcessBench、PRM800K、DeltaBench 上逐轮提升，如 ProcessBench 准确率 70.8%→77.7%，并能用于测试时搜索以提升 MATH500、AIME2024 数学推理表现。

Language Models can Self-Improve at State-Value Estimation for Better Search

Ethan Mendes, Alan Ritter

Georgia Institute of Technology

针对网页等多步交互任务中奖励和示范昂贵的问题，论文提出 Self-Taught Lookahead，让价值模型用环境 rollout 自监督学习“下一步动作—后继状态—价值理由”，以自然语言近似一次 Bellman lookahead，而非只回归分数。实验中，8B 开源模型在 WebShop 成功率较基线提升约39%，接近 GPT-4o 价值模型，并在多跳问答和数学谜题上泛化，同时推理成本约低 5 倍。

elf-Evolving Multi-Agent Collaboration Networks for Software Development

Yue Hu, Yuzhu Cai, Yaxin Du, Xinyu Zhu, Xiangrui Liu, Zijie Yu, Yuchen Hou, Shuo Tang, Siheng Chen

Shanghai Jiao Tong University, Beihang University, Shanghai AI Laboratory

针对现有软件开发多智能体流程依赖人工设计、难以随任务自适应的问题，论文提出 EvoMAC：用测试团队生成单元测试作为目标代理，从编译执行反馈中获得文本信号，并通过“文本反向传播”更新智能体及连接；同时构建面向需求的 rSDE-Bench。实验显示其自动评测与人工高度一致，并在 rSDE-Bench 与 HumanEval 上超过既有单/多智能体基线。

Multi-Agent Collaboration via Evolving Orchestration

Yufan Dang, Chen Qian, Xueheng Luo, Jingru Fan, Zihao Xie, Ruijie Shi, Weize Chen, Cheng Yang, Xiaoyin Che, Ye Tian, Xuantang Xiong, Lei Han, Zhiyuan Liu, Maosong Sun

Tsinghua University ♣, Shanghai Jiao Tong University, Beijing University of Posts and Telecommunications, Tencent Robotics X

针对静态多智能体拓扑在任务复杂度和智能体数量增长时带来的通信冗余与协调低效，论文提出“puppeteer”集中编排器，将协作过程建模为序列决策，并用强化学习随任务反馈进化地选择、排序和抑制智能体。实验覆盖封闭与开放域任务，显示在提升解题效果的同时降低计算开销；分析指出收益主要来自演化出的更紧凑、带循环的推理结构。

MDTeamGPT: A Self-Evolving LLM-based Multi-Agent Framework for Multi-Disciplinary Team Medical Consultation

Kai Chen, Xinfeng Li, Tianpei Yang, Hewei Wang, Wei Dong, Yang Gao

State Key Laboratory for Novel Software Technology, Nanjing University, Nanyang Technological University, School of Computer Science, Carnegie Mellon University

针对LLM多智能体医疗MDT中长对话带来认知负担、经验库只存病例而缺少抽象与纠错的问题，MDTeamGPT用主治医生汇总一致、冲突、独立和整合信息，并以残差讨论压缩多轮上下文，同时构建CorrectKB与ChainKB积累可迁移经验。实验在MedQA和PubMedQA上达到90.1%与83.9%准确率，并显示经验库具备跨数据集泛化能力。

Self-Evolving Multi-Agent Simulations for Realistic Clinical Interactions

Mohammad Almansoori, Komal Kumar, Hisham Cholakkal

针对医疗 LLM 评测常把完整病历静态给出的缺陷，MedAgentSim 构建开源医院仿真，让医生、患者和检查智能体通过多轮问诊、主动申请体征与影像检查完成诊断。其核心在于把多智能体讨论、CoT 与经验回放/检索结合，使医生智能体在病例交互中自我改进；实验显示在多种模拟诊断场景中优于基线，但具体增益来源仍可能受模型与记忆机制共同影响。

Mobile-Agent-E: Self-Evolving Mobile Assistant for Complex Tasks

Zhenhailong Wang, Haiyang Xu, Junyang Wang, Xi Zhang, Ming Yan, Ji Zhang, Fei Huang, Heng Ji

针对现有移动智能体难以处理真实手机场景中的长程、多应用、强推理任务且不能从经验中改进的问题，Mobile-Agent-E 将高层规划与底层执行解耦为层级多智能体，并用长期记忆维护 Tips 与可复用 Shortcuts 实现自我进化；同时提出 Mobile-Eval-E 评测复杂任务。实验显示其在三种基座模型上较既有 SOTA 平均绝对提升约 22%，自我进化带来约 6.5% 额外增益并改善效率。

WebEvolver: Enhancing Web Agent Self-Improvement with Coevolving World Model

Tianqing Fang, Hongming Zhang, Zhisong Zhang, Kaixin Ma, Wenhao Yu, Haitao Mi, Dong Yu

全文短总结尚未生成。

MobileSteward: Integrating Multiple App‑Oriented Agents with Self‑Evolution

Yuxuan Liu, Hongda Sun, Wei Liu, Jian Luan, Bo Du, Rui Yan

Gaoling School of Artificial Intelligence, Renmin University of China, Xiaomi AI Lab, School of Computer Science, Wuhan University

针对现有手机智能体在跨 App 指令中难以处理子任务依赖、界面差异以及长链路误差传播的问题，MobileSteward 将跨应用操作建模为由 StewardAgent 调度多个面向 App 的 StaffAgent：通过动态招募构建信息流调度图、分配执行并在评估中传递关键信息，同时用成功经验更新专长与指南记忆实现自我进化。作者构建 CAPBench，结果显示其在跨 App 与单 App 任务上均优于单智能体和流程式多智能体基线。

Generative Agents: Interactive Simulacra of Human Behavior

Joon Sung Park, Joseph C. O'Brien, Carrie J. Cai, Meredith Ringel Morris, Percy Liang, Michael S. Bernstein

Stanford University, Stanford, USA, Google Research, Google DeepMind

针对虚拟世界、社交演练和原型设计中长期一致且可信的人类行为模拟难题，论文提出生成式智能体架构：用自然语言记忆流记录经历，并结合相关性、近因性和重要性检索，进一步通过反思形成高层认知、通过规划生成行动。在 25 个智能体小镇实验中，仅由一个情人节派对意图触发，智能体能自主传播邀请、建立关系并协调赴会；消融显示观察、规划和反思均显著影响行为可信度。

Intelligent Virtual Assistants with LLM-based Process Automation

Yanchu Guan, Dong Wang, Zhixuan Chu, Shiyu Wang, Feiyue Ni, Ruihua Song, Longfei Li, Jinjie Gu, Chenyi Zhuang

start_FLOATSUPERSCRIPT 2 end_FLOATSUPERSCRIPT Renmin University of China

针对现有 Siri/Alexa 类助手难以理解自然语言中的复杂多步任务、且常依赖固定 API 的问题，论文提出 LLMPA，将指令分解、界面描述生成、元素检测、下一步动作预测与错误检查串成端到端流程，并以点击、滑动、输入等类人交互自动操作移动 App。实验在支付宝真实场景中展示了按高层指令完成复杂流程的能力，但具体量化指标与相对增益来源在给定文本中未充分说明。

UI-Genie: A Self-Improving Approach for Iteratively Boosting MLLM-based Mobile GUI Agents

Han Xiao, Guozhi Wang, Yuxiang Chai, Zimu Lu, Weifeng Lin, Hao He, Lue Fan, Liuyang Bian, Rui Hu, Liang Liu, Shuai Ren, Yafei Wen, Xiaoxin Chen, Aojun Zhou, Hongsheng Li

CUHK MMLab 2 vivo AI Lab CPII under InnoHK

UI-Genie针对移动GUI智能体难以可靠验证轨迹结果、人工高质量轨迹数据难扩展的问题，提出图文交错的统一奖励模型UI-Genie-RM，同时评估动作级与任务级反馈，并通过规则验证、轨迹扰动、困难负例和奖励引导探索构建自我改进闭环。三轮迭代生成无人工标注的RM-517k与Agent-16k数据，在多个GUI基准上达到SOTA，但具体增益可能主要来自数据规模与迭代筛选。

Paper Copilot: A Self-Evolving and Efficient LLM System for Personalized Academic Assistance

Guanyu Lin, Tao Feng, Pengrui Han, Ge Liu, Jiaxuan You

University of Illinois at Urbana-Champaign, Carnegie Mellon University, Carleton College

面对论文数量快速增长、传统文档问答难以同时满足个性化与实时性的痛点，Paper Copilot 将用户历史论文画像、每日更新的 Arxiv 数据库与可随历史查询演化的 thought-retrieval 结合，并通过特征预计算、多线程/异步 I/O 与缓存优化部署。实验与用户反馈显示，其可减少 69.92% 时间成本，并帮助研究者节省至少约 20 分钟的信息获取时间。

AlphaEvolve: A Learning Framework to Discover Novel Alphas in Quantitative Investment

Can Cui, Wei Wang, Meihui Zhang, Gang Chen, Zhaojing Luo, Beng Chin Ooi

School of Computing, National University of Singapore, School of Computer Science and, Technology, Beijing Institute of Technology, College of Computer Science and, Zhejiang University

量化投资中既需要高收益 Alpha，也需要低相关性来分散风险；传统公式 Alpha 易组合但表达力弱，机器学习 Alpha 表达力强却难以控制相关性。AlphaEvolve 将公式 Alpha 表示为可进化的操作序列，引入标量/矩阵特征算子、选择性行业关系注入和冗余剪枝，在 NASDAQ 数据上能从初始 Alpha 演化出收益较高且彼此弱相关的新 Alpha。

LLMs Can Simulate Standardized Patients via Agent Coevolution

Zhuoyun Du, Lujie Zheng, Renjun Hu, Yuyang Xu, Xiawei Li, Ying Sun, Wei Chen, Jian Wu, Haolei Cai, Haohao Ying

♠ State Key Lab of CAD & CG, Zhejiang University, ♣ Zhejiang Polytechnic Institute, Polytechnic Institute, Zhejiang University, ★ College of Computer Science & Technology, Zhejiang University, ♢ East China Normal University ♮ Sun Yat-sen University Cancer Center, ♭ School of Public Health, Zhejiang University, ♯ Second Affiliated Hospital, Zhejiang University School of Medicine, ♡ Zhejiang Key Laboratory of Medical Imaging Artificial Intelligence, State Key Lab of CAD & CG, Zhejiang University, Zhejiang Polytechnic Institute, Polytechnic Institute, Zhejiang University, College of Computer Science & Technology, Zhejiang University, East China Normal University ♮ Sun Yat-sen University Cancer Center, School of Public Health, Zhejiang University

针对人工标准化病人训练成本高、LLM又难以稳定扮演“非专业患者”的问题，论文提出 EvoPatient：让患者智能体与多医生智能体在问诊流程中自主演练，并用动态经验库筛选示例、反向改写要求，实现无监督共进化。实验显示其在需求对齐上较推理基线提升超过10%，人类偏好更好，约200例/10小时后资源与效果较均衡。

SEW: Self-Evolving Agentic Workflows for Automated Code Generation

Siwei Liu, Jinyuan Fang, Han Zhou, Yingxu Wang, Zaiqiao Meng

University of Aberdeen, University of Glasgow, University of Cambridge

这篇论文针对代码生成多智能体系统依赖人工设计拓扑与提示、难以随任务自适应的问题，提出 SEW：从任务描述自动生成工作流，并用进化式算子联合优化工作流结构和各智能体提示；同时比较 BPMN、CoRE、Python、YAML、伪代码等文本表示。实验覆盖 MBPP、HumanEval+ 与 LiveCodeBench，显示自进化可稳定提升性能，在 LiveCodeBench 上较骨干 LLM 最高提升约 12%。

AgentCoder: Multi-Agent-based Code Generation with Iterative Testing and Optimisation

Dong Huang, Jie M Zhang, Michael Luck, Qingwen Bu, Yuhao Qing, Heming Cui

University of Hong Kong, University of Sussex, Shanghai Jiao Tong University

针对LLM代码生成中代码与测试相互影响、反馈弱且多智能体通信成本高的问题，AgentCoder将程序员、独立测试设计者和测试执行者三类代理解耦，用覆盖基础、边界和规模场景的测试驱动迭代修复。实验覆盖14个LLM和16个基线，GPT-4在HumanEval/MBPP达96.3%/91.8% pass@1，同时token开销显著低于MetaGPT、ChatDev等框架。

QuantAgent: Seeking Holy Grail in Trading by Self-Improving Large Language Model

Saizhuo Wang, Hang Yuan, Lionel M. Ni, Jian Guo

针对量化投资等专门领域中高质量知识库难以人工构建的问题，论文提出双层自改进框架：内层由写作器/评审器基于知识库迭代推理，外层把生成的交易信号经真实回测反馈自动写回知识库，并给出基于 MDP 的效率分析。实例 QuantAgent 能逐步积累金融信号库，在实验中发现可用信号并提升金融预测准确性。

Learning to Be A Doctor: Searching for Effective Medical Agent Architectures

Yangyang Zhuang, Wenjia Jiang, Jiayu Zhang, Ze Yang, Joey Tianyi Zhou, Chi Zhang

AGI Lab, Westlake University, Henan University, Affiliated Hospital of Xuzhou Medical University, Xuzhou Medical University, Nanyang Technological University, IHPC, Agency for Science, Technology, and Research, Singapore, CFAR, Agency for Science, Technology and Research, Singapore

针对医疗多智能体工作流依赖专家手工设计、难以适应新诊断场景的问题，论文借鉴 AutoML/NAS，将医疗智能体表示为可演化的图结构，并设计节点、结构、框架三级搜索空间，通过诊断反馈迭代修改提示与流程。在皮肤病诊断基准上，该方法能自动形成更有效架构并持续提升准确率，但实验主要集中于单一诊断方向，跨科室泛化仍需验证。

Agent Hospital: A Simulacrum of Hospital with Evolvable Medical Agents

Junkai Li, Yunghwei Lai, Weitao Li, Jingyi Ren, Meng Zhang, Xinhui Kang, Siyu Wang, Peng Li, Ya-Qin Zhang, Weizhi Ma, Yang Liu

Institute for AI Industry Research (AIR), Tsinghua University, China, Department of Computer Science and Technology, Tsinghua University, China

本文针对医疗 LLM 多停留在“读书式”知识获取、缺少临床实践进化的问题，构建 Agent Hospital：由患者、护士、医生智能体组成的闭环虚拟医院，并提出 SEAL，用医学知识库约束生成病例，让医生通过成功案例检索、失败反思和读教材自我演化。实验显示，随治疗虚拟患者数量增加，检查选择、诊断与治疗建议能力提升，并在 MedQA 上超过既有医疗智能体方法；增益可能主要来自大规模仿真交互与数据 scaling。

Simulating Classroom Education with LLM-Empowered Agents

Zheyuan Zhang, Daniel Zhang-Li, Jifan Yu, Linlu Gong, Jinchang Zhou, Zhanxin Hao, Jianxiao Jiang, Jie Cao, Huiqin Liu, Zhiyuan Liu, Lei Hou, Juanzi Li

♠ Department of Computer Science and Technology; ♡ Institute of Education, Tsinghua University, Beijing, 100084, China, Department of Computer Science and Technology; ♡ Institute of Education

针对现有教育类 LLM 多聚焦单一助教任务、缺少真实用户参与的课堂级模拟，论文提出 SimClass：用多类课堂角色与课堂控制机制组织教师、学生等智能体自动推进教学。两门真实课程、400 余名学生实验表明，该系统能产生较活跃的师生和生生互动，提高临场感与参与度，更多互动还与更好知识保持相关，并观察到协同教学、讨论、情感陪伴和纪律管理等群体行为。

One Size Doesn’t Fit All: A Personalized Conversational Tutoring Agent for Mathematics Instruction

Ben Liu, Jihan Zhang, Fangquan Lin, Xu Jia, Min Peng

School of Computer Science, Wuhan University, DAMO Academy, Alibaba Group, College of Computer and Cyber Security, Hebei Normal University

针对现有 LLM 数学辅导多采用固定脚手架、难以适配学生兴趣与学习风格的问题，PACE 先依据 Felder–Silverman 模型从 persona 推断学习风格，再生成个性化教学策略，并结合苏格拉底式追问与 LLM 合成师生对话数据训练。实验用多维指标评估，显示其在个性化体验、学习动机和理解促进上优于对比方法。

Mind2Web 2: Evaluating Agentic Search with Agent-as-a-Judge

Boyu Gou, Zanming Huang, Yuting Ning, Yu Gu, Michael Lin, Weijian Qi, Andrei Kopanev, Botao Yu, Bernal Jiménez Gutiérrez, Yiheng Shu, Chan Hee Song, Jiaman Wu, Shijie Chen, Hanane Nour Moussa, Tianshu Zhang, Jian Xie, Yifei Li, Tianci Xue, Zeyi Liao, Kai Zhang, Boyuan Zheng, Zhaowei Cai, Viktor Rozgic, Morteza Ziyadi, Huan Sun, Yu Su

The Ohio State University, Amazon AGI, Research (18

面向 Deep Research 等智能体搜索，论文指出现有基准多假设短流程和静态答案，难以评估实时、多源、长时程任务。Mind2Web 2 构建 130 个真实任务，并用树状 rubric 生成任务专属 Agent-as-a-Judge，同时检查答案正确性与引用归因。对 10 个前沿系统评测显示，OpenAI Deep Research 达到人类约 50–70% 表现且耗时约为一半，但整体仍与人类有明显差距。

MCP-Universe: Benchmarking Large Language Models with Real-World Model Context Protocol Servers

Ziyang Luo, Zhiqi Shen, Wenzhuo Yang, Zirui Zhao, Prathyusha Jwalapuram, Amrita Saha, Doyen Sahoo, Silvio Savarese, Caiming Xiong, Junnan Li

Salesforce AI Research, com/SalesforceAIResearch/MCP-Universe

针对现有智能体评测难以反映真实 MCP 工具生态中长程推理、大工具空间和实时数据交互的问题，论文提出 MCP-Universe，覆盖 6 个领域、11 个真实 MCP 服务器和 231 个任务，并采用格式、静态与动态的执行式评估。实验显示即使 GPT-5 成功率也仅 43.72%，Grok-4 与 Claude-4.0-Sonnet 更低，主要瓶颈来自长上下文膨胀和未知工具使用，Cursor 等企业级智能体也未优于标准 ReAct。

DSBENCH: HOW FAR ARE DATA SCIENCE AGENTS FROM BECOMING DATA SCIENCE EXPERTS?

Liqiang Jing, Zhehui Huang, Xiaoyang Wang, Wenlin Yao, Wenhao Yu, Kaixin Ma, Hongming Zhang, Xinya Du, Dong Yu

University of Texas at Dallas Tencent AI Lab, Seattle University of Southern California

现有数据科学智能体评测多停留在代码补全或简化数学题，难以反映真实长上下文、多模态和多表数据操作。DSBench从ModelOff与Kaggle构建466个数据分析和74个端到端建模任务，并提出RPG统一建模评价。实验显示最优智能体分析准确率仅34.12%，建模RPG为34.74%，说明当前系统距数据科学专家仍有明显差距。

ScienceAgentBench: Toward Rigorous Assessment of Language Agents for Data-Driven Scientific Discovery

Ziru Chen, Shijie Chen, Yuting Ning, Qianheng Zhang, Boshi Wang, Botao Yu, Yifei Li, Zeyi Liao, Chen Wei, Zitong Lu, Vishal Dey, Mingyi Xue, Frazier N Baker, Benjamin Burns, Daniel Adu-Ampratwum, Xuhui Huang, Xia Ning, Song Gao, Yu Su, Huan Sun

Department of Computer Science and Engineering, OSU, College of Pharmacy, OSU, Department of Geography, UW–Madison Department of Psychology, OSU, Department of Chemistry, UW–Madison Department of Biomedical Informatics, OSU

针对语言智能体“端到端自动科学发现”能力缺乏严谨验证的问题，本文提出 ScienceAgentBench，将44篇同行评议论文中的102个数据驱动科研任务统一为可执行 Python 程序生成，并结合专家校验、分级指标与污染缓解评测代码、结果和成本。实验显示，最佳常规智能体三次尝试仅独立解决32.4%任务，加入专家知识为34.3%；o1-preview升至42.2%但成本超10倍，说明当前智能体距自动化科研仍有明显差距。

AppBench: Planning of Multiple APIs from Various APPs for Complex User Instruction

Hongru Wang, Rui Wang, Boyang Xue, Heming Xia, Jingtao Cao, Zeming Liu, Jeff Z. Pan, Kam-Fai Wong

αThe Chinese University of Hong Kong, γThe Hong Kong Polytechnic University, σBeihang University, δThe University of Edinburgh

针对现有工具/API评测多局限于单源、少参数或单次调用，难以反映复杂用户指令中的跨 App 协作需求，AppBench 将大模型定位为元规划器，重点考察多 API 的图状依赖执行顺序与权限隔离约束。实验覆盖 9 个 LLM，显示即使 GPT-4o 在最复杂指令上成功率也仅 2.0%，且上下文学习和微调提升有限，说明当前模型的跨应用 API 规划能力仍明显不足。

MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering

Jun Shern Chan, Neil Chowdhury, Oliver Jaffe, James Aung, Dane Sherburn, Evan Mays, Giulio Starace, Kevin Liu, Leon Maksin, Tejal Patwardhan, Lilian Weng

针对现有代码/ML任务评测难以衡量端到端机器学习工程能力的问题，MLE-bench将75个Kaggle竞赛离线化，配套本地评分与真实排行榜人类基线，覆盖数据处理、训练、调参与提交。实验显示，o1-preview+AIDE在16.9%任务达铜牌水平，pass@8升至34.1%；增加时间也有小幅收益，但智能体仍常因调试、资源规划和无效提交失败。

SWE-bench: Can Language Models Resolve Real-World GitHub Issues?

Carlos E. Jimenez, John Yang, Alexander Wettig, Shunyu Yao, Kexin Pei, Ofir Press, Karthik Narasimhan

Princeton University, University of Chicago

为缓解现有代码基准过于玩具化、难以衡量前沿模型真实软件工程能力的问题，SWE-bench将12个Python仓库中的真实GitHub issue、对应PR和测试连接成2294个可执行评测任务，要求模型在完整代码库上生成补丁并用单元测试验证；其核心洞察是缺陷修复需要跨文件定位、长上下文理解和环境交互。实验显示当时最强模型仍几乎失效，Claude 2仅解决1.96%任务，暴露出代码定位与长上下文鲁棒性是主要瓶颈。

OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments

Tianbao Xie, Danyang Zhang, Jixuan Chen, Xiaochuan Li, Siheng Zhao, Ruisheng Cao, Toh Jing Hua, Zhoujun Cheng, Dongchan Shin, Fangyu Lei, Yitao Liu, Yiheng Xu, Shuyan Zhou, Silvio Savarese, Caiming Xiong, Victor Zhong, Tao Yu

The University of Hong Kong, CMU, Salesforce Research, University of Waterloo

现有智能体评测多缺少真实可交互操作系统环境，或局限于单一应用，难以衡量开放式电脑任务能力。OSWorld构建跨系统真实环境与369个含初始状态、执行式评测脚本的任务，覆盖网页、桌面软件、文件I/O和多应用流程。结果显示人类成功率72.36%，最佳LLM/VLM智能体仅12.24%，主要短板在GUI定位、操作常识与复杂工作流执行。

WebShop: Towards Scalable Real-World Web Interaction with Grounded Language Agents

Shunyu Yao, Howard Chen, John Yang, Karthik Narasimhan

Department of Computer Science, Princeton University

针对现有交互式语言 grounding 基准要么语言不真实、要么依赖人工反馈难扩展的问题，WebShop 将真实电商商品与众包需求转化为可自动计分的网页购物环境，考察搜索改写、页面阅读、选项配置和长程探索。论文用 IL/RL 与预训练模型建立基线，最佳成功率约29%，显著高于规则法9.6%但仍远低于专家59%，并显示一定亚马逊、eBay迁移能力。

WebArena: A Realistic Web Environment for Building Autonomous Agents

Shuyan Zhou, Frank F. Xu, Hao Zhu, Xuhui Zhou, Robert Lo, Abishek Sridhar, Xianyi Cheng, Tianyue Ou, Yonatan Bisk, Daniel Fried, Uri Alon, Graham Neubig

Carnegie Mellon University

WebArena针对现有智能体多在简化或静态环境中评测、难以反映真实网页任务的问题，构建了可复现的自托管网页环境，覆盖电商、论坛、协作开发和内容管理，并以812个长程自然语言任务按功能正确性评测。实验显示最佳GPT-4智能体端到端成功率仅14.41%，远低于人类78.24%，凸显当前LLM智能体在探索、恢复和复杂操作上的不足。

WebWalker: Benchmarking LLMs in Web Traversal

Jialong Wu, Wenbiao Yin, Yong Jiang, Zhenglin Wang, Zekun Xi, Runnan Fang, Linhai Zhang, Yulan He, Deyu Zhou, Pengjun Xie, Fei Huang

Tongyi Lab, Alibaba Group

论文针对传统 RAG 依赖搜索引擎横向检索、难以获取网站深层结构化信息的问题，提出 Web Traversal 任务与 WebWalkerQA 基准，覆盖四类真实场景的 680 个问答和 1373 个网页，并用仅点击的设置考察多跳、深度与多源信息整合能力。作者还给出 WebWalker 多智能体基线，以 explorer-critic 和 ReAct 式探索管理长上下文记忆。实验显示该基准对强模型仍具挑战性，而将 WebWalker 的纵向页面探索与 RAG 横向检索结合能提升信息寻求问答效果。

ST-WebAgentBench: A Benchmark for Evaluating Safety and Trustworthiness in Web Agents

Ido Levy, Ben Wiesel, Sami Marreed, Alon Oved, Avi Yaeli, Segev Shlomov

全文短总结尚未生成。

xbench: Tracking Agents Productivity Scaling with Profession-Aligned Real-World Evaluations

Kaiyuan Chen, Yixin Ren, Yang Liu, Xiaobo Hu, Haotong Tian, Tianbao Xie, Fangfu Liu, Haoye Zhang, Hongzhang Liu, Yuan Gong, Chen Sun, Han Hou, Hui Yang, James Pan, Jianan Lou, Jiayi Mao, Jizheng Liu, Jinpeng Li, Kangyi Liu, Kenkun Liu, Rui Wang, Run Li, Tong Niu, Wenlong Zhang, Wenqi Yan, Xuanzheng Wang, Yuchen Zhang, Yi-Hsin Hung, Yuan Jiang, Zexuan Liu

Carnegie Mellon University, Fudan University, Imperial College London, Massachusetts Institute of Technology, National University of Singapore, Peking University, Shanghai Jiao Tong University, Stanford University, The Chinese University of Hong Kong (Shenzhen), The Ohio State University, Tsinghua University

针对现有智能体基准偏技术技能、难反映真实商业生产力的问题，xbench提出由行业专家定义任务与指标的动态职业对齐评测，并用TMF与xbench-Index关联能力、成本和市场价值。首批覆盖招聘与营销，各含50个真实需求，营销另含836名候选达人；初评显示o3在两项均领先，GPT-4o靠后，模型规模并不必然带来优势。

BrowseComp: A Simple Yet Challenging Benchmark for Browsing Agents

Jason Wei, Zhiqing Sun, Spencer Papay, Scott McKinney, Jeffrey Han, Isa Fulford, Hyung Won Chung, Alex Tachard Passos, William Fedus, Amelia Glaese

针对现有信息检索基准过易、难以区分具备持久网页浏览能力的智能体，论文提出 BrowseComp：由人工构造 1266 个“难找但易验”的短答案问题，强调事实判断、长程搜索与创造性检索。结果显示该基准对当时模型和人类限时搜索均具挑战，早期 Deep Research 的准确率随测试时计算量平滑提升，但不覆盖长回答与歧义处理能力。

Agent-SafetyBench: Evaluating the Safety of LLM Agents

Zhexin Zhang, Shiyao Cui, Yida Lu, Jingzhuo Zhou, Junxiao Yang, Hongning Wang, Minlie Huang

The Conversational AI (CoAI) group, DCST, Tsinghua University

面向从文本生成走向工具调用与环境交互后的智能体行为安全，本文提出 Agent-SafetyBench：包含 349 个动态交互环境、2000 个用例，覆盖 8 类风险与 10 种失败模式，并用微调评测器自动评分。对 16 个主流 LLM 智能体的测试显示安全分均低于 60%，主要暴露出工具调用鲁棒性不足与风险意识缺失；单靠防御提示改进有限。

LifelongAgentBench: Evaluating LLM Agents as Lifelong Learners

Junhao Zheng, Xidi Cai, Qiuke Li, Duzhen Zhang, ZhongZhi Li, Yingying Zhang, Le Song, Qianli Ma

South China University of Technology, MBZUAI, Chinese Academy of Sciences, East China Normal University

针对现有 LLM 智能体评测多为静态、难以衡量跨任务记忆与迁移的问题，本文提出 LifelongAgentBench，将数据库、操作系统和知识图谱环境组织成具技能依赖的序列任务，并提供自动标签验证、容器化复现和模块化接口。实验显示，简单经验回放常受无关历史与上下文长度限制，增加记忆量不一定有效；作者提出的分组自一致投票能在多种模型上提升终身学习表现。

AgentBench: Evaluating LLMs as Agents

Xiao Liu, Hao Yu, Hanchen Zhang, Yifan Xu, Xuanyu Lei, Hanyu Lai, Yu Gu, Hangliang Ding, Kaiwen Men, Kejuan Yang, Shudan Zhang, Xiang Deng, Aohan Zeng, Zhengxiao Du, Chenhui Zhang, Sheng Shen, Tianjun Zhang, Yu Su, Huan Sun, Minlie Huang, Yuxiao Dong, Jie Tang

Tsinghua University, The Ohio State University, UC Berkeley

针对LLM智能体缺少统一、可量化交互评测的问题，AgentBench构建了覆盖代码、游戏与网页三类的8个文本环境，并提供统一评测工具来考察推理、决策和指令跟随。对29个API与开源模型的测试显示，GPT-4等商业模型显著领先，70B以内开源模型差距明显；失败主要来自长程推理、决策和指令跟随不足，代码训练影响并非单向增益。

GAIA: a benchmark for General AI Assistants

Grégoire Mialon, Clémentine Fourrier, Craig Swift, Thomas Wolf, Yann LeCun, Thomas Scialom

FAIR, Meta, HuggingFace, AutoGPT, GenAI, Meta

GAIA针对现有LLM评测易饱和、依赖专业难题或开放生成难评估的问题，提出以真实世界、概念简单但需多步推理、多模态处理、网页浏览和工具使用的问题来评估通用助手，并要求答案短且唯一以便自动验证。其466题强调抗记忆和可解释推理轨迹；结果显示人类平均92%，带插件GPT-4仅15%，揭示当前先进模型在稳健执行现实任务上仍有显著缺口。

TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks

Frank F Xu, Yufan Song, Boxuan Li, Yuxuan Tang, Kritanjali Jain, Mengxue Bao, Zora Z Wang, Xuhui Zhou, Zhitong Guo, Murong Cao, Mingyang Yang, Hao Yang Lu, Amaad Martin, Zhe Su, Leander Maben, Raj Mehta, Wayne Chi, Lawrence Jang, Yiqing Xie, Shuyan Zhou, Graham Neubig

Carnegie Mellon University Independent Duke University

针对现有智能体评测难以反映真实职场自动化能力的问题，TheAgentCompany构建了可自托管的小型软件公司环境，覆盖网页、代码、终端与同事沟通等多接口任务，并用细粒度评估给部分完成计分。实验比较12种模型，最佳Gemini 2.5 Pro仅能完全完成约30.3%任务，说明当前LLM智能体可处理部分简单工作，但长程复杂任务仍明显受限。

Seal-Tools: Self-Instruct Tool Learning Dataset for Agent Tuning and Detailed Benchmark

Mengsong Wu, Tong Zhu, Han Han, Chuanyuan Tan, Xiang Zhang, Wenliang Chen

Soochow University, Shizi Street 1, Suzhou, China

为解决现有工具学习数据规模小、评测粗或依赖人工/ChatGPT判分的问题，Seal-Tools用自指令流程先生成领域与子领域，再生成API式工具和单/多工具调用实例，并以JSON与检查步骤降低重复和幻觉，包含嵌套调用等困难样本。数据集含4076个工具，评测从格式、工具选择、参数填充三维展开；多种LLM及微调模型结果显示当前系统仍不完善，尤其难处理嵌套调用。

API-Bank: A Comprehensive Benchmark for Tool-Augmented LLMs

Minghao Li, Yingxiu Zhao, Bowen Yu, Feifan Song, Hangyu Li, Haiyang Yu, Zhoujun Li, Fei Huang, Yongbin Li

Alibaba Group, Hong Kong University of Science and Technology, Peking University, Shenzhen Intelligent Strong Technology Co., Ltd

针对大模型接入外部工具后缺乏可执行、真实评测的问题，API-Bank将工具使用拆成规划、检索、调用三类能力，构建含73个API的人工评测集，并用五个LLM代理自动生成覆盖1000领域、2138个API的训练数据。实验显示GPT-4规划最好，GPT-3.5较GPT-3明显进步；基于Alpaca微调的Lynx较原模型提升约26个百分点、接近GPT-3.5，但整体仍存在较大提升空间。

T-Eval: Evaluating the Tool Utilization Capability of Large Language Models Step by Step

Zehui Chen, Weihua Du, Wenwei Zhang, Kuikun Liu, Jiangning Liu, Miao Zheng, Jingming Zhuo, Songyang Zhang, Dahua Lin, Kai Chen, Feng Zhao

University of Science and Technology of China, Shanghai AI Laboratory, Tsinghua University, Jilin University

针对现有工具调用评测只看最终答案或单步调用、难以定位大模型智能体失败环节且易受在线 API 波动影响的问题，T-Eval 将工具使用拆解为规划、推理、检索、理解、指令跟随与复核六类能力，并基于人工验证的黄金调用路径逐步评测。实验显示其与结果导向评测趋势一致，同时能暴露不同模型的细粒度瓶颈，提供更稳定、公平的工具学习评估视角。

ACEBench: Who Wins the Match Point in Tool Usage?

Chen Chen, Xinlong Hao, Weiwen Liu, Xu Huang, Xingshan Zeng, Shuai Yu, Dexun Li, Shuai Wang, Weinan Gan, Yuefeng Huang, Wulong Liu, Xinzhi Wang, Defu Lian, Baoqun Yin, Yasheng Wang, Wu Liu

University of Science and Technology of China, Huawei Noah’s Ark Lab, Shanghai Jiao Tong University

ACEBench针对现有工具使用评测场景窄、真实多轮不足、评估成本高的问题，构建中英双语约2000条数据，并以Normal、Special、Agent三类覆盖基础调用、不完整/歧义指令和真实抽象的多轮多步交互；其API生成引入自我进化式上下文树，并配套沙箱与自动评估。实验主要表明该基准能更细粒度地区分不同LLM的工具调用能力并定位错误来源，但具体性能增益来源文中未充分说明。

StoryBench: A Multifaceted Benchmark for Continuous Story Visualization

Emanuele Bugliarello, Hernan Moraldo, Ruben Villegas, Mohammad Babaeizadeh, Mohammad Taghi Saffar, Han Zhang, Dumitru Erhan, Vittorio Ferrari, Pieter-Jan Kindermans, Paul Voigtlaender

RGoogle Research, DGoogle DeepMind, CUniversity of Copenhagen

文本到视频模型难以在长时序中同时保持画质、动作遵循和跨帧一致性，现有单字幕数据也不足以评测“故事”生成。StoryBench通过为三类公开视频集补充逐动作描述、时间戳和片段标签，构建动作执行、故事续写、纯文本故事生成三档任务，并给出人评规范与自动指标。实验用小型Phenaki基线显示，利用由视频字幕自动转化的故事式训练数据能提升续写类表现，但自动指标与人类判断不一致，说明评测仍是瓶颈。

MultiAgentBench: Evaluating the Collaboration and Competition of LLM agents

Kunlun Zhu, Hongyi Du, Zhaochen Hong, Xiaocheng Yang, Shuyi Guo, Zhe Wang, Zhenhailong Wang, Cheng Qian, Xiangru Tang, Heng Ji, Jiaxuan You

University of Illinois Urbana-Champaign

现有智能体评测多偏单体或窄领域，难以刻画多智能体协作与竞争过程。MultiAgentBench 结合 MARBLE 框架，在六类交互场景中引入里程碑 KPI、规划/通信质量和竞争性指标，并比较星形、链式、树形、图结构及认知规划等协议。实验显示 gpt-4o-mini 平均任务分最高，研究场景中图结构最佳，认知规划使里程碑达成率提升约 3%。

Benchmarking LLMs' Swarm intelligence

Kai Ruan, Mowen Huang, Ji-Rong Wen, Hao Sun

这篇论文针对现有 LLM 多智能体评测常默认全局视野、充分通信或固定组织结构的问题，提出 SwarmBench，在二维网格中以局部感知和局部通信约束测试追捕、同步、觅食、集群和搬运等典型群体任务，并配套度量群体涌现行为。零样本实验显示，当前主流 LLM 仅具备初步协同能力，表现强依赖任务，在去中心化不确定环境下仍明显受限于长程规划、空间推理和自适应策略形成。

Beyond Prompts: Dynamic Conversational Benchmarking of Large Language Models

David Castillo-Bolado, Joseph Davidson, Finlay Gray, Marek Rosa

针对传统 LLM 评测多为单轮、单任务提示而难以反映真实聊天交互的问题，本文提出 LTM Benchmark：在一段长对话中交织多个任务与干扰，动态考察智能体的长期记忆、持续学习和信息整合能力。实验显示，各类开源与闭源模型在单任务中表现较好，但任务交错后性能明显下降；带长期记忆系统的短上下文模型可达到甚至超过更大上下文模型，说明真实会话能力瓶颈不只是上下文长度。

ACPBench: Reasoning about Action, Change, and Planning

Harsha Kokel, Michael Katz, Kavitha Srinivas, Shirin Sohrabi

面向LLM智能体在工作流决策中日益依赖规划能力却缺少系统评测的问题，ACPBench将规划拆解为动作、状态变化与计划相关的7类原子推理任务，并由13个PDDL领域自动生成带可证明答案的布尔/选择题。对22个LLM和OpenAI o1的评测显示，现有模型在计划验证、动作可达性等任务仍有明显短板；o1主要提升选择题而非布尔题，微调8B模型可接近大模型并泛化到未见领域。

PlanBench: An Extensible Benchmark for Evaluating Large Language Models on Planning and Reasoning about Change

Karthik Valmeekam, Matthew Marquez, Alberto Olmo, Sarath Sreedharan, Subbarao Kambhampati

School of Computing & AI, Department of Computer Science

针对常识任务难以区分大模型是真规划还是记忆检索的问题，PlanBench引入基于IPC/PDDL规划域的可扩展评测框架，自动生成与验证动作生成、状态变化推理等查询，并加入混淆域以削弱语义先验。实验显示，即使Instruct-GPT3、GPT-4等模型在计划生成等关键能力上仍明显不足，说明LLM规划能力评估需依赖更机制化、可复现的基准。

Personalization of Large Language Models: A Survey

Zhehao Zhang, Ryan A Rossi, Branislav Kveton, Yijia Shao, Diyi Yang, Hamed Zamani, Franck Dernoncourt, Joe Barrow, Tong Yu, Sungchul Kim, Ruiyi Zhang, Jiuxiang Gu, Tyler Derr, Hongjie Chen, Junda Wu, Xiang Chen, Zichao Wang, Subrata Mitra, Nedim Lipka, Nesreen Ahmed, Yu Wang

Dartmouth College, Adobe Research, Stanford University, University of Massachusetts Amherst, Vanderbilt University, Dolby Research, University of California San Diego, Cisco Research, University of Oregon

面向LLM从通用助手走向个体化智能体时偏好、上下文与任务需求难以统一建模的问题，本文将个性化文本生成与推荐等下游个性化应用放入同一框架，形式化个性化LLM，并按使用方式、粒度、技术、数据集与评测方法建立分类。主要结果是梳理了用户级、角色级、全局偏好及RAG、提示、微调、嵌入学习、RLHF等路线的权衡，指出隐私、偏见、数据稀缺和评测一致性仍是开放难题。

AutoPal: Autonomous Adaptation to Users for Personal AI Companionship

Yi Cheng, Wenge Liu, Kaishuai Xu, Wenjun Hou, Yi Ouyang, Chak Tou Leong, Wenjie Li, Xian Wu, Yefeng Zheng

The Hong Kong Polytechnic University, Jarvis Research Center, Tencent YouTu Lab

AutoPal针对陪伴型AI中静态人设难以适应用户信息稀缺、偏好变化的问题，提出随对话自主调整人设的层级框架：属性级即时修改并做一致性检查，画像级周期性细化以提升真实感，并用人设匹配数据经SFT与DPO学习适配策略。实验显示其相较静态或预匹配人设能提升对话自然度、亲和力与个性化，动态人设对齐度随轮次提高。

Personalize Your LLM: Fake it then Align it

Yijing Zhang, Dyah Adila, Changho Shin, Frederic Sala

University of Wisconsin - Madison

这篇论文针对逐用户微调成本高、检索式个性化又依赖大量高质量用户历史的问题，提出 CHAMELEON：先用少量历史甚至单样本“伪造”用户偏好与对照偏好数据，再在推理时编辑表示空间，增强个性化子空间、抑制非个性化子空间。LaMP 等实验显示，该方法在两类模型上相对指令模型和两个个性化基线平均提升约 40%，并可借助相似用户画像支持冷启动。

A Survey of Personalization: From RAG to Agent

Xiaopeng Li, Pengyue Jia, Derong Xu, Yi Wen, Yingyi Zhang, Wenlin Zhang, Wanyu Wang, Yichao Wang, Zhaocheng Du, Xiangyang Li, Yong Liu, Huifeng Guo, Ruiming Tang, Xiangyu Zhao

City University of Hong Kong, Hong Kong, University of Science and Technology of China, Dalian University of Technology, Noah’s Ark Lab, Huawei

针对现有综述多聚焦通用 RAG 或智能体、缺少个性化视角对齐的问题，本文把个性化信息按显式画像、历史交互、历史内容与人格化模拟归类，并将其映射到 RAG 的预检索、检索、生成以及智能体的理解、规划、执行、生成环节。主要结果是形成一套个性化 RAG 到个性化智能体的综述框架，汇总相关数据集、评测指标、局限与未来方向；文中未充分说明具体系统增益。

ROUGE: A Package for Automatic Evaluation of Summaries

Chin-Yew Lin

Information Sciences Institute, University of Southern California

针对大规模摘要评测依赖人工、成本高且难以频繁进行的问题，本文提出 ROUGE 自动评测包，以候选摘要与多个人类参考摘要的 n-gram、最长公共子序列、加权序列和跳跃词对重合度来衡量内容覆盖，并用 jackknife 支持多参考比较。基于 DUC 2001–2003 的实验表明，ROUGE-2/L/W/S 等与人工判断有较好相关性，去停用词和多参考通常能提升相关性。

Bleu: a Method for Automatic Evaluation of Machine Translation

Kishore Papineni, Salim Roukos, Todd Ward, Wei-Jing Zhu

针对机器翻译人工评测耗时、昂贵且难以支持频繁迭代的问题，本文提出 BLEU：以多个人类参考译文为基准，用截断的 n-gram 精确率、几何平均和长度惩罚衡量候选译文接近度，避免简单词频刷分并兼顾流畅性。实验显示 BLEU 在语料级能区分人译与机译，并与人工判断高度相关，成为后续生成任务自动评测的重要基线。

Position: Scaling LLM Agents Requires Asymptotic Analysis with LLM Primitives

Elliot Meyerson, Xin Qiu

这篇立场论文针对多 LLM 智能体系统常按人类分工直觉搭建、缺少规模效率依据的问题，提出把一次 LLM 前向推理视为计算原语，做面向智能体编排的渐近分析。其核心洞察是将模型内部能力与系统级分解策略解耦，可比较不同路由、专才分工、代码修改和进化优化方案的极限成本。文中通过三个示例展示了专门化、细粒度分解等设计可能带来显著渐近优势，同时也指出现有结论仍偏框架性，需更严格理论与实证支撑。

Automating Safety Enhancement for LLM-based Agents with Synthetic Risk Scenarios

作者信息待提取

全文短总结尚未生成。

Foundational Challenges in Assuring Alignment and Safety of Large Language Models

Usman Anwar, Abulhair Saparov, Javier Rando, Daniel Paleka, Miles Turpin, Peter Hase, Ekdeep Singh Lubana, Erik Jenner, Stephen Casper, Oliver Sourbut, Benjamin L Edelman, Zhaowei Zhang, Mario Günther, Anton Korinek, Jose Hernandez-Orallo, Lewis Hammond, Eric Bigelow, Alexander Pan, Lauro Langosco, Tomasz Korbak, Heidi Zhang, Ruiqi Zhong, Seán Ó hÉigeartaigh, Gabriel Recchia, Giulio Corsi, Alan Chan, Markus Anderljung, Lilian Edwards, Aleksandar Petrov, Christian Schroeder de Witt

Published in Transactions on Machine Learning Research (09/2024, University of Cambridge New York University ETH Zurich UNC Chapel Hill, University of Michigian University of California, Berkeley Massachusetts Institute of Technology, University of Oxford Harvard University Peking University LMU Munich, Stanford University Modulo Research Center for the Governance of AI, Newcastle University Mila - Quebec AI Institute, Université de Montréal Princeton University

面向大语言模型逐步具备工具使用、长期学习与多智能体协作能力后的失控风险，本文不是提出新算法，而是系统梳理对齐与安全保证的基础缺口：从上下文学习、能力泛化与规模效应，到预训练/微调失配、评测偏差、解释性不足和提示攻击。主要结果是形成18类挑战与200余个可操作研究问题，为安全可控智能体的泛化评估和治理路线提供问题清单。

AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents

Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, Maya Pavlova, Ruslan Salakhutdinov, Kamalika Chaudhuri

FAIR at Meta, Meta

针对网页智能体在执行任务时需接触用户隐私、却缺乏推理时数据最小化评测的问题，AgentDAM基于WebArena/VisualWebArena构建端到端基准，在Reddit、GitLab、购物等真实模拟环境中同时衡量任务完成与无关敏感信息泄露，并用LLM裁判分析轨迹。实验显示GPT、Llama、Claude系智能体即使在非对抗场景也会误用无关隐私，直接询问LLM会高估安全性；隐私提示加CoT可降低泄露且对效用影响较小。

Unveiling Privacy Risks in LLM Agent Memory

Bo Wang, Weiyi He, Shenglai Zeng, Zhen Xiang, Yue Xing, Jiliang Tang, Pengfei He

Michigan State University, University of Georgia

本文关注 LLM Agent 将用户交互写入长期记忆后带来的隐私泄漏风险，指出这类风险不同于传统 RAG 外部数据泄漏。作者提出黑盒记忆抽取攻击 MEXTRA，通过“定位记忆内容+适配智能体工作流输出”的提示模板及自动化多样提示生成来诱导泄露历史查询。实验在两个代表性智能体上验证攻击有效，并显示记忆检索配置、攻击次数和攻击者对实现细节的了解程度会显著影响泄漏规模。

Collab-Overcooked: Benchmarking and Evaluating Large Language Models as Collaborative Agents

Haochen Sun, Shuwen Zhang, Lujie Niu, Lei Ren, Hao Xu, Hao Fu, Fangkun Zhao, Caixia Yuan, Xiaojie Wang

Beijing University of Posts and Telecommunications

针对现有多智能体基准常以任务完成率替代协作能力、且协作要求不严格的问题，本文提出 Collab-Overcooked：在隔离动作空间的厨师—助手环境中设置 30 个跨 6 级复杂度任务，并用轨迹效率类指标刻画主动求助与响应协作。对 13 个 LLM 的实验显示，模型通常能理解目标，但在主动协作、持续适应和注意力对齐上存在明显瓶颈。