按年份、记忆类型和存储形态浏览 Agent Memory 论文，可进入详情页查看 AlphaXiv、PDF 或论文页面。
Gaoling School of Artificial Intelligence, Renmin University of China
现有智能体记忆多按扁平或弱逻辑结构存储，依赖语义相似度检索，难以支撑长程依赖推理。本文提出CompassMem框架，受事件分割理论启发，将经验增量式切分为事件并以因果、时序等显式关系构建事件图，令记忆拓扑本身承载逻辑；推理时智能体沿图主动导航、定向搜集证据，而非被动召回。在LoCoMo与NarrativeQA上，该方法在多种骨干模型中均持续提升检索与推理表现，多跳与时序推理任务改善尤为明显。
Department of Computer Science, The University of Texas at Dallas, Department of Electrical and Computer Engineering, University of Florida
现有记忆增强生成系统多依赖语义相似性检索，将时间、因果与实体信息混杂在单一存储中，限制了查询意图与证据的对齐。为此，本文提出MAGMA架构，将记忆项显式解耦到语义、时间、因果、实体四个正交关系图中，并基于查询意图自适应地遍历相关子图，再融合为结构化上下文。该设计解耦了记忆表示与检索逻辑，提升了可解释性与细粒度控制。实验表明，MAGMA在LoCoMo和LongMemEval长程推理任务上持续优于现有系统，并显著降低了检索延迟与token开销。
现有LLM记忆系统多将经验存储为碎片化孤立记录，难以整合演化知识与检测冲突，导致长期推理不一致。EverMemOS提出自组织记忆操作系统，通过情节痕迹形成、语义巩固与重构性回忆三阶段生命周期，将离散交互转化为连贯稳定的知识结构。实验表明，该系统在LoCoMo和LongMemEval等基准上相对最强基线分别提升9.2%和6.7%，显著改善了多跳与时间推理表现。
♠Department of Computer Science and Technology, Tsinghua University, ♢Beijing University of Posts and Telecommunications, ⋆Beijing Jiaotong University
现有长文本压缩方法存在明显局限：显式方法易破坏局部连贯性，隐式方法面临位置偏见且难以兼容闭源API。本文提出EDU-based Context Compressor，将压缩重构为"先结构后选择"过程：先以LingoEDU将线性文本转化为基本语篇单元(EDU)的结构关系树，节点锚定原文索引以抑制幻觉；再由轻量级排序模块筛选查询相关子树并线性化输出。在人工标注的StructBench基准上，该方法达到最优结构预测准确率，并在长文档问答与Deep Search等任务中显著缩短上下文、降低成本，同时提升性能并减少幻觉。
Shanghai Artificial Intelligence Laboratory
现有 AI 智能体因缺乏可靠记忆而面临灾难性遗忘、长程推理断裂及多模态经验利用不足的问题。MemVerse 提出一种模型无关的即插即用记忆框架，通过双路径架构耦合慢速层次化检索记忆与轻量参数化快速记忆：慢路径将原始多模态经验持续抽象为基于知识图谱的核心、情景与语义记忆，实现自适应遗忘与有界增长；快路径则周期性蒸馏长期记忆为可微参数，保障实时回忆。实验表明该框架显著改善了多模态推理与持续学习效率，但具体增益数值、对比基线与任务细节在提供的片段中未充分说明。
Department of Computer Science, Sapienza University of Rome
现有LLM在长时间交互中难以保持连贯与个性化。本文提出MMAG框架，借鉴认知心理学将智能体记忆划分为对话、长期用户、情景事件、感官情境与短期工作五个交互层，并映射至向量数据库、结构化存储等技术组件以实现协同与冲突消解。作者在Heero对话代理中验证了该设计，即使仅部分部署加密长期画像与对话历史，也已显著提升用户留存与对话时长。
Westlake University, 2Shanghai Innovation Institute, Project Cuddlepark Team, 4Shanghai Jiao Tong University
现有LLM智能体多依赖静态配置，缺乏长期自主演化能力。本文提出System 3元认知层，将元认知、心智理论、内在动机与情景记忆等心理学概念转化为可计算模块，并构建Sophia持久化智能体框架，通过过程监督思维搜索、叙事记忆与混合奖励机制实现持续自我改进。在动态网络环境的长期部署中，Sophia能自主生成内在目标，重复操作推理步骤减少80%，高复杂度任务成功率提升40%，并表现出连贯的叙事身份与任务组织能力。
现有视频大模型难以处理数小时至数天的长视频，因其上下文有限且文本摘要易丢失关键视觉细节，固定时间尺度的检索也缺乏灵活性。为此，WorldMM 构建了三类互补记忆：跨多时间尺度的情景记忆、持续更新高层概念的语义记忆以及保留场景细节的视觉记忆，并通过自适应检索智能体迭代选择最优记忆模态与时间粒度，避免无关信息干扰。在五个长视频问答基准上，该方法平均超越此前最优方法 8.4%，验证了多模态多尺度记忆架构的有效性。
现有LLM对话系统多为无状态架构，难以跨会话保持连贯与个性化，且现有记忆方案常孤立处理向量检索、摘要或知识图谱。本文提出Memoria，核心创新在于将动态会话摘要与带指数时间衰减的加权知识图谱用户建模相结合，以结构化三元组增量捕获用户特质、偏好及行为模式，在token约束下兼顾短期对话连贯与长期个性化。实验在LongMemEvals上与A-Mem进行了对比，但具体的定量性能增益文中未充分说明。
现有Agent记忆系统多将记忆视为外部检索层，难以区分证据与信念、维持长程一致性与可解释性。本文提出HINDSIGHT架构，将记忆结构化为世界事实、经验、实体摘要与演化信念四个网络，以retain、recall、reflect三种操作统一长期事实召回与偏好条件推理；TEMPR组件构建时序实体感知记忆图，CARA组件则引入可配置行为倾向参数塑造观点更新。在LongMemEval与LoCoMo基准上，20B开源模型准确率从39%提升至83.6%，更大规模可达91.4%，显著优于现有记忆架构及全上下文基线。
现有对话智能体的长期记忆方法常在粗粒度检索与细粒度碎片化之间权衡，且多数外部记忆依赖有损压缩，易丢失跨会话细节。本文受新戴维森事件语义启发，提出将对话历史转化为事件化的基本话语单元（EDU），通过归一化实体与轻量推断增强单元自洽性，并构建会话-EDU-参数的异构图支持联想回忆；在此之上实现两种检索变体——轻量基线EMem采用稠密检索加LLM过滤，完整版EMem-G引入图传播与个性化PageRank聚合跨会话证据。在LoCoMo与LongMemEvalS基准上，两者以明显更短的QA上下文达到或超越了Nemori等强基线，其中EMem-G在LongMemEvalS（gpt-4o-mini）上取得77.9%的平均准确率。
. Beijing Academy of Artificial Intelligence 2. Renmin University of China, . Peking University 4. Hong Kong Polytechnic University
现有记忆系统多采用 Ahead-of-Time 压缩，导致信息损失且难以适应动态查询。本文提出 General Agentic Memory（GAM），遵循“即时编译”思想：离线时由 Memorizer 生成轻量记忆并保留完整历史至 page-store；在线时由 Researcher 基于记忆进行深度研究，从完整历史中按需检索整合。该框架以搜索为核心实现高保真记忆，在 LoCoMo、HotpotQA、RULER 等基准上显著优于既有方法。
现有LLM智能体的记忆系统多依赖语义分组检索，容易遗漏语义不相关但关键的用户特征与情境信息，且引入检索噪声与额外开销。本文提出O-Mem，一种基于主动用户画像的全方位记忆框架，通过动态提取并持续更新用户人格特质与事件记录，实现层级化的人本中心检索。实验表明，O-Mem在LoCoMo和PERSONAMEM基准上分别达到51.67%与62.99%，较此前最优方法提升约3%至3.5%，同时在token消耗与交互延迟上实现帕累托最优。
Carnegie Mellon University, 2Northeastern University, 3Harvard University, 4Fujitsu Research of America, 5MIT, Peking University , 7University of Georgia, 8Florida International University
现有方案多采用静态模板或全量上下文广播，导致多智能体系统Token开销高且信息冗余。本文提出RCR-Router，通过角色与任务阶段感知的动态语义路由，在严格Token预算下为各智能体筛选相关记忆子集，并以结构化共享记忆迭代聚合中间结果。实验表明，该方法在HotPotQA等三个多跳QA基准上可在不降低答案质量的前提下减少25%–47%的Token消耗。
现有LLM智能体缺乏真正的个性化长期交互能力，RAG虽提升上下文感知却无法融合用户专属数据。本文从跨领域个性化的概念定义出发，提炼技术需求，并融合多智能体协作、多源检索等成熟模式，构建了一套集成持久记忆、动态协调、自我验证与演化用户画像的框架。该工作在三个公开数据集上验证了检索与生成质量，并通过为期五天的试点用户研究初步证实，持久记忆与用户画像的协同可提升智能体的适应性与感知个性化程度。
University of California, Berkeley, Berkeley CA 94702, USA, New York University, Brooklyn, NY 11201, USA
针对全球孤独问题与现有AI伴侣情感表面化、缺乏长期记忆等局限，本文提出Livia——一款基于模块化多智能体架构的情感感知AR伴侣。该系统通过专用Agent分别负责情感分析、对话生成、记忆压缩与行为编排，并引入TBC与DIMF两种渐进式记忆压缩算法，在显著降低存储开销的同时保留关键情感上下文；结合文本与语音语调的多模态情感识别，以及Unity3D/ARKit驱动的AR具身交互，实现个性自适应进化。用户评估表明，Livia能显著增强情感联结、提升满意度并降低孤独感，其自适应个性与真实AR化身尤为受用户重视。
Shanghai Key Laboratory of Trustworthy Computing, East China Normal University
现有大语言模型在多轮对话中常因依赖静态知识而出现事实不一致与逻辑衰减。D-SMART提出一种与模型无关的框架，通过动态结构化记忆（DSM）将对话历史增量式构建为OWL兼容的知识图谱，并借助推理树（RT）在图上进行显式多步推理，从而动态追踪对话事实。此外，论文引入基于自然语言推理的评估指标以弥补GPT-4评分对逻辑缺陷的盲区。实验表明，该方法在MT-Bench-101上将对话一致性提升逾48%，并显著改善开源模型回复质量。
Tongyi Lab, Alibaba Group
现有开放域深度研究（OEDR）方法常将规划与证据搜集解耦，或一次性灌入全部检索内容，导致大纲僵化、长上下文噪声及引用幻觉。WebWeaver提出Planner-Writer双智能体框架：Planner在动态循环中交替执行证据获取与大纲优化，使搜索策略与报告结构协同演化；Writer则基于大纲引用对记忆库进行分层检索，逐节合成报告，仅调用必要证据。该框架在DeepResearch Bench等三大基准上取得SOTA，报告质量与引用准确率均超越主流商业与开源系统。
Gaoling School of Artificial Intelligence, Renmin University of China, Huawei Noah’s Ark Lab
当前LLM处理长文档时面临信息过载，但现有记忆模块缺乏系统性设计原则。本文受皮亚杰建构主义理论启发，提出智能体记忆应具备结构化图式、灵活同化和动态顺应三大特征，并据此实现CAM原型：通过增量重叠聚类构建层次化记忆网络，支持在线批量整合与类人的联想式检索。实验表明，CAM在长文本问答、查询式摘要和声明验证任务上均取得更优性能，记忆构建效率较现有方法提升逾4倍。
Seoul National University, 2Coxwave, 3Independent Researcher, 4KAIST
现有对话系统在生成回复时承担跨会话推理的过重负担，导致性能高度依赖模型规模。本文提出PREMem，将复杂推理前移至记忆存储阶段：在构建情景记忆时即提取事实、经验与主观三类细粒度片段，并基于图式理论建立跨会话的显式演化关系（如扩展、转换与蕴含）。实验表明，该方法在LongMemEval与LoCoMo上显著提升各尺寸模型表现，使不超过40亿参数的小模型获得媲美大基线模型的跨会话推理能力，且在受限token预算下保持有效。
♠Zhejiang University, ♢National University of Singapore, ♣State Key Lab. for Novel Software Technology, Nanjing University, P.R. China
针对现有大语言模型记忆系统计算开销高、冗余信息未过滤、记忆更新与推理紧耦合导致延迟高等问题，本文受人类记忆Atkinson–Shiffrin模型启发，提出LightMem三阶段架构：轻量压缩的感觉记忆过滤冗余并按主题分组；主题感知的短期记忆动态聚合语义相关片段；长期记忆则通过“睡眠”离线机制解耦维护与推理开销。在LongMemEval和LoCoMo上，LightMem在GPT与Qwen backbone上取得最高7.7%和29.3%的准确率提升，总token与API调用分别减少至多38倍与30倍，纯在线开销降幅更达百余倍。
现有对话记忆系统多在事实层运作，难以从长期冲突的交互中提炼稳定的用户特质。本文受重整化群启发，提出RGMem框架，将用户画像建模为多尺度演化过程：微观对话经语义提取后，通过层级粗粒化与阈值更新逐步整合为宏观理论，显式分离快变证据与慢变特征，以缓解稳定性与可塑性的矛盾。实验表明，该框架在LOCOMO和PersonaMem基准上较最优基线分别提升约7.08与8.98个百分点，并揭示了记忆更新中存在类似相变的非线性临界现象。
现有记忆增强智能体多依赖预定义指令与固定工具，难以自主决定信息的取舍、组织与更新时机。Mem-α将记忆构建视为序列决策问题，通过强化学习直接以历史对话的下游问答准确率为奖励，训练智能体操作包含核心、情景与语义组件的复杂记忆架构及其工具。实验表明，仅在最长30k token数据上训练的模型，可泛化至超过400k token的长序列，显著优于现有基线。
现有长期对话智能体面临记忆碎片化：事实提取与摘要虽减少冗余，却使信息分散在不同粒度的原始对话与生成记忆中，且实体关系图依赖昂贵的LLM抽取。本文提出SGMem，将对话在分块单元内组织为句子级图，以句子为节点显式建模跨轮次、回合与会话的关联，并联合检索原始对话与生成记忆。该方法无需额外LLM提取，仅依赖标准分句工具即可轻量构建。实验表明，SGMem在LongMemEval和LoCoMo上持续提升准确率并优于强基线。
Fudan University, Beihang University, Shanghai University of Finance and Economics
针对LLM智能体记忆系统依赖预定义启发式导致主观偏差与存储膨胀的问题，本文受预测编码理论启发，提出NEMORI自适应记忆蒸馏框架。该框架将经验效用评估转化为可预测性问题，通过级联的情景记忆整合与语义知识蒸馏模块，基于预测误差提取不可预见的新知识，且与下游记忆管理解耦。实验表明，NEMORI在长上下文中优势显著，与第三方管理系统集成时可在保持性能的同时减少45%至64%的存储开销。
Beijing University of Posts and Telecommunications, 2SenseTime, Beijing Key Laboratory of Network System and Network Culture
针对超长角色扮演对话中记忆无控制增长的痛点，本文提出MOOM插件。其核心洞察是将人机对话视为"故事"，借鉴文学理论构建双分支框架：一支跨多时间尺度分层总结情节冲突，另一支提取用户角色画像；并引入基于"竞争抑制"理论的遗忘机制动态约束记忆容量。实验表明，MOOM以更少的LLM调用实现了更优的记忆提取准确率与响应连贯性，并发布了平均600轮的中文数据集ZH-4O。
College of Intelligence and Computing, Tianjin University, AI Lab, China Mobile Communication Group Tianjin Co., Ltd, Huizhi Xingyuan Information Technology Co., Ltd
针对现有智能体记忆方法存储内容质量低、难以匹配用户多角度查询的问题，本文受认知心理学多重记忆系统理论启发，提出多记忆系统MMS。该系统将短期记忆深度加工为关键词、多认知视角、情景与语义等记忆片段，并构建一对一的检索记忆单元与上下文记忆单元，分别用于查询匹配与生成增强。LoCoMo数据集实验表明，MMS在检索召回与生成质量上均优于对比方法，Multi Hop任务中Recall提升8至11个百分点，验证了高质量记忆内容对长期记忆能力的增益。
Cornell University
传统RAG将对话历史存储为稠密向量，难以捕捉句法依赖、话语关系与指代链接等深层语言结构，导致长期多轮对话中在处理释义、省略与隐含指代时表现不佳。本文提出Semantic Anchoring，通过依存解析、指代消解与话语关系标注构建显式语言线索，并与稠密向量融合为混合符号-神经记忆索引，实现多粒度匹配与可解释检索。实验表明，该方法在长期对话数据集上相比强RAG基线将事实召回率与话语连贯性提升高达18%，消融实验与人工评估进一步验证了其鲁棒性与可解释性。
School of Future Technology, South China University of Technology, Pazhou Lab, Guangzhou, WeChat AI, Tencent
针对长叙事（20万+ token）理解中传统RAG因单步无状态检索难以捕捉情节与角色关系动态演化的问题，本文受人类前额叶皮层元认知调节机制启发，提出ComoRAG框架。其核心是一个动态记忆工作空间：在推理遇阻时迭代生成探测查询，从多层次知识源检索新证据并整合至全局记忆池，逐步构建连贯叙事上下文以实现有状态推理。在四个长叙事基准上，该框架一致优于各类强基线，对需全局理解的复杂查询提升显著，且核心循环可灵活接入现有RAG方法带来额外增益。
现有AI多在静态任务上优化，难以在动态环境中持续进化。本文提出经验驱动终身学习框架ELL，通过经验探索、长期记忆、技能抽象与知识内化，构建能自主成长的智能体；并设计StuLife基准模拟大学生完整历程，以评估其主动决策与持续学习能力。实验显示，即使GPT-5也仅获17.9分，暴露出长期记忆与自主动机仍是迈向AGI的关键瓶颈，且上下文工程对提升表现至关重要。
ByteDance Seed, 2Zhejiang University, 3Shanghai Jiao Tong University
针对具身智能体需在持续感知中积累环境知识的需求，该工作提出M3-Agent框架，通过记忆构建与控制两个并行流程，在线处理无限长视觉与听觉输入，提取情景与语义记忆，并以实体为中心的多模态图结构进行组织。该框架采用强化学习实现多轮迭代记忆检索与推理。在自建的M3-Bench（含100段机器人视角长视频）及VideoMME-long上的实验表明，M3-Agent较基于Gemini-1.5-pro和GPT-4o的最强基线准确率提升6.7%至7.7%，消融实验进一步验证了语义记忆与强化学习训练的关键作用。
Ludwig Maximilian University of Munich, 2Munich Center for Machine Learning, Technical University of Munich, 4University of Cambridge, 5University of Hong Kong, Technical University of Darmstadt, 7University of Edinburgh
现有大语言模型受限于有限上下文窗口且本质上无状态，传统外部记忆库多依赖静态启发式规则，缺乏对记忆存储、更新与检索的学习机制。本文提出Memory-R1，以强化学习框架训练两个专用智能体：Memory Manager学习执行ADD、UPDATE、DELETE和NOOP等结构化记忆操作，Answer Agent则对检索到的记忆进行预筛选与推理。仅需152个问答对进行PPO或GRPO微调，该方法在LoCoMo、MSC和LongMemEval上均超越强基线，在LoCoMo上相对提升F1达28%，并泛化至3B–14B多种模型规模。
现有大型多智能体系统受限于LLM上下文窗口，导致角色漂移与信息丢失，且传统RAG或记忆机制多为单智能体或同质化设计。本文提出Intrinsic Memory Agents框架，为每个智能体维护异质化、角色对齐的结构化记忆，并直接从智能体输出中内生更新记忆，避免外部摘要丢失专业视角。实验表明，该方法在PDDL、FEVER和ALFWorld上取得SOTA或相当性能且一致性最优，在数据管道设计任务的可扩展性、可靠性等五项指标上也显著优于传统方案。
现有记忆增强智能体多采用扁平单一的文本架构，缺乏多模态支持与专门化路由，难以实现可靠的长期个性化回忆。本文提出模块化多智能体系统MIRIX，设立Core、Episodic、Semantic、Procedural、Resource及Knowledge Vault六种记忆组件，由独立记忆管理器与元记忆路由器协同管控更新与检索，并原生支持视觉输入。在ScreenshotVQA多模态基准上，MIRIX较RAG基线准确率提升35%、存储降低99.9%；在LOCOMO长对话基准上达到85.4%的SOTA准确率，超越现有最优方法8个百分点。
现有LLM智能体的长期记忆机制在结构化存储与高效检索上面临瓶颈，记忆规模增长时全量向量相似性搜索的计算成本急剧上升。本文提出分层记忆架构H-MEM，按语义抽象度将记忆组织为四级结构，并在各层嵌入指向子记忆的位置索引；检索时通过索引路由逐层定位，避免穷举相似性计算并筛除无关信息。在LoCoMo数据集的五项问答任务中，H-MEM在多个大模型上均优于五种基线，验证了其在长期对话中的有效性与检索效率。
NUS, 2Tongji University, 3UCLA, 4A*STAR, 5NTU
现有大模型多智能体系统（MAS）的记忆机制通常过于简化，既无法有效记录细粒度协作轨迹，也缺乏跨任务积累与智能体级定制，致使系统难以像单智能体那样持续进化。为此，本文提出G-Memory，一种受组织记忆理论启发的层级化图记忆架构，通过洞察图、查询图与交互图分别抽象可泛化经验、编码任务关联及存储详细通信日志，并借助双向遍历同时提取高层启示与关键协作片段。在五个基准与三个主流MAS框架上的实验表明，该即插即用模块无需改动原系统，即可将具身动作成功率与知识问答准确率分别最高提升20.89%和10.12%，且token消耗与主流方案相当甚至更低。
Department of Artificial Intelligence, Yonsei University, Department of Computer Science and Engineering, Texas A&M University
该研究探究具身智能体如何利用记忆实现个性化辅助，指出传统单次指令任务难以满足实际个性化需求。作者构建MEMENTO框架，从物体语义与用户行为模式两维度检验记忆利用能力，发现现有模型虽能回忆简单物体语义，却难以将序列化用户模式整合进规划，且面临信息过载与多记忆协调失败两大瓶颈。他们进一步观察到情景记忆兼具个性化知识与上下文学习收益，据此设计的分层知识图谱用户画像记忆模块，在单记忆与联合记忆任务中均取得显著提升。
The Chinese University of Hong Kong, 2Harbin Institute of Technology, Shenzhen, The Hong Kong University of Science and Technology, 4Huawei Noah’s Ark Lab, 5King’s College London
现有任务型对话系统在多轮场景中仅依赖语义相似度检索历史信息，忽视了任务意图与槽位连续性，导致用户需反复重述需求。本文提出MemGuide，通过意图对齐检索锁定同目标记忆单元，再以缺失槽位引导的过滤机制蒸馏高价值信息，并构建首个多轮TOD基准MS-TOD。实验表明，该方法将多轮任务成功率从88%提升至99%，对话轮次减少2.84轮，同时不损害单轮性能。
现有大模型预训练将事实与语言能力耦合于参数，导致知识难以更新与控制。该研究提出LMLM，在预训练阶段自动标注语料中的事实查询并将返回值从损失中屏蔽，迫使模型将知识外部化至数据库而非记忆权重，从而在源头解耦事实存储与语言理解。实验显示，3.82亿参数的LMLM在事实精确度上可媲美LLaMA2-7B，困惑度更低，且支持通过数据库操作即时更新与遗忘知识。
State Key Laboratory of General Artificial Intelligence, BIGAI, Beijing, China, University of Science and Technology of China 3Tsinghua University 4Peking University
针对动态3D场景理解中，端到端模型计算成本高且现有视频智能体难以精确维护物体状态的问题，本文提出Embodied VideoAgent。其核心在于融合第一人称视频与深度图、相机位姿等具身传感输入，构建持久目标记忆，并引入基于VLM的自动更新机制，在动作或活动发生时动态修正物体状态。该智能体在Ego4D-VQ3D、OpenEQA和EnvQA上分别取得4.9%、5.8%和11.7%的性能提升，并展现了在机器人操作等具身任务中的应用潜力。
针对大模型固定上下文难以维持长期对话一致性的问题，本文提出 Mem0 记忆架构，动态提取并整合对话关键信息，并进一步扩展为基于图的 Mem0g 以捕捉实体间复杂关系。在 LOCOMO 基准上，Mem0 在单跳、时序、多跳与开放域任务中均优于现有记忆系统及 OpenAI 方案，相对提升达 26%，且 p95 延迟较全上下文基线降低 91%、节省超 90% token 成本；Mem0g 整体表现再提升约 2%。
现有大语言模型在长期个性化对话中受限于状态缺失，而外部记忆机制又因固定粒度和固定检索器难以捕捉语义结构与适应多样语境。本文提出Reflective Memory Management（RMM），通过前瞻性反思按话题动态整合多粒度对话历史以优化未来检索，并通过回顾性反思利用模型生成响应时的归因信号进行在线强化学习，持续优化检索器而无需标注数据。实验表明，RMM在LongMemEval等基准上较最强基线提升超5%，在无记忆管理基线上准确率提升逾10%。
Tsinghua University, Microsoft Corporation
针对长期个性化对话中的记忆构建，本文系统分析了轮次级、会话级与摘要级记忆单元在检索准确性和语义质量上的固有缺陷，并发现提示压缩可作为去噪手段提升检索效果。据此提出SECOM，利用对话分割模型将长对话切分为主题连贯的片段来构建记忆库，同时对记忆单元进行压缩去噪。实验表明，该方法在长期对话基准LOCOMO和Long-MT-Bench+上显著优于基线，其分割模型在DialSeg711等多个对话分割数据集上也取得了更优表现。
现有RAG框架多面向静态文档，难以满足企业场景中对动态、跨源知识整合的需求。本文提出Agent记忆层Zep，其核心Graphiti引擎以三层时序知识图谱（原始会话、语义实体、社区摘要）无损融合非结构化对话与结构化业务数据，并引入双时间线建模事实有效期。在DMR基准上Zep以94.8%超越MemGPT，而在更贴近企业应用的LongMemEval上，其准确率最高提升18.5%，同时将响应延迟降低90%、上下文token从115k压缩至1.6k，显著改善了跨会话与时序推理任务的表现。
Mila - Quebec AI Institute
针对显式记忆存储开销大与隐式记忆检索不可靠的两难困境，本文提出R3Mem记忆网络，通过可逆上下文压缩统一记忆保持与检索。该方法利用虚拟记忆令牌编码无限长历史，并引入文档到实体级的分层压缩策略以适配不同语义粒度；同时设计可逆架构，通过反向调用模型从压缩表征中重构原始数据，实现参数化存储与可靠检索的兼顾。实验表明，该方法在长上下文语言建模、检索增强生成及长程对话交互任务中均达到或显著优于现有记忆模块性能。
Rutgers University
现有LLM智能体的记忆系统多依赖预定义结构与固定操作，难以动态适应复杂开放任务。本文提出A-MEM，受Zettelkasten方法启发，通过动态索引与链接构建互联知识网络。系统为每条新记忆生成包含上下文、关键词、标签等属性的结构化笔记，并自动建立历史记忆间的语义关联；更重要的是，新记忆的写入会触发记忆进化，动态更新已有记忆的上下文表征与属性，实现记忆网络的持续自我完善。在六个基础模型上的实验表明，该系统相比现有SOTA基线有显著提升。
Michigan State University, 2 University of Georgia
现有LLM智能体将用户交互历史存入记忆模块以提升决策，但这引入了新的隐私风险，而已有研究对此关注不足。本文提出黑盒场景下的记忆提取攻击MEXTRA，通过"定位-对齐"提示模板引导智能体泄露记忆中的历史用户查询，并基于攻击者对智能体的不同了解程度实现自动化攻击提示生成。实验表明，医疗和网购两类代表性智能体的记忆均存在严重泄露风险，且记忆模块配置、攻击次数与知识水平会显著影响泄露程度。
Huawei Noah’s Ark Lab
现有方法中，LLM-based导航将全局地图转为语言描述会丢失几何信息，而VLM-based纯第一人称视角又缺乏全局上下文导致探索冗余。本文提出Mem2Ego框架，通过全局记忆模块自适应检索任务相关线索并映射到自我中心视觉观察，动态对齐全局上下文与局部感知以提升长程空间推理。实验表明，该方法在ObjectNav任务上超越现有SOTA，且经本文数据方案微调的Llama3.2-11B表现优于GPT-4o。
OPPO AI Center, 2Guangdong University of Technology, University of Illinois at Urbana-Champaign, 4Beihang University, 5Tsinghua University
本文指出仅提升大模型基座能力无法自动带来优质用户体验，提出“终身个性化”任务，强调智能体必须持续捕捉并适应用户动态演变的画像。为此，作者提出 AI PERSONA 框架：将用户画像定义为可学习的字段-值字典，在推理时动态拼入提示，并通过大模型驱动的优化器在人机交互中不断更新画像；该方法无需训练主干模型，仅需轻量级配置文件即可扩展到海量用户。在自建的 PERSONABENCH 基准上，实验表明该框架能随时间有效学习并适应用户画像。
Shanghai Artificial Intelligence Laboratory, Dalian University of Technology, Fudan University, Xi’an Jiaotong University, Imperial College London
现有LLM智能体模拟器多针对特定场景且规模有限，难以研究真实社交媒体中的复杂涌现行为。本文提出可扩展至百万级智能体的通用社交媒体模拟器OASIS，基于真实平台构建动态社交网络、推荐系统及多样化动作空间。实验在X与Reddit上复现了信息传播、群体极化和羊群效应，并发现智能体规模扩大会显著增强群体动态与观点多样性及帮助性。
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University, 361005, P.R. China, Nanjing University, University of Rochester
现有视频语言模型受限于上下文长度，难以高效理解长视频，而微调或调用专有模型成本高昂。本文提出 Video-RAG，利用开源工具从视频中提取与视觉对齐的辅助文本（如 OCR、ASR、目标检测），通过检索增强将其与视频帧共同输入任意 LVLM，实现即插即用且无需训练的增强。实验表明，该方法在 Video-MME 等基准上平均提升 2.8%，72B 开源模型配合该框架可在性能上超过 GPT-4o 与 Gemini-1.5-Pro，额外开销仅为单轮检索与约 2K 文本 token。
针对现有AI对话代理记忆机制不透明、用户难以有效复用历史对话上下文的问题，本文提出Memolet这一可交互的“记忆复用”具象化对象，支持用户从长期对话库中提取记忆、在沙盒中自主组织结构化，并通过直接引用与操作来精确控制记忆在生成中的复用方式。基于12名参与者的被试内实验，结果表明该系统能帮助用户回忆记忆、降低多段记忆组织的认知负荷，并提升对生成过程的感知控制力，但也观察到部分用户因信任度较高而跳过记忆验证环节。
Center for Advanced AI, Accenture
现有大语言模型的外部记忆多依赖平面查找表，难以像人脑认知图式那样动态组织长期信息。本文提出MemTree，以动态树结构存储记忆，节点聚合文本嵌入并基于语义相似度自根向叶遍历，实现信息的在线插入与层级摘要更新，插入复杂度O(log N)。实验表明，该方法在多轮对话中持续优于MemoryStream与MemGPT；在单文档和多文档问答中不仅超越现有在线方法，更在深度推理与时序查询上超过RAPTOR和GraphRAG等离线模型。
现有检索增强生成（RAG）通常仅依据初始查询做一次检索，难以回答需要整合多源线索的复杂长文本问题。本文提出 Inner Loop Memory Augmented Tree Retrieval（ILM-TR），在树状检索基础上引入内循环查询机制：模型将检索结果生成中间文本存入短期记忆（STM），并基于 STM 与当前信息迭代构造新查询，直至内容收敛；同时摘要阶段显式提取“惊人事实”以保留关键线索。实验表明，该方法在 150k 至 500k tokens 的 Multi-Needle In A Haystack 和 BABILong 长上下文基准上显著优于传统 RAG，且随长度增加未出现明显性能下降。
针对智能手机上个人记忆数据的管理与利用难题，本文提出构建基于大语言模型的个性化智能体。核心创新在于EMG-RAG框架：采用可编辑记忆图（EMG）三层结构（树形分区与用户记忆图）支持记忆的动态增删改，并引入强化学习代理自适应选择相关记忆，突破固定Top-K检索的局限。在真实业务数据集上，该方案在问答、自动填表和用户服务任务中较最优基线分别提升约10.6%、9.5%和9.7%，且已落地于实际智能手机AI助手产品。
受人类情景记忆启发，本文针对LLM处理超长上下文时计算代价高、信息易失真的问题，提出免微调的EM-LLM框架。该方法通过贝叶斯惊喜与图论边界细化，将token流在线分割为连贯情景事件，并采用基于相似性与时间邻近性的两阶段检索机制读取记忆。实验表明，EM-LLM在LongBench和∞-Bench上持续优于InfLLM与RAG，多数任务超过全上下文模型，并可在1000万token规模完成检索；其事件分割也与人类感知的事件边界呈现显著相关性。
London Institute for Mathematical Sciences, London, UK, University of Oxford, UK
现有LLM智能体依赖完整历史、摘要或向量检索等非结构化记忆，难以支撑复杂推理与长期规划。本文提出AriGraph，让智能体在环境交互中在线构建融合语义知识与情节经验的记忆图，形成可更新的世界模型，并支持检索、规划与决策。实验表明，搭载该记忆的Ariadne智能体在Textworld与NetHack等复杂文本游戏中显著优于全历史、RAG、Reflexion等记忆方案及强RL基线，并在多跳问答任务上取得与专用知识图方法相当的性能。
针对现有大模型角色扮演依赖内置记忆、易产生幻觉且风格受基座模型影响的问题，本文提出一种通过提取剧本构建角色记忆库，并结合改进提示与检索增强来精确控制语言模型的角色扮演系统。作者构建覆盖32个中英动漫影视角色的ChatHaruhi-54K数据集，并设计自动化对话生成以扩充小众角色语料。自动与人工评估均表明，该系统在角色一致性与回复质量上显著优于基线，且可适配GPT系列或7B级本地模型。
现有检索增强生成系统多针对静态知识库设计，本文指出对话代理的长期记忆需应对两类独特挑战：基于时间或对话事件元数据的查询，以及依赖上下文的模糊指代。为此，作者基于LoCoMo数据集构建了专门测试时间与歧义问题的基准，并提出融合chain-of-table检索、向量语义搜索及查询分类消歧的混合模型，显著提升了标准RAG在这两类任务上的检索表现。
Amrita School of Artificial Intelligence,Coimbatore
针对大语言模型上下文长度有限、难以处理长期多轮对话的问题，该文提出一种层次化聚合树（HAT）的记忆结构，通过递归聚合子节点文本并在树中保留不同分辨率的信息，由记忆代理根据用户查询执行条件遍历以检索最相关上下文。实验表明，该方法在对话连贯性和摘要质量上优于基线，在无需指数级增加参数的情况下实现了对长对话的有效推理。
Yonsei University, 2Seoul National University
针对终身对话智能体在记忆累积过程中的信息丢失与上下文遗忘问题，本文提出THEANINE框架，其核心洞察在于摒弃传统记忆删除机制，转而通过时间和因果关系将记忆构建为有向图，并基于链路结构检索完整记忆时间线以捕获事件演化与因果关联，从而增强对话生成。实验表明，该方法在自动指标、LLM评估及人工评估中均优于基线，实现了更高的检索质量与上下文感知能力，同时具备成本与时间效率上的帕累托优势。
The Ohio State University, Stanford University
现有RAG因独立编码段落而难以整合跨文档知识。本文受海马体记忆索引理论启发，提出HippoRAG框架：以LLM提取知识图谱模拟新皮层表征，以个性化PageRank模拟海马体索引，实现单步多跳关联检索。实验表明，该方法在多跳问答任务上较现有方法提升最高达20%，单步检索即可媲美迭代式IRCoT，且成本降低10–30倍、速度提升6–13倍，二者结合还可进一步互补增益。
Rutgers University
现有LLM智能体在开放域任务中受限于孤立推理与静态知识库，难以通过社交对话动态共建知识。本文提出INMS交互式记忆共享框架，令多智能体以异步方式生成提示-答案记忆对，经评分器过滤后汇入共享记忆池，并驱动检索器随交互历史持续迭代优化。在诗歌生成、逻辑推理与任务规划三类任务上的实验表明，该机制显著提升了多智能体的集体性能与响应质量。
Department of Electrical and Computer Engineering, Duke University
现有大模型个性化方法多需反向传播更新参数，导致计算内存开销高、实时性差且难以解释。本文提出知识图谱微调（KGT），在部署阶段从用户查询与反馈中提取个性化事实三元组，通过增删知识图谱条目而非修改模型参数来实现实时个性化。该方法基于ELBO目标优化检索与推理概率，在GPT-2、Llama2和Llama3上的实验表明，其在提升个性化效果的同时，可将延迟与GPU内存消耗分别降低84%和77%，兼具可扩展性。
Microsoft Research, Microsoft Strategic Missions and Technologies, Microsoft Office of the CTO
针对传统向量RAG无法处理需要全局理解语料库的主题类问题——这类问题本质是查询聚焦摘要而非显式检索——本文提出GraphRAG。该方法利用LLM构建实体知识图谱，并通过社区检测生成层次化的社区摘要作为全局索引，查询时以map-reduce方式聚合部分回答生成最终答案。在百万token规模数据集上，GraphRAG在全局理解问题的回答全面性与多样性上均显著优于传统RAG基线。
MIT Media Lab
现有可穿戴记忆增强系统在实时社交等场景中往往过于干扰。Memoro 是一款基于音频的可穿戴记忆助手，利用大语言模型理解对话上下文，以极简的输入输出实现实时记忆增强；它支持 Query Mode（语音查询）和 Queryless Mode（主动推断记忆需求并推送提示）。20 人用户研究表明，该系统在保持对话质量的同时显著提升了回忆信心、降低了任务负荷，Query Mode 的可用性评分达 80.0，显著优于基线。
Beihang University, University of the Chinese Academy of Sciences, The Hong Kong Polytechnic University, Institute of Automation, Chinese Academy of Sciences, Shanghai AI Lab
现有开源大模型缺乏细粒度角色扮演优化，且闭源模型存在成本与上下文限制。本文提出RoleLLM框架，通过角色档案构建、Context-Instruct知识提取、RoleGPT风格模仿及RoCIT指令微调，建立首个细粒度角色基准RoleBench（16.8万样本），并训练出RoleLLaMA与RoleGLM。实验表明，微调后的开源模型在风格模仿与角色知识上显著提升，部分结果可比肩基于GPT-4的RoleGPT，且对未见角色仅需描述与口头禅即可快速定制。
针对大语言模型固定上下文窗口限制长文档分析与持续对话的问题，该文借鉴操作系统虚拟内存分页机制，提出虚拟上下文管理技术。MemGPT将上下文视为受限内存资源，通过函数调用让模型在有限上下文窗口与外部存储间自主“换入换出”信息，实现类似操作系统的分层内存管理。实验表明，该系统能在不扩展模型原生上下文的前提下，完成远超窗口限制的大型文档分析，并支持具备长期记忆与人格一致性的多轮对话智能体。
现有LLM智能体在自动化软件开发中普遍存在幻觉问题，而在游戏开发场景中，冗余问题同样突出。本文提出GameGPT多智能体协作框架，通过双层协作机制（LLM与专家小模型协同、执行角色与审查角色互动）以及代码解耦等方法，在规划、任务识别与实现阶段同时抑制幻觉与冗余。实验表明，该框架在游戏开发全流程中具备有效的决策与纠错能力。
针对生成式智能体因频繁调用LLM导致成本高昂、难以实时交互的问题，本文提出Lyfe Agents，采用脑启发的资源理性设计：以分层选项-动作框架减少LLM决策开销，引入异步自我监控维持目标相关的事件摘要以保障行为一致性，并设计Summarize-and-Forget记忆机制实现聚类、去冗余与低成本存取。在LyfeGame 3D环境中，智能体能自主协作完成谋杀谜案等复杂社交推理，计算成本较现有方案降低10至100倍，实现了低成本实时人机社交交互。
University of Pennsylvania, University of Maryland, Baltimore County
针对龙与地下城（D&D）中地下城主（DM）需同时消化大量规则信息、实时生成场景并维持叙事一致性而导致的认知过载问题，本文提出CALYPSO系统，利用大语言模型以零样本提示将游戏上下文蒸馏为简洁叙述与创意灵感，使LLM成为同步的“co-DM”助手而非替代者。在71名玩家参与的长程研究中，基于抽象理解的提示显著优于直接摘要，更能帮助DM把握怪物行为与场景互动，并生成可直接展示的高保真文本，但模型仍存在事实幻觉风险。
针对现有LLM多智能体系统因级联幻觉难以完成复杂任务的问题，MetaGPT将人类标准操作流程编码为提示序列，采用流水线范式为智能体分配产品经理、架构师等专业化角色，并要求生成结构化中间产物（如PRD、接口定义）以维持协作一致性；同时引入可执行反馈机制在运行时自动调试代码。实验表明，该方法在HumanEval和MBPP上取得SOTA（Pass@1达85.9%与87.7%），在复杂软件工程任务中实现了100%任务完成率。
School of Computer Science and Technology, University of Science and Technology of China, Hefei, China, Microsoft Research Asia, Beijing China
针对传统推荐系统缺乏交互能力而LLM缺乏领域专属商品与行为知识的痛点，本文提出InteRecAgent框架，以LLM为大脑、传统推荐模型为工具，通过共享候选总线、长短期用户画像记忆、先计划后执行的工作流与反思机制实现交互式推荐。实验表明，该框架在多个公开数据集上优于通用LLM，并在世界知识覆盖不足的领域优势更明显；此外，通过模仿GPT-4交互微调LLaMA 2得到的7B参数RecLlama也可胜任推荐智能体核心。
University of Warwick, 2Tecent YouTu Lab, 3King’s College London
针对长程开放域对话中跨话题一致性难以维持、外部记忆模块检索累积误差高的问题，本文提出 MemoChat，通过“记忆-检索-响应”循环让 LLM 自主撰写并调用结构化 memo，无需外部检索器；并设计三阶段指令微调流水线使开源模型掌握该能力。实验在专家标注的长程一致性评测集上表明，该方法在开源与 API 模型上均显著优于强基线。
athe Department of Computer Science and Engineering, Hong Kong University of Science and, bthe institute of information engineering, Chinese Academy of Sciences, Beijing, China, cthe College of Computer, National University of Defense Technology, Changsha, China, dthe University of Sydney, Sydney, Australia
针对大语言模型在长程对话中遗忘历史信息、导致回复不一致的问题，该文提出一种递归摘要记忆机制：由模型自身逐段总结对话并递归融合旧记忆与新上下文，实时更新紧凑的记忆表征以辅助回复生成。实验表明，该方法在多个开源及闭源模型上均提升了长程对话的一致性，且能与长上下文窗口及检索增强方法正交互补，仅需极少示例即可生效。
Zhejiang University, University of Washington, Microsoft Research Asia, Hong Kong University of Science and Technology (GZ), Donghua University
现有视觉-语言大模型难以处理长视频，主要受限于计算复杂度、显存开销和长期时序关联。本文提出 MovieChat，借鉴 Atkinson-Shiffrin 记忆模型，将 Transformer token 作为记忆载体，通过滑动窗口构建固定长度的短期记忆，并在饱和时以相似度合并方式将早期 token 压缩至紧凑的长期记忆，实现从稠密 token 到稀疏记忆的转换。该方法在 24GB 显存下可处理超万帧视频，显存增量仅为其他方法的万分之一，并发布 MovieChat-1K 基准取得领先性能。
Department of Electronic Engineering, Tsinghua University
传统社会仿真长期依赖手工规则或宏观方程，难以捕捉真实社交网络中个体的感知与行为决策。该文提出基于LLM Agent的社交网络仿真系统S3，利用提示工程与微调为Agent赋予人口统计学特征，使其在真实网络环境中模拟个体的情感、态度及交互行为（发帖、转发等），并涌现群体层面的信息、态度与情感传播。基于性别歧视与核能议题的真实数据评估表明，该系统在个体行为与群体演化两个层面均取得了可观的仿真精度。
University of Wisconsin-Madison
针对开放域对话机器人微调大语言模型存在计算成本高、数据稀缺且易损失预训练通用知识的问题，本文提出MPC（Modular Prompted Chatbot），将预训练LLM通过提示工程拆分为澄清器、记忆处理器、话语生成器等独立模块，结合少样本提示、思维链推理与外部记忆机制，在无需微调的情况下实现长期对话一致性。人工评估表明，该方法在开放域对话中的质量与BlenderBot等微调模型相当甚至更优，为构建灵活且一致的聊天机器人提供了高效方案。
受限于Transformer固定上下文，现有LLM难以生成小说等长文本。RecurrentGPT将LSTM的循环机制转化为自然语言实现：通过prompt engineering驱动ChatGPT等模型，以硬盘存储的长期记忆（可语义检索）和prompt内的短期记忆迭代生成段落，无需修改模型架构即可突破长度限制。人类可直接查看、编辑记忆与写作计划，实现高可控的交互式长文本生成。实验表明其能生成长达数千token且保持连贯的文本，并展现出作为交互式写作助手与AI原生内容（AIAC）的应用潜力。
Sun Yat-Sen University 2 Harbin Institute of Technology, KTH Royal Institute of Technology
针对大语言模型缺乏长期记忆、难以在持续交互中维持上下文与理解用户的问题，本文提出MemoryBank记忆机制，通过存储对话记录、事件摘要与用户画像，并结合艾宾浩斯遗忘曲线实现随时间衰减与强化的动态记忆更新。研究基于该机制构建了AI陪伴机器人SiliconFriend，实验表明其能够有效回忆历史信息、理解用户个性并提供共情回应，验证了长期记忆模块对提升LLM持续交互能力的有效性。
Center for Information and Language Processing, LMU Munich, Germany, Munich Center for Machine Learning, Germany, Microsoft, Berlin, Germany
现有大语言模型缺乏显式读写记忆单元，难以像理想记忆那样存储、更新与检索知识。为此，本文提出RET-LLM框架，以三元组形式从文本中提取事实存入外部记忆模块，并通过微调Alpaca模型实现信息提取、记忆查询与事实回答的协同。该记忆支持可扩展的精确与模糊检索（LSH哈希）以及跨文档聚合。定性实验表明，RET-LLM能够在无需重复输入上下文的情况下正确回答知识密集型问题，并具备处理时序事实的能力。
为弥补大语言模型仅在单点模拟人类行为的局限，本文提出生成式智能体架构，通过记忆流、反思与规划三个模块，使智能体能够动态存储、检索经验并生成长期一致的行为。研究在类《模拟人生》的沙盒环境中部署25个智能体，仅从一个举办情人节派对的初始意图出发，智能体便自主传播邀请、建立关系并协调出席，展现出可信的个体行为与涌现的群体社交动态；消融实验进一步验证了各模块对行为可信度的关键贡献。
Research Center for Social Computing and Information Retrieval, Harbin Institute of Technology, China
针对通用大语言模型在中文医学领域知识不足、现有对话检索方法易引入错误的问题，本文提出基于LLaMA-7B的HuaTuo模型。该研究利用中国医学知识图谱CMeKG中的结构化和非结构化医学知识，自动生成超过8000条指令数据进行监督微调，以确保医学事实的准确性，并提出了面向生物医学领域的SUS评估指标。实验表明，HuaTuo能够生成具备更可靠医学知识的中文回答。
State Key Lab of Software Development Environment, Beihang University, Beijing, China, Harbin Institute of Technology, Harbin, China, ByteDance AI Lab, Beijing, China
针对大语言模型受限于上下文长度而在长文本中遗忘关键历史信息的问题，本文提出自控制记忆框架SCM。该框架通过记忆流存储历史交互，并由记忆控制器自动决策何时激活记忆、如何检索相关片段及使用原文或摘要，无需修改或微调即可即插即用地处理超长文本。在长期对话、书籍摘要与会议摘要任务上，面对2万至200万token的输入，SCM显著提升了检索召回率与生成内容的连贯性和信息覆盖度，其基于text-davinci-003的系统表现优于ChatGPT及多个强基线。
Samsung R&D Institute UK, Technical University of Munich, Helmholtz Munich, MCML
现有记忆增强系统多依赖云端大模型，难以在端侧本地部署且缺乏原生视觉理解能力。本文提出MemLoRA，通过知识蒸馏为小型语言模型训练专门化的LoRA专家适配器，分别负责知识提取、记忆更新与记忆增强生成，实现无需云服务的端侧记忆操作；其视觉扩展MemLoRA-V进一步将小型视觉语言模型接入记忆流程，以专用视觉适配器直接处理图像推理。实验表明，MemLoRA在LoCoMo上超过10倍规模大模型、逼近60倍模型性能；MemLoRA-V在多模态VQA上达81.3%准确率，远超基于标题的23.7%。
该工作针对大模型将世界知识全部压缩进参数导致的边缘设备部署低效问题，提出用小型锚点模型承载通用推理与常识，再通过层级化参数记忆库存储长尾知识。预训练与推理时仅按上下文调取约10%的记忆参数拼接到锚点模型，既降低内存占用又减少分布式训练中的梯度通信。实验表明，160M参数模型搭配从4.6B记忆库中检索的18M记忆，即可达到常规2倍以上参数模型的性能，在元素原子序数等长尾知识任务上提升尤为显著，且分层前馈记忆可扩展至21B参数并适用于多种Transformer架构的预训练或事后增强。
LUMIA Lab, School of Artificial Intelligence, Shanghai Jiao Tong University, Shanghai AI Laboratory, Tsinghua University, SJTU Paris Elite Institute of Technology
现有领域自适应面临两难：DAPT需全参数训练且易灾难性遗忘，RAG则带来显著推理延迟。本文提出Memory Decoder，以小型Transformer解码器通过分布对齐预训练模拟非参数检索器行为，训练完成后可与同分词器的任意预训练语言模型即插即用，无需修改原模型参数。实验表明，该方法在生物医学、金融和法律领域平均降低困惑度6.17点，且单个0.5B参数的记忆模块即可在Qwen2.5系列多款模型上一致提升性能。
LUMIA Lab, School of Artificial Intelligence, Shanghai Jiao Tong University, Shanghai AI Laboratory, Department of Electronic Engineering, Tsinghua University, SJTU Paris Elite Institute of Technology
针对大语言模型知识利用中RAG推理延迟高、参数化微调易灾难性遗忘的两难困境，本文提出MLP Memory模块，通过预训练一个轻量级MLP来内化kNN检索器的检索模式，将非参数化检索知识转化为可微分的参数化记忆。该模块在推理时与基座模型进行概率插值，无需显式检索即可访问知识。实验表明，该方法在WikiText-103和Web数据上分别带来17.5%与24.1%的扩展增益，在五个问答基准上提升12.3%，并在九个通用NLP任务上获得5.2分的绝对提升，同时将推理速度提升至RAG的2.5倍并有效降低幻觉。
针对大语言模型难以在快速更新小规模经验的同时兼顾准确记忆与长期保持的问题，本文提出无需额外参数的SELF-PARAM方法。其核心是通过生成与上下文相关的多样化问答对，最小化目标模型（无上下文）与原始模型（有上下文）预测分布间的KL散度，从而将知识直接内化到模型参数中。实验表明，该方法在单条、批量及顺序上下文注入和对话推荐任务上均显著优于现有基线，实现了接近最优的即时准确性与长期保持性。
University of Science and Technology of China, 2National University of Singapore
现有"定位-编辑"范式在更新目标知识时，难以避免扰动破坏模型内部保留的原始知识，序列编辑累积后甚至引发模型崩溃。AlphaEdit的核心洞察是将参数扰动投影到保留知识的零空间，使模型在专注知识更新的同时，理论上保证对原有知识的输出完全不变，从而消解更新与保留的权衡。实验表明，仅需在MEMIT等主流方法中增加一行投影代码，即可在LLaMA3、GPT-2 XL等模型上平均提升36.7%的编辑性能，并显著抑制连续编辑中的模型遗忘与分布漂移。
University of Science and Technology of China, Beijing University of Posts and Telecommunications
针对终身模型编辑中既有方法对输入改写鲁棒性差的问题，本文提出ELDER，以Mixture-of-LoRA替代离散键值映射，通过路由器网络动态加权多个LoRA，建立数据与适配器的连续关联，并设计引导损失将LoRA分配与编辑知识语义对齐，同时以deferral机制保留原始模型通用能力。实验表明，ELDER在GPT-2 XL与LLaMA2-7B上的终身编辑场景中优于八个基线，编辑泛化提升逾10%，且具备良好的可扩展性与任务保持能力。
Zhejiang University, Alibaba Group, Zhejiang Key Laboratory of Big Data Intelligent Computing
现有大模型终身知识编辑方法长期面临可靠性、泛化性与局部性难以兼得的困境：直接修改参数易与预训练知识冲突，而检索式工作记忆又难以支撑有效泛化。本文提出WISE，通过主记忆保留预训练知识、侧记忆存储编辑知识，并训练路由器进行查询分流；针对持续编辑，进一步设计知识分片与合并机制，使不同编辑集共存于无冲突的子空间。实验表明，该方法在GPT、LLaMA和Mistral等模型上的问答、幻觉修正及分布外场景中均突破了上述“不可能三角”。
Yonsei University, Stanford University, University of Oxford, Harvard University & Thomson Reuters
针对大语言模型知识快速过时及在线微调成本高、易遗忘等问题，本文提出MAC框架，利用摊销式元学习将新文档压缩为紧凑的调制参数存入记忆库，测试时依据问题聚合相关调制来适配冻结的语言模型，无需梯度更新。实验表明，MAC在StreamingQA和SQuAD-Seq等任务的在线适配性能、知识保持及效率上均优于基线，并能与RAG结合进一步提升检索质量。
现有大模型知识编辑方法多关注新知识是否成功记忆，却忽视了对邻近知识的扰动。本文聚焦向事实问题答案列表追加新知识时，原始正确答案被遗忘及错误答案被混入的邻域扰动问题，提出additivity指标与PEAK基准，并设计即插即用框架APP，通过约束正确与错误答案的概率变化来保持答案列表完整性。实验表明，主流编辑方法虽能注入新知，但会严重破坏邻近知识分布；而APP在四种方法与四个模型上均有效缓解了扰动，不过距离理想水平仍有显著差距。
The CoAI Group, DCST, Tsinghua University, Dept. of Computer SCi. & Tech., Tsinghua University, Renmin University of China, Knowledge Engineering Group, DCST, Tsinghua University
针对现有角色对话系统在跨场景泛化与多轮演进适应性上的不足，本文将立体社交角色解构为内在画像与外在行为两个维度，通过人工角色扮演、原型交互、文学提取与LLM合成四种途径构建了覆盖23类共1930个角色的大规模中文语料，并以“一对多”策略丰富同一角色的行为刻画；进而训练出6B至66B的CharacterGLM模型家族，结合自精炼与直接偏好优化提升社交行为表现力。交互实验表明，该模型在自由定制角色的多轮对话中优于多数开源及闭源大模型，与GPT-4表现相当，且长轮次优势更为明显。
School of Computer Science, Fudan University, Shanghai Key Laboratory of Intelligent Information Processing, Fudan University, Shanghai AI Laboratory
现有大语言模型通过提示模拟人类行为难以刻画特定人物的深层经历与情感。本文提出Character-LLM，通过“经验重建”将人物档案转化为结构化场景记忆，并以监督微调将经验注入模型，同时设计“保护性经验”抑制角色外的知识幻觉。实验表明，该可训练代理能较可靠地记住角色经历并保持人格一致性，但受限于经验数据的覆盖范围。
针对大模型部署后难以用单条样本快速修正错误且不影响无关输出的难题，本文提出MEND，通过低秩分解将微调梯度映射为轻量级辅助网络的输入，学习对梯度进行转换以实现局部参数更新，避免了直接在高维梯度空间建模的不可行性。实验表明，该方法可在单GPU上于一天内完成百亿参数级别编辑器的训练，并是唯一能有效编辑超100亿参数T5、GPT等模型行为的方案，兼顾可靠性、局部性与泛化性。
University of Amsterdam, 2University of Edinburgh
预训练语言模型参数中存储的事实知识可能错误或过时，但重新训练成本极高。本文提出KnowledgeEditor，通过训练一个超网络在约束优化下预测目标模型的权重更新，实现对单条事实的精准编辑，同时不影响其余知识。该方法无需修改原始预训练流程，并可利用同义改写进一步提升一致性。实验表明，在BERT和BART的事实核查与问答任务中，该方法能够有效、可靠地修改模型记忆，且参数更新往往仅集中在少量组件上。
Fudan University, Shanghai, China, Microsoft, Beijing, China, Microsoft, Redmond WA, USA
针对向预训练模型注入多类知识时易引发灾难性遗忘、且知识效果难以解耦的问题，本文提出K-Adapter框架。该方案冻结RoBERTa原始参数，通过外挂轻量神经适配器分别注入事实与语言学知识，各适配器可独立训练与灵活组合。实验表明，在关系分类、实体类型和问答等知识驱动任务中，单类适配器即可提升性能，两者结合后在五个数据集上达到最佳效果，并显著优于直接微调RoBERTa的基线。
针对终身学习中序列任务的高效习得与知识共享问题，本文提出ELLA算法。其核心是维护一组稀疏共享的潜在模型分量作为所有任务模型的基，通过该基向新任务迁移知识，并在学习新任务时在线精炼基以实现反向迁移、提升旧任务性能。该框架兼具计算高效性与理论收敛保证。实验表明，ELLA在三个数据集上取得了与批量多任务学习相当的精度，同时将学习时间缩短超过三个数量级，且优于现有在线多任务学习方法。
针对语言模型参数不可识别、预测不确定性难以可靠估计的问题，本文提出以SDM激活函数替代softmax。该函数借助exemplar adaptor将认知不确定性解耦为与训练集的正确匹配深度、与训练分布的距离及决策边界幅度三类信号，并基于类条件经验CDF划分构建SDM估计器以支持选择性分类。实验表明，在预训练语言模型上，SDM估计器对协变量偏移和分布外输入的鲁棒性优于现有后验校准方法，同时在分布内数据上保持信息量。
针对现有视觉语言模型在多模态知识检索增强中因拼接离散token导致上下文爆炸甚至性能下降的问题，本文提出连续记忆CoMEM，其核心洞察是VLM自身即可作为连续记忆编码器。通过仅微调1.2%参数（LoRA与Q-Former）和15.6K自合成样本，将多模态与多语言知识压缩至8个稠密embedding，实现即插即用。在8个多模态推理基准上，该方法对Qwen2及Qwen2.5系列模型分别带来约8%与7.7%的平均性能提升，多语言任务亦有显著增益。
现有潜空间记忆方法MemoryLLM虽将历史信息压缩为隐藏状态以扩展上下文窗口，但在超过20k tokens后难以保持远距离信息。为此，本文提出M+，在MemoryLLM基础上引入长期记忆机制与协同训练的检索器，在生成时从CPU存储的记忆中动态检索相关潜状态，且每层仅需单次检索即可服务所有query head，显著降低延迟。实验表明，M+在多项长上下文与知识保持基准上显著优于基线，将有效记忆长度从不足20k扩展至160k以上，且未增加GPU内存开销。
Mila - Quebec AI Institute
现有大模型记忆方案需在显式外部存储（管理复杂、开销大）与隐式参数存储（检索不可靠）间权衡。本文提出R3Mem，通过可逆上下文压缩将二者统一：利用虚拟记忆令牌编码无限长历史，并采用文档到实体级的层次化压缩策略；其核心在于可逆架构，允许反向调用模型从压缩表示中重建原始数据，实现类似"压缩/解压"的可靠检索。该模块基于适配器微调，可即插即用。实验表明，R3Mem在长上下文语言建模、检索增强生成及长程对话交互任务上均取得领先性能。
Center for Machine Learning Research, Peking University
受人类记忆层次结构启发，本文指出大语言模型训练和推理的高成本源于知识仅能以内置参数或纯文本形式存储，因而提出“显式记忆”作为第三种记忆格式：将文本预先编码为稀疏的注意力键值对并外置存储，推理时通过检索将其整合到自注意力层中，从而将具体知识外置、缩小模型参数规模并降低计算开销。作者从头训练了2.4B参数的Memory3模型，在多项基准上取得了优于更大规模模型及RAG方法的性能，同时保持了更高的解码速度，并配套提出了记忆电路理论、记忆稀疏化机制与两阶段预训练方案。
针对合作多智能体强化学习训练慢、易陷局部最优的问题，本文提出EMU框架。其核心创新在于以可训练的确定性条件自编码器替代随机投影，生成语义一致的记忆嵌入，使智能体能在记忆空间中高效召回邻近高价值状态；同时设计情景激励机制，依据状态理想性给予额外奖励以修正TD目标，避免局部收敛。在StarCraft II和Google Research Football上的实验表明，EMU性能优于现有最先进方法。
针对现有外部记忆机制优先保留新信息而导致旧记忆被不可避免稀释的“宿命性遗忘”问题，本文受人类多存储记忆模型与神经科学理论启发，提出Memoria框架。该框架通过工作记忆、短期记忆与容量动态的长期记忆三层结构，结合基于检索贡献的寿命衰减机制与Hebbian关联图检索，实现重要信息的长期选择性保留与线索激活。实验表明，Memoria在排序、语言建模和分类任务上均优于传统方法，且其记忆痕迹呈现出与人类一致的首因、近因和时间邻近效应。
Department of Epidemiology, Harvard University
针对深度神经网络难以解释且难以局部修正的问题，本文提出将预训练深度网络与轻量单层CNN及线性层组合，通过分解滤波器与n-gram的交互，在仅使用文档级标签的条件下实现token级二元序列标注（zero-shot场景），同时支持全监督设置。该方法生成的密集表示可用于匹配训练样本，构建K-近邻模型来近似甚至替代原网络预测，从而将黑盒模型转化为基于样例的可解释、可局部更新（无需重训练）的系统。实验表明，该方法在语法错误检测和情感分析任务上均取得了有效的token级检测性能，并能通过匹配距离提供预测可靠性的可解释启发式规则。
MemRL针对现有智能体微调易遗忘、RAG被动检索噪声多的问题，提出了一种在冻结主干模型下通过情景记忆实现运行时持续学习的非参数化框架。其核心是将稳定推理与可塑记忆解耦，把记忆组织为“意图-经验-效用”三元组，通过两阶段检索（先语义召回再基于Q值的价值感知选择）和蒙特卡洛式效用更新，将记忆检索从被动匹配转变为主动决策。在HLE、BigCodeBench、ALFWorld和Lifelong Agent Bench上的实验表明，该方法显著优于现有基线，在不更新模型权重的情况下实现了持续自我进化。
现有智能体记忆系统多为静态人工架构，能积累经验却无法针对任务语境自适应调整记忆范式。本文提出 MemEvolve，通过内外双层循环联合优化智能体的经验知识与记忆架构本身，并将记忆系统解耦为编码、存储、检索、管理四个可进化模块。基于统一复现的 12 种记忆系统（EvolveLab），实验显示 MemEvolve 在四项复杂基准上将 SmolAgent 等框架最高提升 17.06%，且进化后的架构具备跨任务与跨模型的强泛化性。
AGI Institute, School of Computer Science, Shanghai Jiao Tong University, Tongyi Lab, Alibaba Group, Key Laboratory of Shanghai Education Commission for Intelligent Interaction, and Cognitive Engineering, Shanghai Jiao Tong University
针对现有智能体记忆框架"被动积累"导致记忆池退化的痛点，本文提出ReMe动态程序记忆框架，通过多面蒸馏提取细粒度经验、上下文自适应重用实现任务适配、基于效用值的精炼机制动态增删记忆，形成经验驱动演化的闭环。在BFCL-V3与AppWorld上的实验表明ReMe达到SOTA，且Qwen3-8B配备ReMe后显著超越无记忆的Qwen3-14B，验证了高质量自进化记忆可替代模型规模，为终身学习提供计算高效的实现路径。
现有智能体记忆系统常将记忆视为外部检索层，混淆证据与推理，难以跨会话保持信息组织与偏好一致。本文提出HINDSIGHT架构，将记忆划分为世界事实、经验、实体摘要与演化信念四个网络，通过retain、recall、reflect三种操作，由TEMPR时序实体图与CARA性格参数化反思实现，转化为可结构化查询且支持偏好推理的记忆库。在LongMemEval与LoCoMo上，20B模型准确率从39%提升至83.6%，超过GPT-4o；扩展基座后达91.4%与89.61%，显著优于现有记忆架构。
Stanford University
现有上下文自适应方法存在简洁性偏差与上下文崩溃问题，迭代优化常丢失领域细节。本文提出ACE框架，将上下文视为持续演化的策略手册，通过生成、反思与策展的模块化流程，以结构化增量更新保留详细知识，而非压缩为简短摘要。该方法无需标注监督，仅靠执行反馈即可实现离线与在线上下文优化。实验表明，ACE在AppWorld等智能体任务上平均提升10.6%，在金融领域提升8.6%，并以更小的开源模型超越排行榜上的顶尖生产级智能体，同时显著降低适配延迟与成本。
Institute for AI Industry Research (AIR), Tsinghua University, ByteDance Seed, Shanghai Artificial Intelligence Laboratory, University of Chinese Academy of Sciences, School of Informatics, Xiamen University
针对大模型智能体训练后参数冻结、无法持续从部署经验中进化的问题，本文提出无梯度前向学习范式FLEX，将学习从修改参数转向构建可进化经验库：智能体通过前向交互广泛探索，持续反思成败以积累结构化经验，并据此指导后续推理。该经验库具备跨任务通用、持续扩展和可继承特性。实验显示，FLEX在AIME25、USPTO50k和ProteinGym等任务上分别带来最高23%、10%和14%的性能提升，并揭示了经验规模的scaling law与跨智能体经验继承现象。
针对 LLM 智能体强化学习面临的真实交互成本高昂、任务稀缺、奖励不稳定及基础设施复杂等瓶颈，本文提出 DreamGym 框架，其核心洞察是智能体训练无需完美复刻真实环境，而是需要因果合理且信息丰富的合成交互数据。DreamGym 通过基于推理的经验模型在离散文本空间中生成状态转移与奖励，并结合经验回放缓冲区与自适应课程任务生成，实现可扩展的在线 RL 训练。实验表明，该框架在 WebArena 上较基线提升逾 30%，在昂贵环境中以纯合成交互匹配 GRPO 与 PPO，且其 sim-to-real 策略在削减 90% 以上真实交互的同时，较真实环境从零训练提升逾 40%。
ZJU-UIUC Institute, Nanjing University, Peking University
现有计算机使用代理大多受限于浅层操作系统集成、脆弱的纯截图交互及打断用户的执行方式。本文提出Windows AgentOS——UFO2，以HostAgent协调各类AppAgent，深度集成原生API与领域知识构建统一的GUI-API混合动作层，融合Windows UI Automation与视觉解析提升控件检测鲁棒性，并以推测性多动作规划降低大模型推理开销，配合画中画虚拟桌面实现无干扰并行。在20余个真实Windows应用上的评估表明，该系统在鲁棒性与执行准确率上显著优于现有代理。
Department of Artificial Intelligence, Yonsei University
针对主动对话中现有策略规划覆盖不足、存在偏好偏差且依赖额外训练的问题，本文提出PRINCIPLES——一种通过离线自对弈模拟从成败经验中提炼的合成策略记忆。它以“情境-应做策略-而非失败策略-原因”的结构显式对比有效与无效策略，无需额外训练即可在推理时指导策略选择。在情感支持与说服对话任务上的实验表明，该方法相比强基线取得一致提升，且在更具挑战性的扩展场景中保持鲁棒性。
针对LLM智能体在专用领域性能下降且现有GRPO等强化学习方法依赖昂贵参数更新的问题，本文提出Training-Free GRPO。该方法冻结模型参数，保留多轮组内相对评估机制，但将数值优势替换为语义优势，通过大模型自我反思迭代蒸馏外部经验知识作为token先验，在推理时嵌入API调用以引导行为。实验表明，仅需数十条样本，该方法即可在数学推理与网页搜索任务上显著提升DeepSeek-V3.1-Terminus的域外性能，并以更低成本超越微调后的32B模型。
Carnegie Mellon University, University of Rochester
现有AI智能体通常依赖人工预设的固定工具，难以在功能相近的多个神经网络工具中精准抉择。本文提出TOOLMEM框架，通过基于熟练度等级的结构化记忆初始化、反馈驱动的经验总结以及RAG动态更新，使智能体能够持续积累对各类工具优劣的细粒度认知。在文本生成与文生图基准上的实验表明，该机制将工具性能预测准确率提升14.8%至28.7%，最优工具选择的准确率绝对提升21%至24%。
Sun Yat-sen University
现有工作将经验存储为粗粒度整体单元，导致知识迁移时引入无关子目标、干扰新任务推理。本文提出分层记忆架构，以分层事后反思（H2R）机制将历史交互蒸馏为解耦的高层规划记忆与低层执行记忆；测试时按层级分别检索，实现精准复用。在AlfWorld与PDDLGame上的实验表明，该方法提升了多任务泛化与决策性能，优于ExpeL等基线。
现有Web Agent多依赖外部工具将动态网页转为静态文本，限制了交互深度并增加成本。本文提出BrowserAgent，通过Playwright直接基于原始网页执行点击、滚动、输入等类人原子操作，并引入显式记忆机制辅助长程推理，配合Ray并行化数据收集与SFT-RFT两阶段训练。仅用5.3K样本，BrowserAgent-7B即在HotpotQA等多跳QA任务上较Search-R1提升约20%，展现了浏览器原生交互的可扩展性与效果。
现有面向工作流自动化的多智能体大模型系统大多无状态运行，难以复用历史任务经验。本文提出LEGOMem，一种模块化程序性记忆框架，将过往执行轨迹拆解为任务级与原子子任务级记忆单元，并按角色动态分配给编排器与任务智能体，以检索增强方式支持规划与执行。在OfficeBench上的实验表明，编排器记忆对任务分解与委派至关重要，细粒度子任务记忆显著提升执行精度，且小规模模型团队借助该记忆可大幅缩小与强模型的性能差距。
现有自进化智能体多局限于提示词调优或失败重试，难以将通用智能体真正转变为领域专家。ALITA-G 提出任务驱动的端到端自适应进化范式：让通用智能体在目标领域多次执行，从成功轨迹中合成并抽象出可复用的 Model Context Protocol（MCP）原语，构建领域专用的 MCP Box；推理时通过检索增强动态配备最相关的 MCP。在 GAIA 等基准上，该方法在取得新 SOTA（83.03% pass@1、89.09% pass@3）的同时，将每例平均 token 消耗降低约 15%。
University of Illinois Urbana-Champaign, 2Google Cloud AI Research, 3Yale University, 4Google Cloud AI
针对LLM智能体在长期任务流中无法从累积交互历史学习、重复犯错的问题，本文提出ReasoningBank记忆框架，以自我判断从成败经验中蒸馏可泛化的高层推理策略，替代存储原始轨迹。进而提出记忆感知测试时缩放（MaTTS），通过对单任务深度探索生成对比信号，与记忆库形成正反馈循环。在WebArena、Mind2Web和SWE-Bench-Verified上的实验表明，该方法有效性相对提升可达20%，并减少最多16%的交互步数，MaTTS进一步放大这些收益。
AI Centre, UCL, 2Huawei Noah’s Ark Lab, UK, 3Jilin University, 4Institute of Automation, CAS
现有LLM智能体常陷入固定工作流僵化或模型微调成本高昂的困境。本文提出Memento框架，在不更新底层LLM参数的前提下，通过基于案例的推理与记忆增强型马尔可夫决策过程，将历史轨迹作为情节记忆存入案例库，并借助神经案例选择策略与环境反馈驱动的记忆重写机制实现策略持续改进。该框架在GAIA验证集和测试集上均取得第一（Pass@3达87.88%与79.40%），在DeepResearcher上以66.6%的F1和80.4%的PM超过现有最优训练方法，且案例记忆在分布外任务上带来4.7%至9.6%的绝对增益。
♠Zhejiang University ♡Alibaba Group, ♣State Key Lab. for Novel Software Technology, Nanjing University, P.R. China
现有LLM智能体的程序性记忆多依赖人工设计或静态参数，难以持续演化。本文提出Memp框架，将程序性记忆的构建、检索与更新作为核心优化对象，通过从过往轨迹中蒸馏细粒度步骤与高层脚本抽象，并引入动态增删与反思等更新机制，使记忆库随经验持续精化。在TravelPlanner与ALFWorld上的实验表明，该记忆机制不仅能逐步提升同类任务的成功率与执行效率，还可由强模型向弱模型迁移并带来显著增益。
Shanghai Jiao Tong University, Shanghai Artificial Intelligence Laboratory, The Chinese University of Hong Kong
现有计算机使用智能体高度依赖人工标注数据，难以泛化至缺乏标注的新颖专业软件。本文提出SEAgent自进化框架，通过World State Model实现步骤级轨迹评估与奖励，并配合课程生成器自动编排由简到难的任务，使智能体仅通过与环境交互和试错即可自主掌握陌生软件；进而提出specialist-to-generalist策略，将多位专家的经验整合为更强的通才。在OSWorld五个新软件环境中的实验显示，该方法将UI-TARS的成功率从11.3%提升至34.5%，且通才模型优于单独的专家强化学习。
Yale University, OOPPO, UW-Madison, UNC Chapel Hill, +Stanford University, Bytedance, Nanjing University, «All Hands AI, /DeepWisdom, qMicrosoft Research, Google DeepMind
现有AI agent框架彼此孤立，导致不同系统重复犯相同错误且无法复用解题经验。本文提出AGENT KB，首个即插即用的跨框架共享知识库，通过框架无关的抽象将异构轨迹转化为结构化经验单元，并设计两阶段混合检索与disagreement gate机制，在注入跨领域工作流和诊断反馈的同时避免知识干扰。实验覆盖smolagents、OpenHands等四个框架，在GAIA、SWE-bench等基准上取得一致提升，其中smolagents的pass@3提升18.7个百分点，OpenHands在SWE-bench上提升4.0个百分点，且自动蒸馏的经验与人工整理效果相当。
现有LLM Agent在多轮动态工具调用中缺乏对工具短期记忆的有效管理，已有方法仅聚焦对话消息压缩而忽略工具增删。本文提出MemTool框架，设计全自主、确定式工作流与混合三种架构动态管理上下文中的工具/MCP服务器。在ScaleMCP基准100+轮评测中，推理模型在自主模式下工具移除效率达90–94%，工作流与混合模式则在所有模型上保持稳定的工具清理能力；自主与混合模式任务完成率最优，论文据此给出不同场景下的模式选择建议。
现有AI系统多受限于固定架构，难以自主持续进化。本文提出Darwin Gödel Machine，以实证评估取代形式化证明，使智能体迭代改写自身代码实现自我改进。受达尔文进化与开放端探索启发，系统维护多样化智能体档案库，在自我修改与编码基准评测的交替循环中并行探索。实验表明，DGM在SWE-bench上从20.0%提升至50.0%，在Polyglot上从14.2%提升至30.7%，开放端探索与自我改进均为增益关键，但文中未充分说明提升是否主要源于计算规模扩大。
AI Lab, Princeton University, IIIS, Tsinghua University, Shanghai Jiao Tong University, University of Michigan, Tianqiao and Chrissy Chen Institute
现有通用智能体普遍依赖手工预设的繁杂工具与硬编码工作流，导致任务覆盖不全、组合灵活性差及跨生态兼容困难。本文提出Alita，秉持“极简预定义、极大自进化”理念，仅内置单一Web Agent核心，辅以通用模块自主构建、优化并复用面向任务的模型上下文协议，实现能力的动态扩展而非依赖静态工具集。实验表明，Alita在GAIA验证集上达到75.15%的pass@1与87.27%的pass@3，在通用智能体中名列前茅，并在Mathvista与PathVQA上优于众多复杂度更高的系统。
The Ohio State University, University of Virginia, Purdue University, Carnegie Mellon University
现有Web智能体难以抽象复用程序性知识，传统轨迹记忆方法训练成本高且泛化性差。本文提出SkillWeaver框架，使智能体自主探索网站以发现技能，将实践经验蒸馏为结构化可复用API，并通过自动测试与调试持续打磨，构建轻量可共享的技能库。实验表明，该方法在WebArena和真实网站上分别带来31.8%和39.8%的相对成功率提升；强智能体合成的API迁移至弱智能体后，最高可提升54.3%，展示了通过技能积累而非参数更新实现自我改进的潜力。
Zhejiang University, vivo AI Lab
现有移动GUI智能体面临真实世界应用与界面的长尾多样性挑战，传统预训练或微调难以覆盖海量用户特定任务。本文提出基于少量演示的学习范式，构建首个面向移动GUI智能体演示学习的基准数据集LearnGUI，并设计多智能体框架LearnAct，通过DemoParser提取演示知识、KnowSeeker检索相关知识、ActExecutor融合实时环境信息执行，实现个性化任务适配。实验表明，单条演示即可将Gemini-1.5-Pro离线准确率从19.3%提升至51.7%，并将UI-TARS-7B-SFT在线成功率从18.1%提升至32.8%。
Shandong University, Qingdao, China, Baidu Inc., Beijing, China, Leiden University, Leiden, The Netherlands
现有工具使用基准多依赖人工预标注少量工具，难以反映真实大规模检索场景。本文提出首个异构工具检索基准TOOLRET，涵盖7.6k任务与43k工具；系统评测发现，传统IR模型在此表现骤降（最佳nDCG@10仅33.83），显著拉低LLM Agent的端到端通过率，根源在于查询与工具的术语重叠低且存在任务域偏移。进一步构建200k实例的训练集TOOLRET-train，可大幅提升IR模型检索性能与Agent任务通过率。
现有语言模型每次推理相互独立，无法积累历史经验，导致重复犯错。本文提出Dynamic Cheatsheet（DC），通过为黑盒模型配备可自动策展的外部记忆库，在测试时动态存储和复用策略、代码片段等解题经验，无需微调或人工标注。实验表明，该方法使Claude 3.5在AIME上准确率翻倍，GPT-4o在Game of 24中从10%跃升至99%，在GPQA等知识密集型任务亦有显著提升。不过，小模型因难以生成足够多正确策略，从该框架中获益有限。
Carnegie Mellon University
现有网络智能体面临离线数据采集困难与分布不匹配等问题，本文提出在线自适应的程序化技能诱导框架ASI，核心洞察是将技能表示为可执行程序而非文本，通过实际执行验证其正确性并动态扩充技能库。在WebArena基准上，ASI较静态基线成功率提升23.5%，较文本技能方法提升11.3%，同时减少10.7–15.3%的执行步骤；在长程任务中效率与准确率优势更显著，且能跨网站复用与更新技能。
现有基于LLM的Windows GUI自动化多采用静态架构，难以适应操作系统任务的异构需求，且缺乏容错机制，决策出错往往需要完全重跑。COLA提出可扩展的多智能体协作框架，通过场景感知任务调度器将需求拆分为原子能力单元，动态匹配并调度专业决策智能体，支持智能体池即插即用；各智能体配备长短期记忆单元以自我进化，并引入交互式回溯机制实现人工干预下的非破坏性修复。该框架在GAIA基准上取得31.89%的SOTA均分，显著优于未接入Web API的基线。
School of Computer Science and Technology, Harbin Institute of Technology, China
现有知识图谱问答方法常将工具调用与知识推理混为一体，导致输出可读性差并引发幻觉性工具调用。本文提出MemQ框架，其核心是用LLM构建外部查询记忆，将自然语言推理与结构化查询生成解耦：模型先以纯自然语言执行显式推理，再依据语义相似度从记忆中检索查询片段并重构最终语句与知识图谱交互。该策略显著提升了推理可读性并缓解了幻觉问题，在WebQSP和CWQ基准上取得了SOTA性能。
Gaoling School of Artificial Intelligence, Renmin University of China, Baidu Inc.,3Institute of Computing Technology, Chinese Academy of Sciences
现有工具文档多面向人类设计，常存在不完整、冗余或失准等问题，导致LLM难以准确理解与调用工具。本文提出DRAFT框架，核心思路是让LLM通过自主试错与工具交互，经经验收集、反馈分析和文档重写三阶段迭代，动态优化工具文档；同时引入多样性探索策略与工具自适应终止机制提升效率。在多个数据集上的实验表明，优化后的文档显著提升了LLM的工具使用效能，且具备较强的跨模型泛化能力。
现有结构增强型RAG方法在提升关联与理解能力时往往导致基础事实记忆性能显著下降。为此，本文提出HippoRAG 2，在保留个性化PageRank框架的基础上，将段落深度整合进图搜索过程，强化查询对知识三元组选择的参与，并引入大语言模型在线过滤无关检索结果，从而弥补了查询上下文化不足的缺陷。实验表明，该方法在事实记忆、理解建构与关联记忆三类任务上全面超越强标准RAG基线，关联记忆任务平均提升约7个百分点，且对多种检索器及开源与闭源大语言模型均保持鲁棒。
Shanghai Jiao Tong University
该研究指出现有视觉语言导航智能体在未见环境中性能受限，关键在于缺乏将想象结果持续整合进时序记忆的能力。受人类情景模拟与情景记忆启发，作者提出SALI智能体，借助循环想象模块迭代生成高保真RGB图像与高级空间结构，并将想象信息与真实观测动态融合为混合拓扑记忆地图。该方法在R2R和REVERIE数据集上取得SOTA，在未见场景中SPL分别提升8%与4%。
University of Stuttgart
现有LLM程序修复方法多依赖固定提示或硬编码反馈循环，难以自主收集缺陷信息、检索代码并验证补丁。本文提出RepairAgent，首个面向程序修复的自主LLM智能体，通过动态提示与有限状态机引导模型自主调用14种专用工具（如代码检索、补丁应用与测试执行），实现信息搜集与修复验证的交错进行。在Defects4J上的实验表明，该方法成功修复164个bug，其中39个为此前技术未能修复，平均每个bug仅耗约14美分。
针对LLM智能体在动态环境中持续决策能力不足、长期记忆缺失及上下文受限等问题，本文提出SAGE框架，通过User、Assistant、Checker三智能体协作，引入迭代反馈与反思机制，并基于艾宾浩斯遗忘曲线设计记忆优化策略，实现关键信息的选择性保留与认知负荷降低。实验表明，该框架在AgentBench等基准上使闭源模型性能提升达2.26倍，开源模型提升57.7%至100%，且对较小模型的增强效果尤为突出。
针对现有语言模型智能体难以从经验中提取可复用任务工作流、无法持续进化的问题，本文提出Agent Workflow Memory（AWM）。该方法从轨迹中自动归纳可复用的工作流并整合进记忆，支持离线预归纳与在线实时归纳（包括无监督自我迭代），且能通过组合简单工作流构建复杂流程，形成持续学习的滚雪球效应。在WebArena和Mind2Web上，AWM将相对成功率分别提升51.1%和24.6%，在跨任务、跨网站及跨域场景中泛化优势显著，且有效减少了任务完成步数。
Stevens Institute of Technology, Harvard University
现有金融语言智能体多受限于单资产任务、短期风险偏爱与高通信成本。本文提出FINCON，一种基于LLM的经理-分析师层级多智能体框架，通过双层风险控制（日内CVaR量化监控与跨回合概念化口头强化）实现动态信念更新与选择性传播。实验表明，该系统可泛化至单股票交易与投资组合管理，且风险控制设计经消融验证能有效提升收益并管理市场风险。
Peking University, Stanford University
针对大语言模型单查询推理缺乏通用性、多查询推理成本高昂且均忽略历史任务经验的问题，本文提出 Buffer of Thoughts（BoT）框架，利用 meta-buffer 存储跨任务蒸馏的高级思维模板，并在推理时检索实例化以指导推理，同时由 buffer-manager 动态更新模板库。实验表明，该方法在 Game of 24 等 10 项推理任务上显著超越现有方法，平均仅需多查询提示方法 12% 的调用成本，且 Llama3-8B 结合 BoT 有望超越 Llama3-70B。
Gaoling School of Artificial Intelligence, Renmin University of China
现有工具检索多依赖语义匹配，易召回冗余相似工具而遗漏解决复杂查询所需的协作工具，导致LLM回答不完整。本文提出模型无关的COLT方法：先在语义学习阶段微调PLM建立查询与工具的关系，再在协作学习阶段构建查询-场景-工具三部图，通过双视角图协作学习捕捉工具间的高阶协作关系，并引入COMP@K评估检索完整性。实验表明，11M参数的BERT-mini结合COLT即可超过340M的BERT-large，且在开放基准与ToolLens数据集上均取得更优的完整检索效果。
现有开放世界智能体在面临无限多任务时难以处理多模态输入并持续进化。JARVIS-1 将 MineCLIP 与 LLM 结合为多模态语言模型，使 Minecraft 智能体能基于视觉与文本生成计划；通过多模态经验记忆以上下文方式检索历史成功场景与计划，显著提升长程规划的一致性与正确性，并支持自指导探索与自我改进。实验表明，该智能体在 200 余个任务中表现优异，钻石镐获取成功率较此前最优方法提升约 5 倍，且随游戏时间推移持续增强而无需额外训练。
School of Computing and Augmented Intelligence, Arizona State University, Amazon Alexa AI
现有推荐系统往往局限于特定任务训练，难以泛化且无法充分利用外部知识。本文提出基于大语言模型的自主推荐智能体RecMind，通过规划、记忆与工具调用实现零样本个性化推荐，并创新性地提出Self-Inspiring规划算法：在每一步规划中综合考量所有历史探索路径的状态，而非如Tree-of-Thoughts般剪枝丢弃。实验表明，RecMind在多个推荐任务上显著优于现有零/少样本LLM基线，性能可与全量训练的P5模型媲美。
♠Department of Automation, BNRist, Tsinghua University, ♣Department of Computer Science, BNRist, Tsinghua University
现有LLM智能体在决策任务中面临微调成本高、闭源模型无法更新参数，以及提示工程受限于上下文窗口难以跨任务积累的困境。本文提出ExpeL智能体，通过自主试错收集多任务经验并提取自然语言洞察，在推理时复用成功经验与抽象知识，实现无需参数更新的持续学习。实验表明，该方法在三个差异显著的领域均优于强基线，并展现出跨任务正向迁移与涌现能力。
Tsinghua University 2ModelBest Inc. 3Renmin University of China
开源LLMs在工具调用能力上显著落后于闭源模型。为此，本文构建涵盖16000余个真实RESTful API的指令微调数据集ToolBench，覆盖单工具与多工具场景，并设计基于深度优先搜索的决策树算法DFSDT以增强多步推理与规划能力，同时提出自动评估器ToolEval。基于该数据微调的ToolLLaMA在复杂指令执行与未见API泛化上表现接近ChatGPT，并展现出良好的零样本迁移能力。
现有工具增强大语言模型的方法受限于固定API范围窄、推理易错且缺乏自动纠错。本文提出CREATOR框架，让模型从“工具使用者”转变为“工具创造者”，通过文档与代码实现抽象工具创建，并将其与具体决策执行解耦，形成创建-决策-执行-修正的闭环。在MATH和TabMWP基准上，该方法显著优于思维链、程序思维及现有工具使用基线，并展示了知识迁移与错误修正能力。
Northeastern University
传统强化学习需要大量样本与模型微调，难以让大语言模型智能体快速从试错中学习。本文提出Reflexion框架，核心创新在于不更新网络权重，而是将环境反馈转化为语言形式的自我反思文本，存入情景记忆以指导后续决策，实现“口头强化学习”。实验表明，该方法在AlfWorld决策任务上提升22%，HotPotQA推理提升20%，HumanEval编程任务提升11%并达到91%的pass@1准确率，且无需微调模型。
Meta AI Research †Universitat Pompeu Fabra
针对大语言模型在算术、事实检索及时效信息等方面的固有短板，本文提出Toolformer，以自监督方式让模型自主学习调用外部工具API。具体通过少量示例生成候选API调用，依据其对后续token预测的增益进行筛选，并在过滤后的数据上微调。实验表明，基于6.7B参数GPT-J的Toolformer在多项零样本任务上显著优于规模更大的GPT-3，且未牺牲核心语言建模能力。
Tongyi Lab, Alibaba Group
针对当前大语言模型智能体强化学习训练依赖手工数据集、随机探索效率低且样本利用率差的问题，本文提出 AgentEvolver 自进化系统，利用 LLM 自身的语义理解与推理能力，通过“自提问”生成任务、“自导航”复用经验引导探索、“自归因”细粒度分配奖励三个协同机制，构建无需人工编排的持续自我训练闭环。实验表明，仅 7B/14B 参数的 AgentEvolver 在 AppWorld 与 BFCL-v3 上即可超越 235B 级基线，显著降低参数规模的同时提升了任务完成率。
针对语言智能体在缺乏可验证奖励或长程交互环境中难以通过强化学习训练、而监督微调又受限于专家数据规模与泛化能力的问题，本文提出“早期经验”范式，让智能体通过自主交互收集未来状态并转化为无需奖励的监督信号，进而探索了隐式世界建模与自我反思两种训练策略。在八个涵盖网页导航、工具调用等多样环境的实验中，该方法在仅使用半数专家数据时仍持续优于纯模仿学习基线，并能为后续强化学习提供更优的初始化起点。
Tongyi Lab, Alibaba Group
当前开源智能体模型表现落后，根源在于通用基座缺乏智能体归纳偏置，导致后训练阶段需同时学习行为能力与对齐策略，产生优化冲突。为此，论文提出在预训练与后训练之间插入“智能体持续预训练（Agentic CPT）”阶段，通过一阶与高阶动作合成（FAS/HAS）在无外部工具调用的前提下规模化生成多样训练数据，并采用32K到128K上下文的两阶段渐进训练，构建预对齐的智能体基座模型AgentFounder。AgentFounder-30B在10项基准上取得SOTA，BrowseComp-en达39.9%、HLE达31.5%，且随数据规模扩大呈现稳定的扩展律增益。
Mohamed bin Zayed University of Artificial Intelligence, University of California, Los Angeles, The University of Melbourne
针对传统工具调用方案将检索与执行分离、受限于上下文长度且难以扩展至数万工具规模的问题，ToolGen提出将每个工具编码为唯一的虚拟token并直接嵌入大语言模型参数中，从而把工具检索与API调用统一为单一生成任务。通过工具记忆、检索训练与端到端agent调优的三阶段训练，模型可在对话中直接生成工具标识与参数。实验基于47,000个真实工具表明，该方法在检索性能上与领先方法相当且成本显著降低，同时优于传统工具学习范式。
Salesforce AI Research
现有语言智能体多依赖预训练LLM的固定能力，难以有效利用环境奖励信号，传统语言反思亦存在信用分配困难与反馈质量低的问题。本文提出Retroformer框架，通过策略梯度优化一个可微的回顾模型，自动从环境反馈中总结失败根因并优化智能体提示，且无需访问Actor LLM参数，具备即插即用特性。实验表明，该方法在HotPotQA、AlfWorld和WebShop任务上显著优于无梯度基线，成功率分别提升18%、36%与4%，验证了梯度式强化学习对语言智能体的有效性。
受认知科学中人类显式记忆系统启发，该研究为智能体构建了三类基于知识图谱的记忆：短期、情景与语义记忆，以解决现有系统只能回答事实性问题却无法回忆个人经历的局限。作者设计了强化学习环境"the Room"，让智能体通过深度Q学习自主决策将观察遗忘或存入情景/语义记忆。实验表明，具备类人记忆结构的智能体在回答通用知识与个体特定问题时均显著优于无此结构的基线，且语义预训练与强化学习结合的策略在各记忆容量下表现最佳。
针对GUI智能体在长程任务与陌生界面泛化中的局限，本文提出将历史轨迹压缩为固定长度连续嵌入的“连续记忆”，直接注入VLM嵌入层以保留控件位置等细粒度视觉信息并缓解上下文膨胀；同时设计自动数据飞轮，以低成本持续扩充记忆。实验表明，记忆与检索规模增大时性能单调提升，Qwen-2.5-VL-7B搭载该记忆后在真实GUI基准上达到甚至超越GPT-4o与Claude-4的闭源SOTA表现。
当前AI智能体面临微调成本高昂、灾难性遗忘，以及传统RAG仅依赖语义相似度而易检索到噪声的困境。本文提出MemRL，将稳定推理与动态情景记忆解耦，把记忆检索形式化为马尔可夫决策过程，通过“意图-经验-效用”三元组与两阶段检索机制在运行时强化学习记忆的使用策略，无需更新模型权重。在HLE、BigCodeBench、ALFWorld和Lifelong Agent Bench上的实验表明，该方法显著优于现有基线，有效调和了稳定性与可塑性之间的矛盾。
School of Cyber Science and Engineering, Wuhan University, Alibaba Group
现有LLM智能体通常将长期记忆与短期记忆割裂处理，依赖启发式规则或外部控制器，导致记忆构建碎片化且难以端到端优化。本文提出AgeMem框架，将两类记忆的管理统一融入智能体决策过程，通过工具调用让模型自主执行存储、检索、更新与丢弃等操作。为缓解记忆操作带来的稀疏与断点奖励问题，作者设计了三阶段渐进式强化学习策略与step-wise GRPO机制。在五个长程推理基准上的实验表明，该方法在多种LLM骨干上均超越强基线，显著提升了任务性能、长期记忆质量与上下文使用效率。
School of Computer Science and Technology, Beijing Jiaotong University, The Hong Kong University of Science and Technology (Guangzhou), Huawei Noah’s Ark Lab 5Peng Cheng Lab
现有长上下文智能体多依赖外部启发式规则管理工作记忆，与核心推理策略脱节。本文提出MemAct框架，将上下文策展内化为策略可学习的"记忆动作"（如剪枝、写入），通过端到端强化学习联合优化信息保留与任务性能，并设计DCPO算法解决动态上下文更新导致的训练效率损失。实验表明，MemAct-RL-14B以不足一半的平均上下文长度，达到了比自身大16倍模型的准确率，且不同容量的模型能自发演化出差异化的记忆管理策略。
Gaoling School of Artificial Intelligence, Renmin University of China, Tongyi Lab, Alibaba Group, 3OpenRLHF, Beijing Key Laboratory of Research on Large Models and Intelligent Governance
现有深度研究智能体将历史信息堆叠于单一上下文，导致长程任务中出现上下文窒息与噪声污染。本文提出IterResearch，以MDP架构将长程研究形式化为迭代式工作空间重建：每轮仅保留问题、演进报告与即时上下文，摆脱历史膨胀束缚。作者进而设计效率感知策略优化（EAPO）激励高效探索。实验表明，该框架在六项基准上平均提升14.5个百分点，交互规模可扩展至2048步且性能从3.5%跃升至42.5%；其结构亦可作为提示策略，使前沿模型较ReAct提升最高19.2个百分点。
Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences, Beijing, China, University of Chinese Academy of Sciences, Beijing, China
MemSearcher针对基于LLM的搜索智能体在多轮交互中因拼接完整历史导致上下文线性增长、引入噪声与计算开销的问题，提出让模型自身作为记忆管理器，迭代维护一份固定长度上限的紧凑记忆，仅保留问题相关关键信息。为训练该框架，作者提出multi-context GRPO，将轨迹级优势传播至各轮以实现端到端强化学习优化。实验表明，MemSearcher在多个知识获取数据集上优于ReAct类基线，且多轮交互中上下文token数几乎恒定，可在4K以内紧凑窗口完成推理搜索。
Tongyi Lab, Alibaba Group
针对LLM网页智能体在长程任务中面临的上下文饱和与细节丢失的权衡难题，本文提出AgentFold范式，借鉴人类回顾性认知巩固机制，将上下文视为动态工作空间而非被动日志。其核心“折叠”操作可在多粒度上主动压缩历史：既可细粒度凝练关键细节，也可深度整合多步子任务为高层抽象。基于Qwen3-30B-A3B的AgentFold经简单监督微调后，在BrowseComp、GAIA等基准上取得领先成绩，性能超越OpenAI o4-mini及参数量大得多的DeepSeek-V3.1等模型，同时将长程交互上下文控制在数千token规模。
Center for Healthcare Organization and Implementation Research, VA Bedford Health Care, Manning College of Information and Computer Sciences, University of Massachusetts Amherst, Miner School of Computer and Information Sciences, University of Massachusetts Lowell
PRIME 受人类认知双系统理论启发，针对纯直觉推理易出错而纯分析推理成本高的矛盾，设计了由反射机制调控的多智能体框架：先由 System 1 快速生成答案，再通过显式自反思判断是否需要触发包含规划、检索与假设检验的 System 2 深度推理。实验表明，该选择性激活策略使 LLaMA 3 在多跳知识密集型任务上取得与 GPT-4/GPT-4o 相当的性能，并有效减少不必要的计算开销。
JIWEN YU∗, The University of Hong Kong, China, JIANHONG BAI∗, Zhejiang University, China, YIRAN QIN, The University of Hong Kong, China, XIHUI LIU†, The University of Hong Kong, China, come world models capable of modeling reality [OpenAI 2024
现有交互式长视频生成因仅依赖有限前序帧而缺乏长时记忆，相机重回旧视角时易出现场景不一致。本文提出 Context-as-Memory，以原始历史帧作为记忆，直接在输入帧维度拼接以提供上下文条件，无需额外后处理或外部控制模块；并设计基于相机轨迹 FOV 重叠的 Memory Retrieval 筛选相关历史帧以降低计算开销。实验表明，该方法在长视频场景一致性上显著优于现有方法，且能有效泛化至训练未见的开放域场景。
Renmin University of China
现有智能体大多遵循预定义工作流，难以在单一过程中实现自主思考与动态工具发现。为此，本文提出端到端深度推理智能体DeepAgent，将思考、工具检索与动作执行融入连贯的全局推理链条。针对长程交互，作者设计了自主记忆折叠机制，以类脑的情景、工作与工具记忆结构化压缩历史信息；并提出了强化学习策略ToolPO，借助LLM模拟API与工具调用优势归因实现高效稳定的训练。在涵盖通用工具任务与下游应用的八个基准上，DeepAgent在有标注工具及开放工具检索场景中均取得优于基线的表现。
针对长程 LLM Agent 在多步交互中上下文不断膨胀导致成本激增与信息稀释的问题，本文提出 ACON 框架，通过失败驱动的自然语言指南优化，将环境观测与交互历史压缩为简洁且信息密集的摘要，无需梯度更新即可适配各类模型。在 AppWorld 等三个基准上的实验表明，ACON 将峰值 token 降低 26%–54% 并保持任务性能；其压缩器经蒸馏至小模型后仍可保留 95% 以上准确率，同时使小规模 Agent 的长程任务表现提升最高达 46%。
针对LLM网页智能体在长程探索中面临上下文窗口不足、而现有记忆方法又需修改架构并重新训练的痛点，本文提出即插即用的ReSum范式：通过外部工具周期性压缩交互历史为紧凑摘要，释放上下文空间以支持持续探索。为适配该范式，作者提出ReSum-GRPO，以优势广播将最终奖励传递至分段轨迹，解决长程信用分配。实验显示，ReSum在无训练设定下较ReAct平均提升4.5%，经ReSum-GRPO训练后再提升8.2%，且仅用1K样本即可让30B模型达到领先开源模型水平。
针对LLM长上下文中的前摄干扰问题，本文提出主动上下文管理（ACM）范式，赋予模型主动雕塑内部工作记忆的能力。Sculptor框架为LLM配备分片、摘要/隐藏/恢复及精确搜索三类确定性工具，并设计动态上下文感知强化学习策略训练其自主优化对话历史。在多个长上下文基准上，13B参数的Sculptor-M3-RL将平均性能从基线的39.4%提升至73.8%，PI-LLM达99.4%，且token级注意力分析证实显式折叠无关内容可显著增强对关键信息的聚焦，同时降低上下文长度。
ByteDance Seed, Institute for AI Industry Research (AIR), Tsinghua University, SIA-Lab of Tsinghua AIR and ByteDance Seed
MemAgent针对现有长文本处理方案外推性能衰减或需改造模型结构的问题，借鉴人类分段阅读并笔记的习惯，让LLM通过强化学习维护一段固定长度的普通token记忆，逐块覆盖式更新关键信息，从而在线性复杂度下处理任意长文本。团队还扩展DAPO得到Multi-Conv RL算法以端到端训练该agent工作流。实验表明，仅用8K上下文在32K数据上训练的模型即可几乎无损地外推至3.5M token的QA任务，并在512K RULER上取得95%以上的准确率。
Agent S 旨在解决 GUI 智能体在自动化计算机任务时面临的领域知识获取、长程规划与动态界面交互三大挑战。该框架提出经验增强的层次化规划机制，通过在线网络搜索与内部叙事记忆、情景记忆的分层检索来分解复杂任务，并设计了一种基于语言原语与视觉增强可访问性树的智能体-计算机接口（ACI）以实现精准定位与执行。在 OSWorld 基准上，Agent S 将成功率从 11.21% 提升至 20.58%，取得 83.6% 的相对增益并刷新最优水平；在 WindowsAgentArena 上亦展现跨系统的强泛化能力。
现有线性注意力因因果场景中的累积求和（cumsum）而存在训练速度慢、性能差的瓶颈，未被主流大模型采用。本文提出 Lightning Attention，将注意力计算拆分为块内与块间：块内使用传统注意力，块间利用核技巧规避二次复杂度，从而消除 cumsum；结合 tiling 技术实现固定显存下的常速训练。据此构建的 TransNormerLLM 在 1B 到 15B 参数规模及多种序列长度下，训练速度不随长度增加而下降，且精度与 FlashAttention-2 等主流架构持平甚至更优。
针对大语言模型在流式长文本生成中KV缓存膨胀与长度外推失效的问题，该研究揭示了自回归LLM中的“注意力汇点”现象：初始token因对所有后续token可见，成为Softmax注意力分数的汇聚点，即使语义无关也不可或缺。基于此，作者提出StreamingLLM框架，仅保留少量初始token与近期token的KV缓存，即可在无需微调的情况下使模型处理无限长输入。实验表明，该方法支持Llama-2等模型稳定建模超过400万token的序列，并相比滑动窗口重计算基线实现最高22.2倍的推理加速。
National University of Singapore, Fudan University, Tsinghua University, Zhejiang University, University of Science and Technology of China
针对视觉语言模型在长序列生成中易丢失视觉依据、出现"视觉处理瓶颈"的问题，本文受人类认知记忆理论启发，提出VisMem框架。该框架通过非侵入式扩展词表引入特殊调用token，在推理时按需激活短期与长期潜在视觉记忆：前者编码当前细粒度感知证据，后者合成抽象语义知识，并以连续latent token形式无缝嵌入自回归生成流。在视觉理解、推理与生成等基准上，该方法相较基线平均提升11.0%，同时改善了跨域泛化并缓解了灾难性遗忘。
National University of Singapore
现有Agent记忆范式中，参数微调易引发灾难性遗忘，而检索式记忆难以与推理过程深度融合。MemGen提出了一种动态生成式潜在记忆框架，利用强化学习训练的记忆触发器判断调用时机，再由记忆编织器生成潜在token序列作为机器原生记忆并嵌入推理，实现记忆与认知的紧密交织。实验显示，该方法在ALFWorld等八个基准上超越ExpeL等领先系统最高38.22%，具备强跨领域泛化与持续学习能力，且无监督地自发涌现出计划、程序与工作记忆等类人认知功能。
Sungkyunkwan University, Republic of Korea
针对RAG中检索上下文与模型参数知识冲突导致性能下降、且现有鲁棒训练易引发灾难性遗忘的问题，本文提出CARE框架。该方法引入上下文评估器，将外部文本编码为软提示嵌入，并通过真实与对抗性样本的冲突感知训练，在不微调基础大模型的前提下动态引导模型选择更可靠的知识来源。实验表明，该方法在问答与事实核查基准上平均提升5.0%，有效缓解了知识冲突并保留了模型通用能力。
Department of Automation, BNRist, Tsinghua University 2Dexmal, MEGVII Technology 4Tianjin University 5Harbin Institute of Technology 6StepFun
针对主流VLA模型仅依赖当前观测而难以处理非马尔可夫长程操作任务的问题，本文受认知科学中工作记忆与情景记忆双系统启发，提出MemoryVLA框架。该方法通过预训练VLM提取感知与认知token构建工作记忆，并设计感知-认知记忆库实现历史细节的检索、融合与动态整合，再由记忆条件扩散动作专家生成时序感知动作。在150余项仿真与真实机器人任务中，该方法全面超越CogACT与π0等基线，其中真实长程任务提升达26个百分点，展现出显著的时间推理与泛化能力。
Singapore-MIT Alliance for Research and Technology Centre, National University of Singapore, Yonsei University
针对长程多轮交互中全上下文提示导致的内存无限膨胀、推理成本激增与分布外长度过拟合等问题，MEM1提出端到端强化学习框架，使智能体以恒定内存运行。其核心洞察是将推理过程本身作为“工作记忆”，通过每轮更新紧凑的内部状态，同步完成记忆整合与推理，并主动丢弃已使用的历史观测，无需额外记忆模块。在检索QA、开放域Web QA及多轮购物任务中，MEM1-7B在16目标多跳QA上相较Qwen2.5-14B-Instruct实现3.5倍性能提升，同时内存占用降低3.7倍，且能泛化至训练时更长的任务跨度。
现有基于token重要性丢弃的KV缓存压缩方法会不可逆地丢失语义信息，难以应对多轮对话或主题外查询。该文揭示LLM中存在少数具备全局检索能力的"retrieval heads"，而多数头仅关注局部上下文，据此提出RazorAttention：对检索头保留完整KV缓存，对其余头截断远程token并以"compensation token"补偿信息损失，实现70%以上的缓存压缩且性能几乎无损，同时兼容FlashAttention。
Peking University, Beijing Academy of Artificial
针对长文本处理中直接推理成本高昂、传统RAG依赖显式查询与结构化知识的局限，本文提出MemoRAG框架，模仿人类认知过程，采用轻量长程系统构建全局记忆并生成检索线索，再由重量级系统基于检索结果生成答案。记忆模块以KV压缩实现，并通过生成质量反馈强化其记忆与线索能力。实验表明，MemoRAG在LongBench和InfiniteBench等基准的QA与非QA长文本任务上均显著优于传统RAG方法。
University of Illinois Urbana-Champaign, Princeton University
针对长文本推理中KV缓存随输入长度线性增长导致的内存与延迟瓶颈，本文提出免微调的SnapKV方法。核心洞察在于：各注意力头在生成前即可通过提示末尾的观察窗口确定其持续关注的固定提示特征。据此，该方法聚类选取每头关键KV位置进行缓存压缩。实验表明，在16K长度输入下，SnapKV实现3.6倍生成加速与8.2倍内存效率提升，并在16个长序列数据集保持精度；单卡A100更可处理380K token上下文，Needle-in-a-Haystack精度损失甚微。
针对标准Transformer在长上下文多步推理中难以整合分散信息、且现有记忆增强架构因仅循环压缩提示而导致长文本性能衰减与通用能力受损的问题，本文提出Large Memory Model（LM2）。该架构在保持原始注意力流的同时，引入独立的记忆库模块，通过交叉注意力进行检索，并利用可学习的输入、遗忘与输出门控机制实现动态更新，从而建立显式的长期记忆存储。实验表明，LM2在BABILong上较RMT与Llama-3.2分别平均提升37.1%与86.3%，同时在MMLU上获得5.0%的增益，证明该模块可在增强长上下文推理的同时不损害通用能力。
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly, College of Computing and Data Science, Nanyang Technological University, Singapore
现有连续空间思维链方法需全模型微调，易引发灾难性遗忘，难以适用于已具备强零样本推理能力的先进指令模型。为此，本文提出SoftCoT：冻结主干大模型，由轻量级辅助模型生成实例特定的连续软思维token，再通过可训练投影模块将其映射至主干模型的表示空间，以参数高效的方式实现连续空间推理。实验表明，该方法在五个推理基准上均提升模型准确率，并有效缓解了灾难性遗忘。
现有时间序列预测工作多单独引入文本或视觉模态，但前者易丢失细粒度时序细节，后者缺乏可解释语义，鲜有方法将二者统一。本文提出Time-VLM，首次以预训练视觉-语言模型为枢纽桥接时序、视觉与文本三模态：检索增强学习器提取层次化时序特征，视觉增强学习器将序列自适应编码为多尺度图像，文本增强学习器生成统计与领域上下文，三者与冻结VLM协同完成跨模态嵌入融合。实验表明，该方法在少样本和零样本场景下显著优于现有基线，为数据稀缺的多模态时序预测开辟了新方向。
Google Research
针对Transformer注意力二次复杂度与线性循环模型长程压缩能力不足的矛盾，本文从人脑记忆系统汲取灵感，提出一种可在测试时学习的深度神经长期记忆模块，通过输入梯度衡量“惊讶度”并配合衰减机制实现记忆管理。该模块与充当短期记忆的注意力协同，构成Titans架构家族（MAC/MAG/MAL三种变体）。实验表明，Titans在语言建模、常识推理、基因组及时间序列任务上优于Transformer与线性循环基线，并可有效扩展至200万以上上下文窗口，在needle-in-haystack任务中取得更高精度，且理论上具备超越TC0的表达力。
University of California, Santa Barbara, Microsoft Research
现有大语言模型受输入长度限制，难以利用历史长上下文。本文提出LONGMEM，以解耦架构将冻结的backbone LLM作为记忆编码器，配合可训练的残差SideNet检索并融合历史KV缓存，有效避免记忆陈旧问题。该方法支持65k token的长期记忆，在ChapterBreak长文本基准上取得SOTA，并显著提升了记忆增强的情境学习性能。
State Key Laboratory of Multimedia Information Processing, Peking University, School of Software & Microelectronics, Peking University, Tencent MLPD, Department of Computing, The Hong Kong Polytechnic University, Institute of Computing Technology, Chinese Academy of Sciences
现有解码器-only模型在生成时仅允许关注历史单个token，难以直接利用局部上下文的聚合语义。本文提出在文本块末尾插入可聚合整段信息的特殊token <SR>，通过修改注意力掩码使其捕获块内全部内容，从而让后续token同时获取局部细节与块级概览。该方法仅需LoRA轻量微调，在1.3B到13B参数的多种模型上均显著降低WikiText-2困惑度，并提升了域外下游任务表现。
Department of Computer Science & Princeton Language and Intelligence, Princeton University
针对Transformer语言模型上下文窗口有限且长文本推理成本高的问题，本文提出AutoCompressors，通过无监督目标微调预训练模型，将长上下文逐段压缩为短小的summary vectors（软提示），并引入summary accumulation机制累积历史向量以保留长程信息。实验显示，该方法在长达30,720 tokens的序列上降低了困惑度，在上下文学习任务中以压缩向量替代原文本可在多数任务上提升准确率并减少推理开销，且在检索增强语言建模与段落重排序中展现了预计算summary vectors的效益。
Stanford University
针对长提示反复编码带来的计算与存储开销，以及任务专属微调需逐条重新训练的问题，本文提出“gisting”方法：在标准指令微调中插入少量可学习的 gist token，并通过修改注意力掩码迫使后续 token 仅关注这些 gist token 而非完整提示，从而将任意提示压缩为极短的前缀激活且无需额外训练成本。在 LLaMA-7B 与 FLAN-T5-XXL 上的实验表明，该方法可实现最高 26 倍的提示压缩率，推理 FLOPs 降低 40%，wall time 缩短约 4.2%，且几乎不损失输出质量，同时显著减少 KV 缓存的存储占用。
Department of Computer Science, Rice University
LLM推理时KV cache的内存占用常超过模型权重，严重制约批处理规模与吞吐量。本文提出"重要性持久性假设"：若某token曾在历史步骤中被高度关注，则其在未来步骤中仍大概率关键。基于该假设，作者在测试时无需微调即可动态剪枝KV cache，仅保留历史高关注token与近期token，并给出理论近似保证。实验表明该方法可将KV cache内存压缩2至5倍而不损失模型质量，且能与4-bit量化叠加使用。
Institute of Mathematics, Polish Academy of Sciences, University of Warsaw, Google DeepMind
论文针对Transformer长上下文扩展中的"distraction issue"——不相关key与相关key在语义空间重叠导致模型难以区分——提出Focused Transformer (FOT)。该方法借鉴对比学习，在训练时让部分注意力层接触来自无关文档的负样本key以优化(key,value)空间结构，并通过kNN访问外部缓存来延长上下文。基于OpenLLaMA 3B/7B微调的LONGLLAMA无需长上下文训练即可外推至256k token的passkey检索，并在长文本语言建模等任务中提升性能。
本文从上下文压缩而非架构改造的角度解决LLM长文本建模问题，提出In-context Autoencoder（ICAE）：以LoRA轻量适配的LLM作为编码器，将长上下文压缩为少量紧凑的memory slots，再由原LLM作为解码器直接基于这些slot进行条件生成。该模型先通过自编码与语言建模目标进行大规模预训练，再用指令数据微调，在Llama上仅以约1%的额外参数量实现了4倍的上下文压缩，显著降低了推理延迟与GPU显存开销，并为理解LLM的记忆机制与认知科学中的工作记忆之间的联系提供了新视角。
University of Texas at Austin, 2Stanford University, 3University of California, San Diego, University of California, Berkeley, 5Adobe Research, 6Meta AI (FAIR), 7Carnegie Mellon University
本文针对大语言模型推理中KV缓存随序列长度线性膨胀的内存瓶颈，提出基于注意力稀疏性与幂律分布的观察：少数"重击者"（Heavy Hitters, H2）token贡献了绝大部分注意力得分，且与自然语言中的高频共现模式强相关。据此设计H2O缓存驱逐策略，动态保留近期token与H2 token，并将该过程建模为动态子模最大化问题给出理论保证。在OPT、LLaMA和GPT-NeoX上的实验表明，仅保留20%的H2即可在多项任务上逼近全缓存性能，并在OPT-6.7B/30B上实现相比主流推理系统最高29倍的吞吐量提升与最高1.9倍的延迟降低。
针对 Transformer 上下文长度受限、难以在推理时即时获取新知识的问题，本文提出 Memorizing Transformer，通过在模型高层引入近似 kNN 查找机制，将历史 (key, value) 对缓存至不可微的外部记忆中，并与局部注意力通过可学习门控融合。由于梯度不回传至记忆，该方法可高效扩展至 262K tokens 规模。实验表明，在代码、数学论文、书籍等长文档上，模型困惑度随记忆容量增大而持续改善，甚至优于五倍参数量的基线，且能在测试时调用新定义的函数与定理。
University of Illinois Urbana-Champaign
现有视频目标分割方法多依赖单一特征记忆，导致长视频处理中GPU内存与精度难以兼顾。XMem受Atkinson-Shiffrin记忆模型启发，构建了感觉记忆、高分辨率工作记忆和紧凑长时记忆三级存储架构，并通过记忆巩固与增强算法将活跃工作记忆压缩为长效原型，配合新的读取机制实现有界内存。实验表明，该方法在长视频数据集上显著优于现有方法，同时在短视频上与主流SOTA性能持平。