按具身机器人、视觉语言动作模型、智能体应用和导航操作等方向浏览论文，可进入详情页查看 AlphaXiv、在线论文、项目与代码资源。
Tongji University, Southwest Jiaotong University, University of Electronic Science and Technology of China, University of Trento
该综述针对基础 VLA 在机器人实时控制中面临的高延迟、高算力消耗与数据采集成本问题，提出以“模型设计—训练—数据采集”贯穿全流程的 Efficient VLA 分类框架，梳理高效架构、压缩、预/后训练和可扩展数据策略。主要结果是给出首个面向效率的系统化文献地图，并总结应用场景、关键瓶颈与未来路线，但不涉及新的实证性能增益。
The Chinese University of Hong Kong, Huawei Noah’s Ark Lab
面向语言条件机器人任务，VLA 将视觉、语言与动作生成耦合，但相关工作快速分化、缺少统一梳理。本文的核心贡献是给出较宽泛的 VLA 定义，并按组件、低层控制策略与高层任务规划三条线建立分类，同时整理数据集、仿真器和评测基准。主要结果是形成一份面向具身智能 VLA 研究的系统地图，指出数据稀缺、评测不一致、安全与真实部署仍是关键瓶颈。
The Chinese University of Hong Kong, Shenzhen, Shenzhen Research Institute of Big Data, Sun Yat-sen University
本文针对LLM智能体从纯文本走向真实多模态场景时缺少统一梳理的问题，系统定义“大型多模态智能体”并归纳感知、规划、行动、记忆四个核心组件，提出研究分类，整理多智能体协作框架与评测方法。主要结果是给出覆盖应用、基准与未来方向的综述框架，但不提供新的实证性能增益。
Key Lab of HCST (PKU), MOE, School of Computer Science, Peking University, Alibaba Group, Nanyang Technological University
针对依赖人工标注或外部监督的 LLM 训练成本高、复杂任务上可能触顶的问题，本文系统梳理“自进化”范式，将其抽象为经验获取、经验精炼、模型更新与评估的迭代闭环，并按 LLM/智能体的进化目标和模块给出分类。主要结果是形成一套综述框架、文献地图与开放问题清单；文中不提供统一实验增益，效果判断更多来自已有工作的汇总。
Stanford University, Microsoft Research, Redmond, University of California, Los Angeles, University of Washington, Microsoft Gaming
该综述针对多模态基础模型难以在物理/虚拟环境中可靠感知、推理并执行动作的问题，提出将“Agent AI”定义为可接收视觉、语言和环境信号并产生具身行动的交互系统。核心洞察是通过外部知识、多感官输入、人类反馈与跨现实数据训练，提升下一步具身动作预测，并可能降低环境不一致的幻觉。论文系统梳理了学习范式、智能体类型及游戏、机器人、医疗等应用，并给出数据集与评测方向；作为综述，量化增益文中未充分说明。
Shanghai Jiao Tong University, Amazon Web Services, Yale University
本文动机是解释大模型为何能借助链式思维完成复杂推理，并梳理其如何进一步支撑可执行任务的语言智能体。核心洞察是将 CoT 从单纯推理提示扩展为贯穿感知、记忆与规划的智能体框架，同时总结提示构造、推理格式和应用场景的范式变化。主要结果是一套面向 CoT 与语言智能体的综述分类、代表方法与基准表现整理，并指出泛化、效率、定制化、扩展性和安全仍是关键挑战。
针对传统智能体多依赖特定算法、难以跨场景泛化的问题，本文综述了以大语言模型作为智能体基础的研究脉络。核心洞察是将 LLM 视为智能体“脑”，并用脑、感知、行动三部分统一描述构建方式，进一步梳理单智能体、多智能体、人机协作与智能体社会等应用。主要结果是形成较系统的分类框架、论文仓库和开放问题清单，但文中不提供统一实验增益验证。
Gaoling School of Artificial Intelligence, Renmin University of China
本文针对传统智能体受限于封闭环境和有限知识、难以形成开放域类人决策的问题，系统梳理 LLM 作为核心控制器的自主智能体研究。核心洞察是将现有工作统一到画像、记忆、规划、行动等模块，并区分能力获取方式；主要结果是给出覆盖构建、应用与评估的分类框架，归纳其在社科、自然科学和工程中的用法及开放挑战。
AMAP CV Lab, Alibaba Group
ABot-M0针对跨硬件机器人操作中数据割裂、动作表示不统一和VLA训练目标不匹配的问题，整合六个开源数据集构建含600万轨迹、9500小时的UniACT，并提出动作流形学习，让DiT直接预测可行动作序列，配合VLM语义与3D几何双流感知。实验在LIBERO、RoboCasa、RoboTwin等基准上优于π0.5、UniVLA等，且消融显示数据标准化、AML与3D注入增益可叠加，但部分提升可能主要来自大规模数据与统一预训练。
Stanford University, Seoul National University, MAUM.AI
D2E针对具身AI真实轨迹采集昂贵、数据难以规模化的问题，提出用桌面/游戏交互作为视觉-动作预训练来源：OWA统一记录屏幕、键鼠并高压缩存储，Generalist-IDM为公开视频伪标注动作，VAPT再迁移到机器人任务。基于1.3K小时数据，1B模型在LIBERO达96.6%成功率、CANVAS达83.3%，接近或超过更大VLA模型，说明部分传感运动模式可从数字交互迁移到物理任务。
UC Berkeley, University of Warsaw, Stanford University
针对端到端 VLA 机器人策略在新物体、场景和指令上泛化不足、且普通语言 CoT 难以落到感知与机器人状态的问题，论文提出 ECoT：在动作预测前生成任务计划、子任务、运动意图以及物体框、末端位姿等具身推理，并用基础模型合成监督数据训练 OpenVLA。无需额外机器人数据，在多类泛化操作任务上绝对成功率提升 28%，同时提升失败可解释性并支持自然语言纠错。
面向机器人走出实验室后的开放世界泛化难题，π0.5在π0 VLA上引入异构协同训练，将多机器人数据、网页视觉语言任务、高层语义子任务预测、人工语言指导与低层动作统一建模，并在推理时先预测子任务再生成动作。实验显示，尽管目标移动操作数据约400小时且大部分训练样本来自外部来源，模型仍能在未见家庭中完成整理厨房、卧室、铺床、挂毛巾等10–15分钟长程灵巧任务；但失败仍见于陌生把手、遮挡和子任务分心等场景。
π0面向机器人学习中数据稀缺、跨任务泛化和真实环境鲁棒性不足的问题，将预训练VLM与动作块、flow matching动作专家结合，形成可跨单臂、双臂和移动操作平台训练的VLA策略，并采用大规模预训练加任务后训练配方。文中在超过1万小时机器人数据上训练，展示其可通过语言提示、上层VLM分解和少量微调完成叠衣、清桌、装盒、杂货装袋等灵巧任务；但具体增益可能主要来自scaling / data，消融归因仍需谨慎。
面向开放家庭/商超场景中复杂指令、偏好约束和实时纠错难以被扁平 VLA 直接处理的问题，Hi Robot 将高层 VLM 推理与低层 VLA 动作执行分层解耦，并用基于机器人观测与原子动作的合成情境提示训练高层策略，使其把人类意图转成可执行子命令。实验覆盖单臂、双臂和移动双臂平台，在清桌、做三明治、购物等任务上较 API-VLM 与扁平 VLA 提升意图对齐和成功率。
Stanford University, UC Berkeley, Toyota Research Institute, Google Deepmind, Physical Intelligence, MIT
针对现有视觉语言动作模型多为闭源、且缺少面向新机器人任务的高效适配方案，OpenVLA提出一个7B开源VLA：以Llama 2为骨干，融合DINOv2与SigLIP视觉特征，并在97万真实机器人演示上训练。实验显示其在29个跨具身操作任务上以更小规模超过RT-2-X 16.5个百分点，微调后在多物体、强语言 grounding 场景中优于Diffusion Policy 20.4%，且LoRA与量化可降低消费级GPU适配和部署成本。
该文针对自回归 VLA 在高频、灵巧控制中因逐维逐时刻离散化导致动作 token 高相关、训练陷入低效预测的问题，提出基于 DCT 频域压缩再结合 BPE 的 FAST 动作分词，并训练通用 FAST+。实验显示其能让标准自回归 VLA 处理此前失败的高频任务，在 1M 轨迹和 10k 小时数据规模上接近扩散式 VLA 表现，训练时间最多降至约 1/5。
Google Deepmind
RT-2针对机器人数据难以达到网页级规模、而传统VLM多停留在高层规划的问题，尝试把预训练视觉语言模型直接接入低层闭环控制。其核心做法是将连续机器人动作离散成文本token，与VQA等网页视觉语言任务共同微调，形成VLA模型。约6000次真实评测显示，RT-2在新物体、背景和语义指令上泛化更好，并出现基于网络知识的关系理解、简单推理和链式思考能力，但新运动技能仍受机器人数据分布限制。
Zhejiang University, Institute of Software, Chinese Academy of Sciences, Alibaba Group
这篇论文关注 o1 式深度推理在具身交互中仍易重复搜索、前后矛盾的问题，认为关键不只是看图和出动作，而是要在长程图像—动作历史中持续进行空间、时间与反思推理。作者构建 Observation-Thought-Action 轨迹数据，并用模仿学习、拒绝采样自探索和反思调优三阶段训练 Embodied-Reasoner。在 AI2-THOR 搜索、操作、搬运和组合任务及真实场景中，其成功率和搜索效率均超过 o1、o3-mini、Claude-3.7 等模型，复杂长程任务优势更明显。
Carnegie Mellon University, Tsinghua University
面向真实操作中精确运动、柔顺力控、安全避障与收敛等相互冲突需求，论文提出 Meta-Control：让 LLM 模仿控制专家的分层、模型化设计流程，自动选择任务/跟踪空间并组合动力学模型与控制器模板，按语言指令合成技能。实验在四类仿真与 Kinova 实机任务上展示可生成异构控制系统，消融表明层次化表述和模板约束显著提高设计、组合与执行成功率。
Fudan NLP Lab & Fudan Vision and Learning Lab
针对现有 LLM 智能体依赖专家轨迹难扩展、或只在单一环境自改进而泛化弱的问题，论文提出 AgentGym：统一多类交互环境、任务、指令、评测与轨迹数据，并用 AgentEvol 从行为克隆初始化出发，利用跨环境反馈迭代自进化。实验显示，进化后的 7B 智能体在多项任务上可接近或超过 GPT-4-Turbo、BC-large 等强基线，但部分增益可能同时来自更广探索数据与训练流程。
Xi’an Jiaotong University, Shanghai Artificial Intelligence Laboratory, The University of Hong Kong
该文针对神经-符号任务中符号轨迹标注稀缺、LLM 处理可执行动作语言能力不足的问题，提出 ENVISIONS：让模型与外部环境交互生成候选轨迹，依据执行结果自动构造正负对比样本，并用自精炼损失迭代训练。实验覆盖三个领域，显示无需更强教师模型或人工奖励模型也能稳定提升基座 LLM；但具体增益在多大程度来自环境反馈、负样本或数据规模仍需进一步拆解。
针对语言智能体依赖人工设计提示、工具和流程、难以从数据中持续优化的问题，论文提出 Agent Symbolic Learning：把智能体视为由节点、提示、工具和连接构成的符号网络，用文本形式的 loss、gradient 模拟反向传播与梯度更新，整体优化而非单点调参。概念验证实验覆盖标准基准和复杂真实任务，显示部署后的智能体可据经验更新自身组件，但具体增益幅度与来源仍需结合任务细节判断。
Carnegie Mellon University, Tsinghua University
面向真实操作中精确运动、力顺应、安全避障与状态收敛等相互冲突需求，Meta-Control不再依赖固定策略或手工技能库，而是让LLM模拟控制专家的层级建模思路，自动选择任务/跟踪空间并组合模型与控制器模板生成技能。实验在仿真和Kinova真机的多类任务上成功合成控制系统，消融显示层级表述与模板约束显著提高设计、组合和执行成功率。
Beijing Jiaotong University, Alibaba Group
针对手机自动操作中长历史图文交错导致的任务进度与关键信息导航困难，Mobile-Agent-v2 将单智能体拆为规划、决策、反思三类智能体，并用文本化进度摘要、可更新记忆单元和操作后反思来分担上下文管理与纠错。跨系统、语言和应用的动态评测显示，其任务完成率较 Mobile-Agent 单智能体架构提升超过 30%。
Beijing Jiaotong University, Alibaba Group
针对移动设备多步操作中历史图文上下文过长、任务进度与关键内容难以定位的问题，Mobile-Agent-v2 将单智能体拆为规划、决策、反思三类智能体，并用记忆单元保存任务相关焦点信息，以降低决策上下文负担并纠错。动态评测显示，其任务完成率相比原 Mobile-Agent 单智能体架构提升超过 30%。
Xiamen University, OpenGVLab, Shanghai AI Laboratory, The University of Hong Kong, Shanghai Jiao Tong University
面对 Civitai 等社区中海量个性化 Stable Diffusion/LoRA 模型与参数难以为用户提示快速匹配的问题，DiffAgent 将选模型与调参转化为 LLM 调用 T2I API 的任务，并构建含 50,482 条提示-API 对的 DABench，通过 SFT+RRHF 对齐人类偏好。实验显示其在 DABench、COCO Caption、Parti Prompts 上显著提升统一指标，SD1.5 下相对基线提升约 18.8–31，单次 API 生成约 4.81 秒。
METAGPT: META PROGRAMMING FOR A, MULTI-AGENT COLLABORATIVE FRAMEWORK, AI Initiative, King Abdullah University of Science and Technology, Xiamen University, The Chinese University of Hong Kong, Shenzhen
针对简单串联 LLM 智能体在复杂协作中易产生级联幻觉、逻辑不一致和低效闲聊的问题，MetaGPT 将软件工程中的 SOP 编码为提示与消息协议，让产品经理、架构师、工程师等角色按流水线生成结构化中间产物，并通过执行反馈迭代调试。实验显示其在 HumanEval、MBPP 上 Pass@1 达 85.9% 和 87.7%，复杂软件任务完成率报告为 100%。
Tencent
针对传统手机助手依赖系统后端、文本智能体难以理解GUI的问题，AppAgent将多模态LLM封装为通过点击、滑动等低层动作操作手机的智能体，并用自主探索或少量人类演示生成应用知识库，无需微调模型。实验在10类应用的50个任务上验证其可完成社交、邮件、地图、购物和图像编辑等高层操作，但多点触控等复杂手势仍未覆盖。
Nanjing University
文本内容与题名 KALM 不一致，实际介绍 UniSim：为降低真实机器人交互采样成本并弥合 sim-to-real，论文将图像、视频、人类活动、导航和机器人数据统一到“动作输入、视频输出”的扩散式观测预测模型中，可自回归生成长时交互。实验中，仅用模拟数据训练的视觉语言策略可迁移到真实机器人，长程任务 RDG 提升约 3–4 倍；模拟中 RL 微调将成功率从 0.58 提至 0.81。
UC Berkeley, Google DeepMind
真实机器人训练缺少可交互且足够逼真的环境，限制了纯仿真到现实的迁移。本文提出 UniSim，将互联网图像/视频、导航、机器人和仿真数据按“动作输入、视频输出”统一为条件视频扩散世界模型，并可自回归生成长时交互轨迹。实验显示，用其生成的数据训练的视觉语言策略和低层 RL 策略可零样本部署到真实机器人，并提升长程任务与稀有事件相关模型表现。
Google DeepMind
这篇论文关注智能体跨分布/跨域适应时是否必须具备因果推理，而不只是依赖深度模型的其他归纳偏置。核心洞察是从“低遗憾适应大量干预后环境”反推因果世界模型的必要性：若策略能在足够多分布转移下满足遗憾界，就可恢复近似因果模型，最优时收敛到真实模型。结果还说明因果可识别性会限制域适应，并可通过观察鲁棒智能体策略进行因果发现。
Southern University of Science and Technology, University of Maryland, College Park, Yunnan University, JD Explore Academy, University of Technology Sydney
论文针对 VLM 只做静态图文对齐、难以掌握具身视觉环境动态的问题，提出 EMMA：让视觉世界中的 VLM 学生在线模仿平行文本世界中的 LLM 专家，并用带反思记忆的 DAgger-DPO 将专家动作设为偏好正例、学生动作设为负例。ALFWorld 上其成功率较现有 VLM 智能体提升 20%–70%，并可泛化到开放词表和自由形式任务。
School of Computing & AI Arizona State University Tempe, AZ, Department of Computer Science Colorado State University Fort Collins, CO
针对直接让 LLM 规划时可执行性差、依赖在线环境反馈且人类纠错低效的问题，本文把 LLM 定位为世界模型构建与反馈翻译接口：从动作自然语言描述生成 PDDL，并用验证器/人类反馈修正，再交给可靠规划器或作为计划校验器。实验在两个 IPC 域和更复杂的 Household 域中，GPT-4 为 41 个动作生成并修正了含 400+ literals 的模型，最终支持解决 48 个规划任务。
NVIDIA
这篇论文针对强化学习中奖励函数依赖专家反复调参、难以支撑灵巧操作的问题，提出 EUREKA：把环境源码和任务描述交给代码大模型生成奖励代码，再通过进化搜索、训练统计反思与 GPU 并行评估迭代改写奖励。其核心洞察是将奖励设计转化为可执行程序的上下文优化问题。实验在 29 个环境、10 类机器人上超过人工奖励的任务占 83%，平均归一化提升 52%，并结合课程学习实现模拟 Shadow Hand 快速转笔。
本文针对开放世界稀疏奖励下 RL 交互成本高、LLM 又难以理解具体任务且直接微调代价大的问题，提出 RLAdapter：在智能体与 LLM 之间加入轻量语言适配器，用训练过程反馈动态更新并生成提示，避免改动大模型权重。在 Crafter 22 个任务上，方法超过 SOTA 基线，并观察到更符合常识的行为；但复杂任务增益仍受适配器预训练能力限制。
A PRELIMINARY EMPIRICAL STUDY ON OPENAI GYM
本文关注语言智能体能否在传统序列决策任务中替代需大量交互的 PPO。作者将 OpenAI Gym 文本化为 TextGym，并用 5 级领域知识控制与类 RL 的 actor-critic-learner 框架统一比较，还提出探索-利用引导的 EXE 智能体。实验显示语言智能体在 Blackjack、CartPole、CliffWalking、MountainCar 等部分环境可接近专家提示效果，但在 Acrobot、LunarLander、Taxi 等更难任务仍失败，结论应视为初步评估。
面向日常语言指令中的长时序决策，论文指出通用 LLM 规划常缺少机器人可执行性，且容易受物体命名不一致影响。RoboGPT 用 6.7 万条机器人任务数据微调 Llama，将任务拆成子目标，并结合低成本 Re-Plan 与 RoboSkill，在执行中用环境反馈替换等价物体。实验显示其在 ALFRED 上优于既有方法，规划合理性也超过 ChatGPT 等 LLM 规划器。
论文针对复杂3D游戏中纯模仿学习会复现多模态人类行为、难以稳定执行设计者偏好策略的问题，借鉴LLM对齐流程：先用大规模游戏数据预训练模仿智能体，再用少量任务数据监督微调，并通过偏好训练奖励模型进行RL微调。实验在真实主机游戏的跳板选择任务中表明，基座智能体会分散到多个模式，而对齐后能稳定选择目标跳板，验证了从像素到手柄动作的偏好对齐可行性。
AMAGO: SCALABLE IN-CONTEXT REINFORCEMENT, The University of Texas at Austin, NVIDIA Research
AMAGO针对上下文强化学习在长记忆、长规划和模型规模上难以稳定扩展的问题，重做离策略 actor-critic 更新，使长序列 Transformer 能在整段 rollout 上并行端到端训练，并结合多目标 hindsight relabeling 处理稀疏奖励探索。实验显示其在 meta-RL 与长期记忆任务中表现强，POPGym 达到领先结果，并能在程序生成 Crafter 等开放世界中按多种指令适应环境。
本文针对文本式强化学习环境依赖人工构建、领域窄且难以训练可迁移技能的问题，提出 STARLING：用 GPT-3 根据少量游戏点子生成结构化元数据，再编译为 Inform7 互动小说游戏，作为自监督预训练任务。作者生成100个日常技能游戏并迁移到 TWC、ScienceWorld、Zork1 等环境；结果显示预训练通常提升早期学习和最终得分、减少失败动作，但在导航复杂和长轨迹任务上仍弱于人类，增益主要来自 LLM 生成的辅助任务数据。
The University of Hong Kong, Nanjing University, Carnegie Mellon University, Microsoft Research, University of Waterloo
本文针对强化学习奖励塑形依赖专家经验或示范数据、成本高且难解释的问题，提出 Text2Reward：用 LLM 根据自然语言目标和 Python 式环境抽象生成可执行、可解释的自由形式稠密奖励代码，并可结合少量人类反馈迭代修正。实验显示，在 ManiSkill2/MetaWorld 的 17 个操作任务中有 13 个达到或超过专家奖励的成功率与收敛速度，MuJoCo 中 6 类新步态成功率超过 94%，且展示了仿真到真实 Franka 的部署。
本文针对文本多智能体强化学习中 LLM 代理虽具备先验知识、但缺少面向协作的训练与可解释通信机制的问题，提出 FAMA：用一个共享 LLM 承载多智能体、配合集中式 critic 的在线功能对齐更新，并让智能体以自然语言传递消息。在 BabyAI-Text 多智能体任务和交通路口环境的四个协作任务中，FAMA 相比独立 LLM 学习和符号 RL 基线表现更好，通信模块尤其有助于需要精确时序协调的任务。
Yonsei University, Seoul National University
论文针对具身指令跟随智能体通常一次性获得全部训练数据的不现实假设，提出在线持续学习设定：逐步学习新行为或新环境。核心方法 CAMA 用模型置信度以移动平均更新记忆中的 logits，在无任务边界信息下缓解过时蒸馏目标和灾难性遗忘。实验显示，在 Behavior-IL 与 Environment-IL 上相较既有持续学习方法多数指标有明显提升。
针对深度强化学习在分布外任务中易过拟合、样本效率低和灾难性遗忘的问题，ADAPTER-RL将适配器思想引入RL：冻结任意基础智能体（神经网络或规则策略），用PPO训练旁路Actor-Critic模块对其动作分布进行修正。在nanoRTS多地图实验中，该方法较直接重训表现出更高训练效率和稳定性，并能提升基础智能体，但具体增益在多大程度来自适配结构而非任务设置仍需更多消融说明。
本文针对稀疏奖励强化学习中奖励设计困难、VLM 奖励噪声大且不适合直接作为任务奖励的问题，提出 LAMP：用冻结 VLM 将多样语言指令与视觉观测对齐，生成语义化预训练奖励，并与 Plan2Explore 新颖性奖励结合，训练语言条件策略。RLBench 机械臂任务中，LAMP 微调表现通常优于从零训练，并与或超过纯无监督预训练，说明其能降低下游样本复杂度。
本文针对强化学习中自然语言建议常被硬映射到策略、奖励等单一 MDP 组件、难以利用多样知识的问题，提出将自然语言翻译为可描述策略、计划、奖励和转移函数的 RLang，并设计 RLang-Dyna-Q 统一吸收这些部分规格。实验显示，多类语言建议能显著加速学习，部分任务中可让普通 Dyna-Q 难以解决的问题变得可解。
面向具身智能中语言不只是指令、还包含状态描述和世界知识的问题，论文提出将语言理解转化为“预测未来”的世界模型学习。Dynalang 在 DreamerV3 基础上联合建模图像、文本、奖励，并用想象 rollout 学策略，还支持纯文本预训练。实验覆盖 HomeGrid、Messenger、Habitat 等，显示其能利用提示、规则和导航指令，通常优于语言条件模型式智能体和部分强化学习基线。
FOR META-REINFORCEMENT LEARNING, Technion - Israel Institute of Technology, Ford Research Center Israel
针对现有元强化学习依赖无模型训练、样本效率低且多停留在低维任务分布的问题，MAMBA将元RL视为POMDP，结合Dreamer式循环潜变量世界模型与上下文推断，并针对元episode加入奖励/时间观测、完整历史编码和模型展开调度。实验显示其在常见元RL基准及高维可分解任务上超过VariBAD、Dreamer等基线，最高约15倍样本效率，并能学习先探索后利用的近Bayes最优行为。
UC Berkeley
针对稀疏奖励强化学习中手工奖励难设计、VLM 学得奖励又噪声较大而不适合直接当任务奖励的问题，LAMP 将冻结 VLM 的图文对齐分数改用作预训练探索信号：用多样语言指令调制奖励，并与 Plan2Explore 新颖性奖励结合，学习语言条件策略。RLBench 机械臂任务上，它相较从零训练更省样本，整体优于或接近纯无监督预训练，但具体增益在不同提示与任务间仍有波动。
Inria, Flowers Laboratory
本文针对稀疏奖励下内在探索容易追逐无关新奇的问题，提出 ELLM：将当前状态转成文本提示大语言模型生成有常识的候选目标，并把达成这些目标作为预训练奖励，从而把探索偏向人类可理解且可能有用的行为。在 Crafter 与 Housekeep 中，ELLM 预训练覆盖更多常识行为，下游微调通常持平或优于 RND、APT 等基线，但依赖提示、状态/转移文本化与 LLM 建议质量。
Beihang University, Beijing Academy of Artificial Intelligence
面向机器人在杂乱三维场景中按空间指令找到交互点的问题，RoboRefer 将独立深度编码器接入 VLM，并用先 SFT、后带度量敏感过程奖励的 RFT 来强化多步空间指代推理；同时构建 RefSpatial 与 RefSpatial-Bench 补足数据和评测缺口。实验中 SFT 版单步空间理解平均成功率达 89.6%，RFT 版在多步基准上较 Gemini-2.5-Pro 平均高 17.4%，并展示了与 UR5、G1 等机器人控制策略结合的真实任务执行。
The Ohio State University, NVIDIA
论文针对现有 VLM 依赖通用图像数据、缺少机器人所需尺度、可放置性和参考系理解的问题，提出 RoboSpatial 数据集，将真实室内/桌面 3D 扫描与第一视角图像配对，构造空间上下文、兼容性和物体关系问答，并覆盖自我、世界、物体三类参考系。经该数据训练的 2D/3D VLM 在空间问答、可供性预测和机器人操作等任务上优于基线，但增益可能主要来自更贴近具身场景的数据规模与标注设计。
Seoul National University
该文针对具身智能任务中语言标注昂贵、LLM 规划又常忽略当前环境状态的问题，提出 FLARE：在初始规划时联合语言指令与视觉环境检索/生成子目标，并用视觉线索局部修正错误子目标，避免反复调用 LLM 重规划。在 ALFRED 仅 100 个示例的 few-shot 设置下，其在各项指标上超过既有方法，测试未见环境最高带来 24.46% 绝对提升。
Seoul National University, Yonsei University
这篇论文针对具身指令跟随中“按初始计划执行、忽视实际环境变化”导致失败或冗余动作的问题，提出 PRED：在行动前利用物体存在、外观、属性和关系等环境反馈，借助 LLM 预先修订计划，包括换目标、验对象、改状态操作和跳过无必要动作。实验在 TEACh、ALFRED 及真实机器人中显示，其未见场景成功率等多数指标优于既有方法，并缩短执行时间。
Carnegie Mellon University, Tsinghua University
面向真实操作中精确避障、力顺应、收敛等相互冲突需求，论文提出 Meta-Control：让 LLM 模仿控制专家的层级建模思路，自动选择任务/跟踪空间并用模板组合动力学模型与控制器，生成全模型式技能。实验在四类仿真与 Kinova 实机任务中展示可合成异构控制策略，消融表明层级表述和模板显著提高设计、组合与执行成功率。
NVIDIA, Stanford
面向开放世界中智能体难以长期自主探索、积累并迁移技能的问题，Voyager 将 GPT-4 用作黑盒规划器，在 Minecraft 中通过自动课程选择合适目标，以可执行代码作为动作并用环境反馈、报错和自验证迭代修正，同时把成功程序写入可检索技能库。实验显示其发现独特物品数为基线的 3.3 倍、移动距离 2.3 倍，并最高以 15.3 倍速度解锁关键科技树节点，且技能库可迁移到新世界任务。
College of Computer Science and Technology, Zhejiang University, Institute of Software, Chinese Academy of Sciences, Nanjing Institute of Software Technology, Nanjing University of Posts and Telecommunications, Nanjing University of Information Science and Technology
针对多数 LLM 智能体依赖手工提示、难以在动态交互中从经验进化的问题，Agent-Pro 将历史轨迹的反思提升到策略层：维护自我/环境信念，校准不合理信念，并用搜索优化行为准则与世界模型提示。它在 Blackjack 和德州扑克中较 Vanilla LLM、ReAct/Reflexion 及部分专用模型获得更高收益；但效果仍依赖基础模型能力，距强博弈算法仍有差距。
College of Computer Science and Technology, Zhejiang University, OPPO Research Institute, China
本文针对无外部反馈时大模型自我反思不稳定的问题，指出瓶颈在于自评反馈常过度自信或前后不一致。Self-Contrast 不再直接判错，而是让模型生成多种解题视角、比较差异并汇总成检查清单，再据此修订答案。实验覆盖数学推理与翻译任务、多种 LLM，相比普通反思带来更稳定且显著的提升；但小模型受指令跟随能力限制，效果可能弱于集成策略。
Shanghai Artificial Intelligence Laboratory, The Chinese University of Hong Kong, Shenzhen, Beihang University, The University of Sydney
针对 Minecraft 等开放世界中自然语言指令抽象、长序列，低层控制器难以稳定执行的问题，MineDreamer 将任务按当前状态逐步“想象”为未来视觉子目标：用 MLLM 增强扩散模型生成符合环境规则的想象图，再转为潜在视觉提示驱动策略网络输出键鼠动作。实验显示其在单步和多步指令上显著优于最强通用体基线，性能接近翻倍；消融表明 CoI 反复更新提示和数据采集方式是主要增益来源。
Shanghai Artificial Intelligence Laboratory, The Chinese University of Hong Kong, Shenzhen, Beihang University, Tsinghua University, The University of Sydney
面向 Minecraft 中长程开放任务，论文指出仅靠 LLM 规划难以同时处理步骤依赖与场景上下文依赖。MP5 将任务解析、视觉感知、情境规划、动作执行和巡检反馈拆成五个可协作模块，并通过目标条件的主动感知让感知结果服务于规划与执行。实验中其在困难流程依赖任务上成功率为 22%，在复杂上下文感知任务上达 91%，但整体仍显示长程操作成功率有限。
Beihang University, Peking University, Beijing Academy of Artificial Intelligence
面向长时程机器人操作中不可预设的失败，CaM 将事后反应式检测与事前预防式检测统一为时空约束满足问题，让 VLM 只在子目标开始生成监控代码，并用点、线、面等约束元素替代原始视觉细节进行实时跟踪与判断。实验覆盖三个模拟器和真实场景，在强扰动下相较基线成功率提升 28.7%，执行时间降低 31.8%，并可接入开环策略形成闭环系统。
Tsinghua University, South China University of Technology, Mitsubishi Electric Research Labs (MERL), Mitsubishi Electric Research Labs, MIT-IBM Watson AI Lab
针对语义音视觉导航中声音间歇、目标描述不精确且强化学习方法依赖大量轨迹的问题，RILA将音视频感知转为语言，由冻结LLM反思式规划并在探索中降低误导感知权重，同时用想象助手推断房间布局提供全局建议。在SoundSpaces上无需训练示范即优于相关基线，使用oracle感知时成功率超过60%，并指出瓶颈主要在声源定位。
Beijing Academy of Artificial Intelligence (BAAI), China, Nanyang Technological University, Singapore, School of Computer Science, Peking University, China
针对现有基础智能体依赖各环境专用观测与动作接口、难以跨软件泛化的问题，论文提出通用计算机控制（GCC）设定，并实现 CRADLE：仅以截图为输入、键鼠为输出，结合信息收集、自反思、任务推断、技能管理、动作规划和记忆模块完成长程操作。实验覆盖 RDR2 等4款商业游戏、5个应用和 OSWorld，展示其可完成40分钟 RDR2 主线任务、城市建造、农作与议价等任务，但仍受多模态模型识别、音频缺失和调用成本限制。
Zhejiang University, University of Washington, Hong Kong University of Science and Technology (GZ)
针对 Minecraft 等开放世界中仅依赖文本提示的 LLM 智能体难以感知环境、行动不稳定的问题，论文提出 STEVE，将视觉感知、语言规划与基于技能库检索的代码执行串联，并构建 STEVE-21K 数据用于微调与评测。实验显示其在关键科技树解锁上最高快 1.5 倍、方块搜索最高快 2.5 倍，但具体增益中数据与模块设计的相对贡献仍不够清晰。
Washington University in St. Louis, UC Berkeley
针对通用任务中 LLM 零样本推理不稳定、固定 CoT 难以适配不同任务的问题，论文提出 AgentInstruct：用基于 ReAct 的自治智能体结合网页任务知识，为每个数据集一次性生成可复用的任务特定推理指令，再引导不同 LLM 作答。该方法在 29 个数据集上使 Vicuna、Llama-2-chat、GPT-3.5 平均提升 17.8%，相对零样本 CoT 提升 6.5%，并在 20 个数据集取得最佳零样本结果。
Institute for Artificial Intelligence, Peking University, School of Intelligence Science and Technology, Peking University, School of Computer Science, Beijing University of Posts and Telecommunications, Computer Science Department, University of California, Los Angeles, Beijing Institute for General Artificial Intelligence (BIGAI)
本文针对 Minecraft 等开放世界中长程任务依赖复杂、并行子目标可达性随状态变化而导致 LLM 规划低效或不可行的问题，提出 DEPS：用执行描述与失败自解释驱动重规划，并训练目标选择器按预计完成步数排序子目标。实验在 71 个 Minecraft 任务上实现零样本多任务完成，整体成功率近乎翻倍，并在 ALFWorld 与桌面操作中也显示迁移收益。
King Abdullah University of Science and Technology (KAUST)
本文针对复杂任务中对人工持续提示和领域知识依赖过强的问题，提出 CAMEL 的 role-playing 框架，用 inception prompting 让不同角色的语言模型智能体自主协作，并记录对话以研究多智能体行为。实验生成 AI Society、Code、Math、Science 等数据集，角色协作方案在 GPT-4 与人工评测中优于 gpt-3.5-turbo 单轮生成，并用于微调 LLaMA 观察能力涌现与代码生成表现。
UC Berkeley, Carnegie Mellon University, Google
本文关注大语言模型中的常识能否直接转化为具身智能体可执行的操作计划，而非依赖环境内示范训练。核心洞察是大模型经合适提示可零样本分解高层任务，但原始输出常不符合 VirtualHome 动作空间；作者用可行动作枚举、语义翻译、自回归校正和相似示例选择提升 grounding。结果显示可执行率由约18%升至79%，但人工评估表明语义正确性有所下降，存在可执行性与任务合理性的权衡。
Carnegie Mellon University
FILM针对具身指令跟随中过度依赖端到端模仿学习、专家轨迹和低层步骤指令的问题，提出模块化方案：将语言解析为结构化子目标，利用深度与实例分割构建语义地图，并用语言条件的语义搜索策略主动探索目标物体，再由确定性策略执行导航与交互。在ALFRED上，仅用高层目标指令即取得Tests Unseen 24.46%成功率，较前SOTA提升8.17个百分点；加入低层指令后提升至26.49%。
School of Automation, Beijing University of Posts and Telecommunications, Department of Automation, Tsinghua University, Beijing National Research Center for Information Science and Technology
本文针对LLM虽具常识但无法感知真实场景、易规划不存在物体操作的问题，提出TaPA：用场景物体列表与GPT-3.5生成室内场景-指令-动作计划三元数据，微调LLaMA，并在推理时用多视角开放词汇检测获取可用物体以约束规划。实验显示其在复杂室内任务上的计划成功率明显高于GPT-3.5和LLaVA。
Tom Mitchell1, Carnegie Mellon University, NVIDIA, Ariel University, Microsoft Research
针对 Crafter/Minecraft 等开放世界任务中强化学习样本效率低、难以利用先验知识的问题，SPRING 让 GPT-4 先从环境论文的 LaTeX 源码中抽取机制、目标与动作约束，再用由问题节点组成的 DAG 约束链式推理并直接选择动作。实验显示，在无需环境训练的零样本设置下，GPT-4 版本超过训练 100 万步的多种 SOTA 强化学习基线，但效果可能部分来自模型 scaling 与已有知识迁移。
UC Berkeley
针对 ObjectGoal 导航中端到端或模块化 RL 训练代价高、样本效率低的问题，PONI 将“去哪里找目标”重新表述为基于语义地图的感知预测任务，而非交互式策略学习。方法用编码器-解码器预测区域与目标两类势函数，在前沿位置选择最有价值的探索点，并接入模块化导航框架。Gibson 与 Matterport3D 实验显示其达到或超过当时 SOTA，同时训练计算成本最高降低约 1600 倍。
Paul G. Allen School of Computer Science & Engineering, University of Washington
论文针对具身智能中“动作语义等于动作效果”的稳定性假设：现实里地面、负载或损坏会让同一动作产生不同位移/旋转，常规策略因此脆弱。作者提出 Action Adaptive Policy，用执行前后观测在线编码动作影响，并用无序不变的 Transformer policy head 按实际效果选动作。在 AI2-THOR、Habitat 及真实 RoboTHOR 场景的 PointNav/ObjectNav 中，AAP 在未见过的动作漂移、动作失效等情况下明显优于元学习、模型式和 RMA 等基线。
Department of Computer Science, Stanford University, Salesforce AI Research, Department of Computer Science, University of Texas at Austin
面向家庭等动态、部分可观测环境中的具身目标搜索，论文将物体位置推断表述为部分可观测动态图上的时序链路预测。其核心是用场景图记忆累积带时间戳的历史观测，并以 Node Edge Predictor 从中估计查询物体关系；同时提出 Dynamic House Simulator。实验显示该方法在新场景适应性和总体预测准确率上优于多种基线。
University of Florida, Mohamed bin Zayed University of Artificial Intelligence
本文针对 LLM 以自回归方式生成推理链、缺少可预测状态演化的“世界模型”和奖励反馈，导致在积木规划等多步任务中易失败的问题，提出 RAP：用同一语言模型分别扮演推理代理与世界模型，并结合 MCTS 在推理树中前瞻、回传奖励、权衡探索与利用。实验覆盖 Blocksworld 计划生成、GSM8K 数学和 PrOntoQA 逻辑推理；在 Blocksworld 上平均成功率达 64%，且 LLaMA-33B+RAP 在计划生成中相对 GPT-4+CoT 提升 33%。
Robotics at Google, Everyday Robots
论文针对大语言模型具备常识但缺乏物理落地、易生成机器人不可执行步骤的问题，提出 SayCan：用 LLM 评估技能对高层指令的语义相关性，用强化学习学到的技能价值函数/affordance 评估当前场景中是否可执行，并将二者结合选择下一步。真实厨房移动操作机器人上 101 个零样本任务显示，该 grounding 相比未落地基线近乎翻倍成功率，并可随底层语言模型增强而提升。
Department of Computer Science, University of California, Allen Institute for Artificial, Paul G. Allen School of
针对稀疏奖励具身任务中从零强化学习探索效率低、直接让 LLM 规划又缺乏环境 grounding 的问题，论文提出 DECKARD：用少样本 LLM 先“梦见”由子目标依赖构成的抽象世界模型，再在交互中学习模块化子策略并验证/修正该模型。Minecraft 合成实验显示，LLM 引导使探索与样本效率提升约一个数量级，且在故意加入 LLM 分解错误时仍优于无引导基线。
Yonsei University, Gwangju Institute of Science and Technology
面向家庭长程指令执行中常见的误操作无关物体、重复操作已移动物体等问题，CAPEAM将规划拆成任务相关对象“上下文”预测与细粒度动作生成，并用环境感知记忆记录物体状态、位置和掩码变化，使智能体按动作后果更新后续决策。在ALFRED交互式指令跟随基准上，该方法在已见和未见环境的SR、GC等指标均达到当时SOTA，未见环境成功率最高提升10.70%。
Robotics at Google
面向机器人长时程操作中仅靠语言模型开环规划难以处理动作失败、环境变化和指令歧义的问题，论文提出 Inner Monologue：把成功检测、场景描述与人类反馈统一转成自然语言，持续写入提示，让冻结 LLM 在执行中重试、重规划或提问。实验覆盖仿真与真实桌面整理、真实厨房移动操作，显示闭环语言反馈显著提升高层指令完成率，并带来交互理解、多语言等能力。
Carnegie Mellon University
本文针对大语言模型仅从文本学习、在物体持久性、状态追踪和家务规划等物理推理中不稳的问题，提出 E2WM：让智能体在 VirtualHome 世界模型中通过目标导向规划与随机探索收集具身经验，再用 EWC-LoRA 微调以减少遗忘并提升效率。实验在18个下游任务上平均提升64.28%，小模型经增强后在多项任务可匹敌或超过 ChatGPT。
Renmin University of China, Nanjing University, Microsoft Research
面向“用积木摆笑脸/字母”等需视觉感知、空间推理和多步操作的高层指令，论文指出仅靠开环 LLM 规划或语言反馈会丢失细粒度状态。其核心是用 GPT-4 辅助构建含 35 类任务、计划与观测序列的 AlphaBlock，并基于 MiniGPT-4 微调视觉适配器和 Q-former，形成利用图像闭环生成子计划的 CogLoop。实验在仿真与真实桌面任务中优于 ChatGPT/GPT-4 规划基线，成功率分别提升 21.4% 和 14.5%。
NVIDIA, Cornell University, University of Washington, University of Toronto, Vector Institute
面向家庭移动操作中用户只给高层自然语言而非逐步指令的场景，论文指出长时程执行的关键瓶颈是部分可观测下的记忆与空间关系推理。其 HLSM 持续从 RGB 观测构建 3D 语义体素地图，并用高层子目标生成与低层动作控制分层执行任务。在 ALFRED 上不使用低层指令训练或测试仍取得当时 SOTA，甚至超过依赖详细步骤的模型；局限在探索、感知泛化和低层运动规划。
The Ohio State University
针对具身指令跟随依赖大量轨迹标注、在部分可观测环境中静态计划易失效的问题，LLM-Planner将大语言模型作为层级框架的高层规划器，用少量示例直接生成子目标序列，并在执行受阻时把已观测物体写入提示进行 grounded re-planning。其在 ALFRED 上仅用少于0.5%的配对训练数据，就达到接近使用全量数据训练的强基线表现，而同样 few-shot 设置下既有方法几乎无法成功完成任务。
Robotics at Google
论文针对语言机器人仅把 LLM 用作高层规划、难以直接介入感知—动作反馈且依赖预定义技能的问题，提出 Code as Policies：用少样例提示让代码型 LLM 将自然语言生成可执行机器人策略代码，并递归补全函数、调用感知/控制 API 与 NumPy、Shapely 等库。实验展示其在桌面操作、绘图和移动操作中具备空间几何推理与组合泛化能力，并在 HumanEval 达到 39.8% P@1，但安全性与执行可靠性仍依赖外部约束。
MIT-IBM Watson AI Lab
该文针对LLM/VLM缺乏真实三维空间 grounding、难以处理机器人场景中的空间关系、可供性与规划问题，提出将点云及其特征注入语言模型的3D-LLM。核心做法是用ChatGPT提示生成30万级3D-语言数据，从多视角渲染提取与2D VLM对齐的3D特征，并加入位置嵌入和位置token强化定位。实验在ScanQA上BLEU-1较SOTA提升约9%，并在3D描述、任务分解和对话上优于2D VLM，但依赖渲染多视角图像。
Stanford University, University of Illinois Urbana-Champaign
针对LLM机器人方法依赖预定义技能、难以把开放语言细化为连续6DoF动作的问题，VoxPoser让LLM通过代码调用VLM与数组操作，将可供性、避障等约束组合成三维价值图，再由模型规划闭环生成轨迹。其无需为每任务训练，在真实日常操作中成功率88%、扰动下70%，仿真开放指令和物体上也优于原语与学习代价图基线。
Robotics at Google, Google Research
PaLM-E针对纯语言模型难以把指令落到真实感知与几何状态的问题，将图像、状态/神经场景表示等连续传感输入嵌入到LLM token序列中，并在机器人规划、VQA、描述等任务上联合训练。结果显示，多任务与视觉语言数据带来正迁移，能控制不同机器人且提升数据效率；562B模型在OK-VQA达SOTA并保留较强语言能力，部分增益可能主要来自scaling与混合数据。
School of Computing National University of Singapore
面向家庭物体重排等大规模、部分可观测任务，直接把 LLM 当策略容易在长时程和新任务上退化。论文提出 LLM-MCTS：用 LLM 构造常识世界模型作为状态先验，同时把 LLM 动作分布仅作 MCTS 搜索启发，而非直接执行。VirtualHome 800 个任务中，该方法明显优于纯 MCTS、仅模型规划和 GPT2/GPT3.5 策略，并用乘法、旅行规划分析提出 MDL 作为选择模型式规划或策略式调用的准则。
Beijing Institute for General Artificial Intelligence (BIGAI)
现有通用智能体多依赖2D视觉，难以处理3D场景中的定位、推理与行动。论文提出LEO，将自我中心2D图像、物体中心3D点云、文本与动作统一为序列，由LLM生成语言或动作，并通过3D视觉-语言对齐与VLA指令微调训练，同时用LLM辅助构建3D数据。实验显示其在3D描述、问答、具身推理、导航和操作上达到或接近任务专用模型，增益可能主要来自数据规模、多任务指令微调与物体中心表示。
University of Massachusetts Amherst, Tsinghua University, Shanghai Jiao Tong University, MIT-IBM Watson AI Lab
本文针对去中心化、多目标、部分可观测且通信有代价的具身多智能体协作，提出 CoELA：将 LLM 嵌入感知、语义/情景/程序记忆、通信、规划与执行的模块化认知架构，让智能体决定何时说、说什么以及如何分工。实验在 C-WAH 与 TDW-MAT 上显示，GPT-4 驱动的 CoELA 较强规划基线效率提升超过 40%，并出现更有效的自然语言通信；开源模型需经 CoLLAMA 微调才接近可用，人机实验中也提升了信任与协作效果。
Rutgers University, University of Michigan
本文关注传统历史分析难以动态检验战争成因与反事实路径的问题，提出 WarAgent：用大语言模型扮演国家智能体，在一战、二战和中国战国等场景中模拟外交、战略决策与冲突后果。其核心价值在于把多智能体涌现交互用于分析战争触发因素和“历史必然性”。实验显示系统能部分复现历史决策演化，并为冲突预防提供可计算的沙盒，但具体可靠性边界与误差来源仍需谨慎看待。
Microsoft Research, Redmond, Xbox Team, Microsoft, Stanford
论文针对多智能体游戏中缺少同时评估 LLM 调度、协作与人类-NPC交互的基准问题，提出 MindAgent 框架和虚拟厨房 CuisineWorld，并用 CoS 衡量协作效率。实验显示 GPT-4 等模型在零样本下可协调 2–4 个智能体完成任务，少样本示例、CoT 理由和在线反馈能进一步提升表现，并可迁移到 VR 场景和 Minecraft；但仍受计算成本、上下文长度和计划非最优限制。
Seoul National University, Artificial Intelligence Institute of Seoul National University (AIIS), Automation and Systems Research Institute (ASRI)
该文针对真实机器人中难以频繁重置、且无演示数据时稀疏奖励任务难以自主学习的问题，提出 IBC：用随学习进展条件启停的辅助智能体提供“回退锚点”，并基于最优传输为前向/后向任务联合生成双向目标课程。在多个 ARL 基准和改造环境中，IBC 在样本效率与最终成功率上超过既有方法，甚至优于使用先验数据或演示的方法；但方法仍限于可逆环境并需人工指定稀疏奖励。
Meta AI, Georgia Institute of Technology
面向家庭整理、摆桌等长时程协作任务，论文指出现有零样本协调用随机初始化难以在视觉具身场景中产生足够多样的伙伴行为，导致新伙伴泛化差。作者提出 Social Rearrangement 基准，并用 Behavior Diversity Play 通过共享策略和可判别性目标显式鼓励行为多样性。实验在未见环境与伙伴上显示，BDP 相比基线成功率提升约 35%、效率提升约 32%，但仍落后于拥有特权信息的 oracle。
Yonsei University
现实导航中，用户常用粗略草图或语言表达带场景约束的意图，传统规则规划难以从噪声指令中补全常识。CANVAS将视觉-语言指令转为增量导航目标，并用COMMAND人类示范数据进行模仿学习，使机器人学习人类偏好的路线与约束。实验显示其在办公室、街道、果园均优于ROS NavStack，果园成功率67%对0%，真实部署总成功率69%。
Robotics at Google, Georgia Institute of Technology, Meta AI
针对室外四足机器人长距离导航缺少真实训练数据、精确地图又难以维护的问题，论文提出 I2O：仅在大规模室内仿真短程任务中强化学习视觉导航策略，并用卫星图或人工草图等不精确 Context-Map 提供路线提示，再结合机载视觉避障。Spot 实机在3条户外路线中零样本完成百米级导航且无碰撞，而无地图上下文策略全部失败；仿真中地图噪声很大时性能会退化到无上下文水平。
CSE Department, HKUST, Tencent AI Lab, Bellevue, USA, Robotics X, Tencent, University of Pennsylvania
现有物体导航基准场景和目标类别过窄，难以检验 LVLM 的开放词表具身导航能力。DivScene 用 LLM+Holodeck 构建 4614 个房屋、81 类场景和 5707 类目标，并采样约 23K 条 BFS 最短路径；评测显示多数 LLM/LVLM 甚至难超随机，GPT-4o 成功率仅三成左右。作者再以最短路径模仿学习并加入 CoT 训练 NATVLM，成功率较 GPT-4o 高 20% 以上，说明增益可能主要来自大规模合成导航数据与监督路径。
University of California, Santa Cruz
面向真实环境中目标类别和场景不断变化、监督式目标导航泛化差且标注成本高的问题，ESC 将预训练视觉语言 grounding 与常识语言模型结合，并用概率软逻辑把“目标更可能在哪类房间/物体附近”的不确定常识转成前沿探索约束，无需导航训练。在 MP3D、HM3D、RoboTHOR 上显著优于零样本基线，如 MP3D 相比 CoW 成功率相对提升约 288%。
The University of Adelaide, The Australian National University
本文针对视觉语言导航中大模型推理能力尚不清楚、传统训练式智能体泛化受限的问题，提出纯 LLM 驱动的 NavGPT：将视觉基础模型生成的场景文本、历史轨迹和可行动作组织成提示，让 GPT 显式产生“思考+动作”。实验显示其可零样本进行子目标分解、地标识别、进度跟踪和异常调整，并能生成路线说明与俯视轨迹；但在 R2R 上仍明显落后于专门训练模型，瓶颈主要来自视觉转文本和历史摘要的信息损失。
Shanghai Jiao Tong University, Shanghai AI Laboratory, CFCS, School of CS, PKU, University of Chinese Academy of Sciences, The Chinese University of Hong Kong
面向长指令、多模态目标和复杂桌面操作中感知、规划、控制难以统一的问题，Instruct2Act让LLM生成可执行Python策略，按需调用SAM、CLIP和机器人技能API，把语言/图像/指点提示转成中层动作序列，而非端到端训练策略。在VIMABench六类任务、多个泛化级别上，该零样本框架表现优于多种学习式基线，但增益部分依赖外部基础模型能力。
The Hong Kong University of Science and Technology, The University of Hong Kong, Shanghai Jiao Tong University
这篇论文针对机器人等场景中“用户只表达需求、未给出物体类别”时传统检测难以定位的问题，提出基于推理的目标检测范式 DetGPT：先用大语言/多模态模型结合图像与自然语言意图推断应找的物体，再交给开放词汇检测器定位。作者构建了约 5000 张图像、3 万组问答的微调数据并开源，展示了如从“想喝冷饮”推理到冰箱的能力；但量化实验和相对增益在给定文本中未充分说明。
University of Michigan, New York University
面向家庭机器人在三维场景中按复杂语言找物体的问题，论文指出纯 CLIP 式开放词汇定位容易忽略属性、空间关系和目标/地标角色。LLM-Grounder 将大语言模型作为智能体，先拆解查询，再调用 OpenScene 或 LERF 生成候选框，并结合距离、体积等反馈做空间与常识推理，无需标注训练。其在 ScanRefer 零样本设置下提升现有开放词汇方法并达到当时 SOTA，且语言越复杂增益越明显。
Beijing Institute for General Artificial Intelligence (BIGAI)
针对3D视觉语言模型常依赖任务专用结构、辅助损失和训练技巧而难以统一迁移的问题，3D-VisTA用较朴素的自注意力Transformer完成单模态建模与跨模态融合，并将物体间空间关系注入注意力；同时构建ScanScribe，用278K场景文本对进行掩码语言/物体建模和场景文本匹配预训练。微调后在3D定位、密集描述、问答和情境推理等任务上刷新多项SOTA，并在少量标注下保持较好数据效率。
Alibaba Group
面向3D动作RPG战斗中高分辨率视觉、敌我状态判断与秒级响应的难题，CombatVLA以3B VLA从人类视频-键鼠动作数据学习，将动作组织为AoT序列，并结合动作跟踪器、CUBench、渐进式AoT训练和截断AoT执行框架。实验显示其在战斗理解上优于GPT-4o、Qwen2.5-VL等基线，实战执行较现有VLM游戏智能体加速约50倍，任务成功率高于人类玩家。
Carnegie Mellon University, Tsinghua University
真实操作任务同时涉及避障、收敛、柔顺力控等相互冲突需求，固定状态动作表示或单一控制器难以覆盖。Meta-Control 将技能生成表述为分层模型控制综合，让 LLM 选择任务/跟踪空间并基于模板组合动力学模型与控制器，模拟专家由抽象到具体的设计流程。实验在仿真和 Kinova 真机的四类任务上合成可执行控制系统，消融显示分层与模板显著提高设计、组合和执行成功率。
Inria (Flowers), University of Bordeaux, Sorbonne University, ISIR
论文针对LLM在交互环境中虽有常识先验却缺乏功能性 grounding、导致行动知识与环境动力学错配的问题，提出GLAM：将FLAN-T5直接作为文本环境策略，在BabyAI-Text中依据目标和观测为动作赋概率，并用在线PPO随交互奖励更新。实验显示，相比零样本LLM、监督微调和从零训练RL，GLAM显著提升任务成功率、样本效率，并能泛化到新物体和部分新任务；但验证仍限于文本环境和较小动作空间。
面向家庭等未知三维环境，论文关注具身智能体不只导航、还需主动发现“哪些物体可被如何操作”。其核心是提出交互探索任务：用强化学习奖励成功交互，并在线训练基于 RGB-D 的可供性分割模型，将图像区域映射到动作成功概率以辅助探索。在 AI2-iTHOR 中，方法以少 42% 步数达到最佳基线表现，充分训练后发现 1.33 倍交互，并使多步下游任务成功率最高提升 16%。
Georgia Institute of Technology
本文针对具身问答从合成环境走向真实机器人感知的落差，将 EmbodiedQA 扩展到 Matterport3D 写实室内场景，并构建 MP3D-EQA 数据集，引入端到端点云感知导航模型与 Inflection Weighting 行为克隆损失。实验系统比较 RGB、点云及融合输入，发现随机/只前进基线因评测设置意外强，而点云在避障和导航学习上提供比 RGB 更有效的几何信号。
University of North Carolina at Chapel Hill
本文针对原始 EQA 只询问单一目标、难以处理跨房间/跨物体比较的问题，提出 Multi-Target EQA，将具身问答扩展为需导航到多个目标并比较颜色、大小、距离等属性的任务。方法上采用程序生成器、导航器、控制器和 VQA 的模块化架构，把问题拆成可执行子程序并在路径中选择相关观测。实验显示完整模型在导航与问答指标上显著优于 EQA-v1 式模型和强基线，消融也支持各模块作用。
Georgia Institute of Technology
面向具身问答中仅凭第一视角在陌生室内环境长程导航、奖励稀疏且部分可观测的问题，论文提出 Neural Modular Controller：由主策略把语言问题分解为可解释的语义子目标，如出房间、找房间、找物体，再由专门子策略执行；训练上先用模仿学习预热，再以强化学习独立和联合微调。该层级模块化缩短决策时域并提升样本效率，在 House3D/EQA v1 上相比既有方法显著改善导航距离和答题准确率。
Georgia Institute of Technology
论文针对传统 VQA 缺少行动与环境 grounding 的问题，提出 EmbodiedQA：智能体需在未知 3D 房屋中仅凭第一视角 RGB 导航以回答问题。核心贡献是构建 House3D 上的 EQA 数据集、评测协议，以及将导航分解为 planner-controller 的层级模型，并结合模仿学习与强化学习训练。实验显示，RL 微调可提升问答准确率，并在未见环境上检验泛化，但任务仍显著困难。
Amazon Alexa AI, University of Southern California
面向物体重排中配置组合爆炸、离线数据难以覆盖新场景的问题，论文提出 NCS：从像素交互中学习物体中心表示，并将实体分解为动作不变的类型与动作相关的状态，再构建可复用的层次化状态转移图进行搜索与控制。实验表明，该方法在模拟重排任务上比离线深度 RL 和基于学习模型的规划方法更能零样本泛化到不同数量与配置的物体。
CFCS, School of Computer Science, Peking University, Shanghai AI Lab
现有导航基准多考察语义理解，缺少对空间尺度、关系和结构推理的系统评测。NavSpace通过问卷确定六类空间智能任务，并人工构建1228条轨迹-指令对，用于评估22个导航模型与多模态大模型。结果显示当前MLLM在具身导航空间推理上仍明显受限，导航大模型优于轻量模型；作者进一步提出SNav，在NavSpace和真实机器人测试中超过已有方法，作为新的强基线。
Beihang University, Beijing Academy of Artificial Intelligence
面向机器人在杂乱三维场景中按空间指令定位交互点的需求，RoboRefer 将独立深度编码器用于3D感知，并以SFT到RFT的训练流程强化显式多步空间推理；同时构建含2000万QA的RefSpatial和RefSpatial-Bench。实验中SFT模型单步空间理解平均成功率89.6%，RFT模型在新基准上较Gemini-2.5-Pro平均高17.4%，并可接入UR5、G1等机器人执行长程任务。
CSE Department, HKUST, Tencent AI Lab, Bellevue, USA, Robotics X, Tencent, University of Pennsylvania
现有物体导航基准场景和目标类别有限，难以检验 LVLM 的开放词表具身导航能力。DivScene 用 LLM+Holodeck 构建 4614 个、81 类场景，并采样约 23K 条 BFS 最短路径，覆盖 5707 类目标；评测显示多数 LLM/LVLM 甚至不及随机，GPT-4o 成功率仅三成左右。作者再用这些路径和 CoT 解释微调 Idefics2 得到 NATVLM，成功率较 GPT-4o 高 20% 以上，提示数据驱动的模仿学习对导航能力提升显著。
Seoul National University, Yonsei University
ReALFRED针对现有具身指令跟随基准在交互性、真实视觉外观与空间规模之间难以兼顾的问题，将ALFRED式长程家务任务扩展到真实3D扫描的多房间场景，并收集可交互物体与自由语言指令。实验显示，多种在合成ALFRED上设计的模型在该基准各项指标上明显下降，sim-to-real适配仍落后于真实扫描训练，主要难点来自大空间导航和房间间狭窄通道。
Yonsei University, Seoul National University
该文针对具身指令跟随智能体通常一次性获得全部训练数据、难以模拟部署后持续遇到新行为和新环境的问题，提出 Behavior-IL 与 Environment-IL 两个在线持续学习基准设定，并给出无需任务边界的 CAMA：按模型置信度用滑动平均更新记忆中的 logits，以缓解过期知识蒸馏和遗忘。实验显示其在两类设定下多数指标较既有方法有明显提升。
Yue Wu1,2, Xuan Tang1, Tom Mitchell1, Yuanzhi Li1,2, Carnegie Mellon University, Microsoft Research
该文本实际对应 ALFWorld 而非题名中的 SmartPlay，判断受限于元数据与正文不一致。论文动机是让具身智能体像人一样先在语言层面进行抽象规划，再落地到视觉环境执行。核心创新是构建对齐的 TextWorld-ALFRED 交互环境，并提出 BUTLER 先学文本高层策略、再转为低层动作。结果显示其可零样本迁移到未见具身任务，训练约快 7 倍且泛化优于仅在视觉环境训练。
MIT CSAIL, MIT-IBM AI Lab
RoboGen针对仿真机器人学习中任务、场景、资产和奖励等仍需大量人工构建、难以规模化的问题，提出“生成式仿真”流程：用基础/生成模型产生任务、场景与训练监督，再结合物理仿真、强化学习、运动规划或轨迹优化学习技能，而非直接让大模型输出低层动作。实验显示其能持续生成涵盖刚体/关节体、可变形物体操作和腿足运动的多样技能示范，任务多样性超过既有人造数据集。
University of Washington, Microsoft Research, Montréal, Carnegie Mellon University, Microsoft Research
针对具身智能中“可在语言层面抽象规划、再落地到视觉环境执行”的训练基础设施缺失，ALFWorld 将 TextWorld 文本交互与 ALFRED/THOR 具身仿真对齐，提供同一任务的高层文本动作与低层物理执行视图，并提出模块化 BUTLER 先在文本世界模仿学习再迁移到具身环境。实验显示，该预训练可零样本泛化到未见 ALFRED 任务，训练约快 7 倍，且优于仅在视觉环境从零训练或依赖演示的基线。
Paul G. Allen School of Computer Sci. & Eng., Univ. of Washington, Allen Institute for AI, NVIDIA
ALFRED面向机器人在家庭场景中把自然语言落地为长序列操作的难题，弥补以往导航或静态视觉语言基准缺少物体交互、状态变化和组合任务的不足。它在AI2-THOR中构建8055条专家演示、2.57万条高低层指令，并要求输出动作及像素级交互掩码。实验显示现有Seq2Seq类基线任务成功率低于5%，与人类约91%差距巨大，说明瓶颈在长程规划、状态跟踪和视觉语言 grounding。
VIMA瞄准机器人操作中任务说明形式割裂的问题，将语言指令、视觉目标、一次性演示和约束统一为交错文本/图像的多模态提示，并构建VIMA-BENCH：17类程序生成桌面任务、60万+专家轨迹和四级泛化评测。其对象中心Transformer代理自回归输出动作，在最难零样本设置中较替代设计最高提升2.9倍成功率，少10倍数据仍优于最佳变体2.7倍。
Beijing Institute for General Artificial Intelligence (BIGAI), Tsinghua University, Peking University
SQA3D针对具身智能在真实三维环境中不仅要识别物体、还要从自身位置和朝向理解场景并推理行动的问题，提出“情境化3D问答”基准：模型需先根据文本定位/想象第一人称情境，再回答涉及空间关系、导航、常识和多跳推理的问题。数据集基于650个ScanNet场景，含6.8k情境、20.4k描述和33.4k问题；实验显示最佳现有模型仅47.20%，远低于人类90.06%，主要瓶颈在情境理解和3D表示。
Paul G. Allen School of Computer Science, University of Washington, Allen Institute for Artificial Intelligence, Nvidia
论文针对传统 VQA 只能被动看图、难以支撑家庭机器人按问题主动查找和操作的局限，提出交互式问答 IQA，并基于 AI2-THOR 构建含 7.5 万题的 IQUAD V1 基准。方法上用 HIMN 将规划、导航、操作、检测、扫描和回答分层解耦，并以自中心空间 GRU 维护语义空间记忆。实验显示该层次化模型在问答准确率和未见场景泛化上优于单控制器强化学习基线。
Key Laboratory of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS, University of Chinese Academy of Sciences, Beijing Academy of Artificial Intelligence
面向具身智能在真实动态环境中需理解细节、记忆物体状态变化的问题，Env-QA将动态环境理解转化为视频问答基准，在AI2-THOR中构建2.33万第一视角交互视频和8.51万问答，覆盖环境属性、布局、事件与时序关系；作者还提出按事件分段并注意关键事件的TSEA模型，实验显示其优于消融版本，但整体准确率约47%，暴露出长时状态跟踪、多事件推理和计数仍是主要瓶颈。
Tsinghua University
LEGENT针对现有具身仿真平台难以与LLM/LMM对接、且开放数据不足的问题，提供可交互3D环境、人形第一视角智能体、语言交互接口，并配套场景与轨迹生成流水线以规模化产生监督数据。作者用其数据训练初步视觉-语言-动作模型，在导航和具身问答中超过未做具身训练的GPT-4V，并显示一定未见场景泛化能力。
Allen Institute for AI, University of Washington, Stanford University, Carnegie Mellon University
该文针对真实机器人训练昂贵、慢且难以覆盖多样室内场景的问题，提出 AI2-THOR 作为可交互的近真实 3D 室内仿真平台。核心在于用 Unity+Python API 统一支持导航、物体状态变化、机械臂/抽象交互、多模态渲染和元数据，并扩展到 iTHOR、RoboTHOR、ProcTHOR 等场景集。主要结果是平台成为具身 AI、视觉问答、规划和操作等任务的通用测试床，文中称已支撑 150 余篇研究；具体算法增益多依赖后续工作，本文本身未充分说明定量提升来源。
全文短总结尚未生成。
Facebook AI Research, Facebook Reality Labs, Georgia Institute of Technology, Simon Fraser University, Intel Labs, UC Berkeley
针对真实机器人训练慢、危险且难复现，以及具身智能仿真生态割裂的问题，论文提出 Habitat 平台，将高速可配置的 Habitat-Sim 与用于任务定义、训练和评测的 Habitat-API 统一起来，并支持多种3D数据集。实验以点目标导航为例表明，大规模训练后学习方法可超过SLAM；跨 Matterport3D/Gibson 泛化中，只有深度传感器智能体表现稳定，提示增益可能主要来自 scaling 与深度几何信息。
Facebook AI Research, Georgia Tech, Intel Research, Simon Fraser University, UC Berkeley
面向家务助手机器人，论文指出真实硬件训练慢、贵且难复现，因此构建可交互家庭仿真研究栈。核心贡献是 ReplicaCAD 可重配置公寓数据、支持刚体/关节物体的高速 Habitat 2.0，以及整理、备餐、摆桌等 HAB 长时程移动操作基准。结果显示其仿真速度较既有系统大幅提升；在任务上，平坦 RL 难以串联技能，分层方法更强但有交接问题，传统感知-规划-执行管线更脆弱。
Google Research, Brain Team
论文针对链式思维提示在“测试题比示例更难”时泛化差的问题，提出 least-to-most prompting：先用少样例把复杂问题分解为更简单子问题，再按顺序利用已解答案逐步求解，无需训练或微调。实验覆盖符号操作、组合泛化和数学推理；在 SCAN 各划分上，GPT-3 code-davinci-002 仅用 14 个示例达到至少 99% 准确率，而 CoT 约 16%。
Department of Computer Science, Princeton University 2, Google Research, Brain team
论文针对大模型中“推理”和“行动”常被割裂、导致静态 CoT 易幻觉而纯行动缺少计划记忆的问题，提出 ReAct：让模型交替生成自然语言思考、环境动作和观测反馈，使外部检索/交互反过来校正推理。实验覆盖 HotpotQA、Fever、ALFWorld 与 WebShop；在问答和事实验证中提升可解释性并缓解错误传播，在两个交互决策任务上分别较模仿/强化学习基线提高 34% 和 10% 成功率。
Virginia Tech, Microsoft
这篇论文针对 CoT/ToT 等方法在复杂推理中依赖多轮查询、成本和延迟较高的问题，提出 Algorithm of Thoughts：用包含搜索过程的算法式示例进行上下文学习，让 LLM 在单次或少量生成中内化系统探索。实验显示其在多类推理任务上优于传统单查询提示，并能以更少 token 接近或超过多查询树搜索方法，但具体增益来源仍需进一步拆解。
ETH Zurich, Cledar, Warsaw University of Technology
论文针对 CoT 线性推理和 ToT 树状搜索难以表达跨路径合并、回溯与反馈的问题，提出 Graph of Thoughts，将 LLM 生成的“思考”作为图节点、依赖作为边，从而用任意图组织分解、评分、保留、聚合等操作。该框架不改模型而扩展提示范式，并给出可插拔实现。实验在排序、集合运算、关键词计数和文档合并上验证，排序质量较 ToT 提升约 62%，同时成本降低超过 31%。
Princeton University, Google DeepMind
该文针对大模型推理仍受自回归逐 token 生成限制、难以进行探索和回溯的问题，提出 Tree of Thoughts：把中间“想法”组织成搜索树，并用模型自评结合 BFS/DFS 等策略选择路径。实验在 24 点、创意写作和迷你填字中优于 IO/CoT；其中 GPT-4 做 24 点由 CoT 的 4% 提升到 74%，但代价是更多推理调用。
Google Research, Brain Team
针对大模型仅靠规模扩展仍难处理算术、常识和符号推理的问题，论文提出在少样本提示中加入“输入—中间推理链—答案”示例，以自然语言步骤诱导模型分解问题。实验显示该方法在足够大的模型上显著优于标准提示，PaLM 540B 仅用 8 个示例就在 GSM8K 上达到当时最优，说明推理能力可通过提示形式被激发。
NVIDIA, Stanford
针对具身智能体常在封闭环境、手工目标中从零学习而难以泛化的问题，MINEDOJO以Minecraft构建开放式基准，提供数千个自然语言任务、统一观测/动作接口，以及包含73万余YouTube视频、Wiki和Reddit的互联网规模多模态知识库。论文进一步用视频-文本对比模型作为开放词汇奖励训练RL智能体，在12个任务中多数可完成，性能接近或超过手工密集奖励，部分成功率提升最高73%。
针对具身指令智能体缺少昂贵语言—轨迹标注、难以把新词和视觉概念落到自身动作空间的问题，论文将 Flamingo 等生成式 VLM 作为事后经验回放的重标注器，用提示控制轨迹描述，把互联网规模预训练获得的通用 grounding 蒸馏到具体智能体。实验在 Playhouse 抬举任务中表明，该方法可零/少样本教授物体名、颜色属性、类别乃至临时偏好，性能明显优于原始智能体，并分析了 VLM 噪声对下游表现的影响。
The Chinese University of Hong Kong
面向机器人等场景中用户常以隐式指令表达目标、传统分割需显式类别或指代的问题，论文提出“推理分割”任务与 ReasonSeg 基准。LISA 在多模态 LLM 词表中加入 <SEG>，将该 token 的隐藏表示解码为掩码，使模型同时生成解释文本和像素级分割。实验显示，仅用非推理分割数据训练已有较强零样本能力，少量 239 个推理样本微调可进一步提升。
Carnegie Mellon University, Tsinghua University
面向真实操作中精确运动、力顺应、安全避障与收敛等需求相互冲突的问题，Meta-Control不再依赖固定动作空间或手工技能库，而是让LLM模仿控制专家的分层、模型化设计流程，自动选择任务/跟踪空间并组合动力学模型与控制器模板。实验在仿真和Kinova Gen3上覆盖安全抓放、开门、平衡等异构任务，显示其能合成可执行控制系统并通过少量试错调参，消融表明层级表述和模板约束显著提升设计、组合与执行成功率。