Awesome World Models

World Models

David Ha, Jürgen Schmidhuber

受人类依靠内部心智模型进行快速直觉决策的启发，本文针对传统无模型强化学习难以训练大规模网络的信用分配瓶颈，提出将智能体解耦为无监督预训练的大容量世界模型与极简控制器：世界模型由变分自编码器和混合密度网络循环神经网络构成，分别学习环境的压缩空间表征与时序动态；基于此表征，一个小型线性控制器即可学会复杂任务，甚至能完全在世界模型生成的“梦境”中完成训练并成功迁移回真实环境。

A Path Towards Autonomous Machine Intelligence

作者信息待提取

当前AI远不及人类高效学习与规划，LeCun指出关键在于缺乏可自我监督习得的世界模型与常识。本文据此提出一套完全可微的自主智能体认知架构：以JEPA及层次化H-JEPA为核心，在表征空间进行非生成式预测，通过非对比自监督学习构建多尺度抽象表示，再基于模型预测控制与内在动机驱动实现层次化推理与规划，为构建类人自主机器智能提供了系统性的架构与训练范式路径。

Towards Video World Models

作者信息待提取

这篇工作系统梳理了从视频生成迈向真正视频世界模型的路径。作者首先辨析了“世界模型”的两种范式——内部语义理解模型与外部高保真仿真器，继而指出当前Sora、Veo3等视频生成器尚非真正的世界模型，因其缺乏因果性、交互性、持续性、实时性与物理准确性。文章逐章剖析这五大关键属性，强调需以自回归扩散Transformer替代双向注意力来重塑因果时序，通过动作注入实现交互控制，借助状态空间模型维持长时一致，并结合扩散蒸馏达成实时生成；文中未报告定量实验结果，主要为机器人、自动驾驶与游戏仿真等具身应用提供技术路线梳理。

Beyond the Hype: How I See World Models Evolving in 2025

作者信息待提取

作者针对世界模型热潮提出冷思考，认为基于视频的像素空间路线比3D Mesh更易扩展，算法已收敛为Diffusion Forcing加DiT/UNet架构。核心判断是世界模型并非继LLM后的下一个爆款，而是多模态视频生成的附属；在具身智能中难以替代真实模仿学习，只能作仿真器补充，物理准确性应是数据驱动涌现属性。文中展望了物理部署、长时序记忆、多模态融合、实时推理与多智能体五大方向，并指出具身智能的未来属于通用策略模型而非世界模型。

Jim Fan's tweet

作者信息待提取

全文短总结尚未生成。

Keynote: Yoshua Bengio, Yann Lecun, Jurgen Schmidhuber, Sherry Yang, Shirley Ho, etc. (Youtube Streamning included)

作者信息待提取

Yann LeCun 在 MILA 世界模型研讨会上提出，当前 VLA 与 LLM 策略受限于反应式映射，缺乏零样本规划与长程安全保证，而智能的本质应是对未来状态的推理。其核心洞察在于，世界模型不应预测像素，而是在抽象表征空间中对动作条件状态转移进行推演；通过 MPC 在隐空间搜索最优动作序列，并以显式代价与约束评估替代奖励最大化，从而避免奖励作弊并支持分层规划。该框架有望提升机器人数据效率与跨环境泛化，实现执行前的显式安全验证，但文中未呈现具体实验结果。

Is Sora a World Simulator? A Comprehensive Survey on General World Models and Beyond

作者信息待提取

该综述以Sora引发的“世界模拟器”之问为切入点，系统梳理了通用世界模型在视频生成、自动驾驶与自主智能体（含机器人）三大方向的前沿进展。论文揭示了生成模型与世界模型之间的共生机制，剖析了Sora、DriveDreamer及Dreamer系列等代表性工作的技术路径，并总结了当前世界模型在物理规律建模、评测公平性与数据质量方面的核心瓶颈与未来趋势。

Exploring the Evolution of Physics Cognition in Video Generation: A Survey

作者信息待提取

Huazhong University of Science and Technology, Westlake University, Shandong University, Tsinghua University, Zhejiang University

当前视频生成模型虽视觉逼真，却常违背牛顿力学与动量守恒等规律，陷入“视觉真实但物理荒谬”的困境，严重制约其在机器人与自动驾驶等领域的可靠应用。本文从认知科学视角出发，系统梳理物理认知在视频生成中的演进脉络，提出基于皮亚杰认知发展理论的三层分类体系：基本图式感知、物理知识被动认知与主动世界模拟认知，涵盖前沿方法、经典范式与基准测试。该综述为构建可解释、可控且物理一致的视频生成范式提供了从“视觉模仿”迈向“类人物理理解”的系统路径与方向指引。

3D and 4D World Modeling: A Survey

作者信息待提取

现有世界模型研究多聚焦2D图像与视频，却忽视了RGB-D、占据网格与LiDAR点云等原生3D/4D表示在动态环境建模中的关键作用，且术语定义模糊导致文献碎片化。本文首次专门针对3D与4D世界建模进行全面综述，明确其数学定义，提出基于VideoGen、OccGen与LiDARGen的分层分类法，并依生成与预测范式将现有方法归纳为数据引擎、动作解释器、神经模拟器与场景重建器四类。该工作进一步系统整理了专用数据集、评估指标及自动驾驶与机器人等落地应用，为领域提供了统一的基础参照。

Understanding World or Predicting Future? A Comprehensive Survey of World Models

作者信息待提取

NICHOLAS SUKIENNIK, CHEN GAO, FENGLI XU, YONG LI, Department of Electronic En-, gineering, Beijing National Research Center for Information Science and Technology (BNRist), Tsinghua, University, China, Information Science and Technology (BNRist), Tsinghua University, China

这篇综述旨在解决世界模型领域因多模态大模型与视频生成技术快速发展而凸显的统一定义缺失与系统性不足问题。其核心贡献在于提出一套围绕“构建内部表示以理解世界机制”和“预测未来状态以指导决策”两大功能的新分类框架，并据此梳理了自动驾驶、机器人、生成式游戏及社会模拟等应用场景如何分别侧重不同能力。文中还总结了当前技术进展并指出了未来研究的关键挑战与趋势。

From 2D to 3D Cognition: A Brief Survey of General World Models

作者信息待提取

NINGWEI XIE, China Mobile Research Institute, China, ZIZI TIAN, China Mobile Research Institute, China, LEI YANG , China Mobile Research Institute, China, XIAO-PING ZHANG , Shenzhen Ubiquitous Data Enabling Key Lab, Shenzhen International Graduate, School, Tsinghua University, China

本文系统综述了世界模型从2D视觉模拟向3D空间认知演进的范式转变。针对现有2D方法在物理动态建模与空间因果推理上的不足，作者提出以3D表征与世界知识为两大支柱的概念框架，并据此拆解出3D物理场景生成、空间推理与空间交互三大核心认知能力。论文进一步梳理了相关技术在具身智能、自动驾驶、数字孪生与游戏VR中的应用路径，并总结了数据、建模与部署层面的关键挑战及未来方向。

A Comprehensive Survey on World Models for Embodied AI

作者信息待提取

针对具身智能领域世界模型缺乏统一分类体系的现状，本文提出了一个三轴分类框架：功能上区分决策耦合与通用型模型，时间建模上区分顺序模拟推断与全局差异预测，空间表征上涵盖从全局潜在向量到分解渲染的四种范式。该综述系统整理了机器人、自动驾驶与通用视频场景下的数据资源与评测指标，对前沿模型进行了定量对比，并指出当前核心挑战在于统一数据稀缺、物理一致性评估指标缺失、实时控制的效率权衡以及长程推演中的误差累积问题。

A Survey: Learning Embodied Intelligence from Physical Simulators and World Models

作者信息待提取

本文面向通用人工智能背景下的具身智能发展需求，提出了一套从基础执行到完全自主社会智能的五级机器人能力分级体系（IR-L0至IR-L4），并系统综述了物理模拟器与世界模型在其中的互补作用：前者提供高保真外部训练环境，后者构建内部预测表征以支持决策与规划。文章梳理了机器人移动、操作与人机交互的最新技术，对比分析了主流物理模拟器的能力，并详细讨论了世界模型在自动驾驶和关节型机器人中的代表性进展，指出二者的深度协同是弥合仿真到现实鸿沟、提升机器人自主性、适应性与泛化能力的核心路径。

Embodied AI Agents: Modeling the World

作者信息待提取

Meta AI Research, Future research directions include embodied AI learning, improving multi-agent collaboration and

Meta AI综述了具身AI智能体的世界模型框架，提出世界模型是虚拟化身、可穿戴设备和机器人实现自主推理与规划的核心。论文将具身智能体分为三类，系统阐述了物理世界模型（涵盖多模态感知、运动与动作规划、记忆）和心理世界模型（理解用户意图与社会上下文）的构建方法，并梳理了各类智能体的能力谱系、架构模型及基准测试，最后展望了具身学习、多智能体协作与伦理挑战。

Aligning Cyber Space with Physical World: A Comprehensive Survey on Embodied AI

作者信息待提取

本文系统综述了多模态大模型与世界模型驱动的具身人工智能进展，聚焦如何弥合赛博空间与物理世界的鸿沟。研究动机在于通用人工智能不能仅停留于虚拟环境的抽象推理，必须通过与物理实体交互实现真正的智能。作者提出具身智能体的ABC框架，将AI大脑、身体与跨模态传感器统一于世界模型之中，并围绕具身感知、交互、智能体构建及仿真到真实迁移四大方向，系统梳理了前沿方法、核心范式、主流模拟器与数据集。文中指出，大模型虽显著提升了跨模态理解与任务规划能力，但长期记忆、复杂意图理解与细粒度任务分解仍是制约瓶颈，最后总结了关键挑战与未来趋势。

From Generative Engines to Actionable Simulators: The Imperative of Physical Grounding in World Models

作者信息待提取

Department of Engineering Science, University of Oxford, Oxford

现有世界模型常将高保真视频生成等同于物理因果理解，引发动态幻觉与安全风险。本文主张将其从“视觉引擎”重构为“可行动模拟器”，围绕结构化4D界面、约束感知动态与闭环自演化建立统一框架，强调物理锚定与因果结构编码。以医疗决策为压力测试表明，世界模型的价值不取决于视觉逼真度，而取决于支撑反事实推理、干预规划与长程稳健预见的能力，并呼吁以闭环决策导向评估取代单纯的视觉质量评价。

Do World Action Models Generalize Better than VLAs? A Robustness Study

作者信息待提取

Huawei Technologies, University of Toronto

这篇工作针对VLA在机器人操作中泛化与鲁棒性不足的问题，系统对比了世界动作模型（WAMs）与主流VLA及混合方法在LIBERO-Plus和RoboTwin 2.0-Plus扰动基准上的表现。研究发现，得益于视频预训练的时空动态先验，WAMs在视觉与语言扰动下鲁棒性更强，LingBot-VA和Cosmos-Policy分别在双臂与单臂任务上领先；而VLA如π0.5虽可达到相近水平，却依赖大规模多样化数据与复杂训练目标。此外，混合方法的鲁棒性高度依赖视频先验的整合方式，而WAMs的简单预训练范式与其高推理延迟构成关键权衡，Fast-WAM等加速方案虽缓解延迟却可能在数据不足时泛化崩溃。

WorldScape: A Unified Real-time World Model Integrating Locomotion And Manipulation

作者信息待提取

现有交互世界模型往往只能在实时性、3D一致性或交互模式等单一维度取得优势，难以同时支持移动与操作，且长期记忆能力不足。WorldScape 提出统一的动作-世界状态建模框架，将导航与操作整合进同一生成过程，训练时显式引入3D几何感知约束与记忆感知的KV缓存机制，并结合基于Self Forcing的非对称蒸馏，在单卡GPU上实现近24 FPS的实时交互。实验表明，该模型在WorldScore基准的视觉质量、交互精度、空间一致性与长程记忆等维度达到均衡领先。

A Survey of World Models for Autonomous Driving

作者信息待提取

(CCAI), Zhejiang University, China, Collaborative Innovation Center of Artificial Intelligence (CCAI), Zhejiang University, Hangzhou, Zhejiang, China, Manuscript submitted to ACM

本文针对自动驾驶世界模型现有综述分类粗糙、缺乏预测与规划交互讨论的问题，系统提出了三层级分类体系：未来物理世界生成（涵盖图像、BEV、占用栅格与点云，结合扩散模型与4D占用预测）、智能体行为规划（规则与学习驱动结合，优化代价图与强化学习）以及预测与规划的交互（潜在空间扩散与记忆增强架构）。同时梳理了自监督学习、多模态预训练等训练范式，并评估了其在场景理解与运动预测中的性能，为复杂城市场景下的可靠部署提供了技术路线图。

World Models for Autonomous Driving: An Initial Survey

作者信息待提取

本文针对自动驾驶系统亟需未来预测与常识推理能力、以弥合人机认知鸿沟的动机，系统综述了世界模型从控制论到深度学习的演进脉络及其在自动驾驶中的理论基础与实际应用；文章指出世界模型通过生成预测场景可有效缓解数据稀缺瓶颈，并深入剖析了长期可扩展记忆整合、仿真到现实泛化等核心挑战与未来研究方向。

Exploring the Interplay Between Video Generation and World Models in Autonomous Driving: A Survey

作者信息待提取

本文系统梳理了自动驾驶领域视频生成与世界模型的交叉研究，动机在于填补现有综述对两者结构性关联关注不足的空白。核心洞察在于揭示扩散模型框架下两者的同构性：均遵循“自编码器提取特征+生成模型合成数据”的两阶段范式，并以JEPA、Genie、Sora等为例说明世界模型尚缺乏统一定义。文中进一步分析了基于GAN、VAE及扩散模型的视频生成方法，讨论了Chamfer距离与FID等评估指标，最终指出了高保真长序列生成与模型泛化性等关键挑战及未来方向。

Progressive Robustness-Aware World Models in Autonomous Driving: A Survey

作者信息待提取

全文短总结尚未生成。

From Masks to Worlds: A Hitchhiker's Guide to World Models

作者信息待提取

现有研究对世界模型的定义纷繁杂乱，缺乏构建真正世界模型的共识。本文跳出传统综述的罗列模式，提出真正的世界模型应由生成核心、实时交互闭环与持久记忆系统三大子系统融合而成，并将领域演进重新梳理为从掩码预训练到统一架构、再到交互式生成与记忆增强的五阶段脉络。作者主张，只有沿着这条"狭窄道路"整合三者，才能从静态预测器迈向具备持久性、自主性与涌现性的"活的世界"，为下一代世界模型提供了明确的架构路线图。

The Safety Challenge of World Models for Embodied AI Agents: A Review

作者信息待提取

University of Pisa, Huawei RAMS Lab, Technical University of Munich, Technical University of Berlin, University of Manchester

现有世界模型综述多聚焦性能与分类，却忽视了具身智能中错误预测可能引发的灾难性安全风险。本文首次系统聚焦于自动驾驶与机器人领域中的场景生成与控制任务，提出涵盖视觉质量、时间一致性、交通与物理合规性等维度的“病理”评估标准。通过对多个SOTA模型的输出进行大规模收集、分类与定量分析，研究揭示了当前世界模型在生成安全可控的未来观测与动作方面存在显著且可量化的系统性故障模式。

World Models in Artificial Intelligence: Sensing, Learning, and Reasoning Like a Child

作者信息待提取

JAVIER DEL SER, TECNALIA, Basque Research & Technology Alliance (BRTA), Spain and Department of, Mathematics, University of the Basque Country (UPV/EHU), Spain, HEIMO MÜLLER, Medical University Graz, Austria, ANDREAS HOLZINGER, University of Natural Resources and Life Sciences Vienna, Austria, remains limited to statistical correlations

针对当前人工智能仅依赖统计相关性而缺乏真正推理与常识的局限，本文受皮亚杰儿童认知发展理论启发，提出AI应像儿童一样通过感知、表征、推理与泛化的结构化阶段，主动建构可解释且动态更新的世界模型。论文指出，整合物理信息学习、神经符号学习、持续学习、因果推断、人在回路及负责任AI六大方向，是将AI从模式识别推向真正理解、适应与推理的关键路径。

World Models: The Safety Perspective

作者信息待提取

这篇综述从安全视角审视了世界模型在具身智能体中的应用。随着大语言模型与生成式AI的发展，世界模型已成为AI智能体系统的核心组件，但自回归模型固有的幻觉等问题在自动驾驶和机器人等安全关键场景中带来显著风险。文中按时间顺序梳理了从RNN、LSTM到Transformer和扩散模型的技术演进，系统分析了当前世界模型在可信性与安全性方面的不足，并提出了构建更安全、更可信赖的世界模型的优先研究方向。

A survey on model-based reinforcement learning

作者信息待提取

全文短总结尚未生成。

On Memory: A comparison of memory mechanisms in world models

作者信息待提取

Department of Computer Science, Southern Methodist University

该研究针对Transformer世界模型在长程想象rollout中因有效记忆跨度不足导致的感知漂移与闭环困难，从残差流动态视角将记忆机制解耦为记忆编码与记忆注入两个维度，系统比较了Cache、SSM、Titans三种编码方式与预置上下文、Additive、Cross Attention、AdaNorm、LoRA五种注入策略的组合。在MemoryMaze的状态召回任务中，Cache结合上下文预置取得最佳重建与潜在误差指标，SSM以紧凑隐状态获得接近Cache的表现，而AdaNorm与LoRA在图像质量上大多未超越基线ViT。

Diffusion Models Are Real-Time Game Engines

作者信息待提取

Google Research, Tel Aviv University, Google DeepMind

该工作旨在验证神经网络能否实时高质量模拟复杂游戏。作者提出GameNGen，将Stable Diffusion v1.4改造为自回归交互式世界模拟器：先以RL智能体采集多样化游玩数据，再通过条件噪声增强实现长轨迹自回归稳定性，并微调潜在解码器提升视觉细节与文字保真度。在DOOM上的实验表明，该模型可在单TPU上以20帧/秒实时运行，PSNR达29.4；人类评估者几乎无法区分其5分钟自回归生成片段与真实游戏画面，且模型能稳定模拟健康值、弹药、攻击敌人与开门等复杂游戏状态更新。

Diffusion for World Modeling: Visual Details Matter in Atari

作者信息待提取

University of Geneva, University of Edinburgh, Microsoft Research

现有世界模型大多依赖离散潜变量压缩环境动态，容易丢失对强化学习至关重要的视觉细节。本文提出DIAMOND，将扩散模型直接应用于像素空间的世界建模，并分析了使其在长时程想象中保持高效稳定的关键设计，如采用EDM框架以克服DDPM在极少去噪步数下的误差累积。在Atari 100k基准上，该方法取得平均1.46的人类标准化得分，创下纯世界模型训练智能体的新纪录；其扩散世界模型还能在CS:GO静态数据上独立作为可交互的神经游戏引擎运行。

MineWorld: a Real-Time and Open-Source Interactive World Model on Minecraft

作者信息待提取

Department of Cognitive Science, Sorbonne University, Department of Computer Science, Technical University Darmstadt

针对强化学习智能体易受虚假相关性误导、产生 shortcut 行为而难以泛化的问题，本文提出 COMET 算法，从环境内部状态与观测中提取可解释的以对象为中心的因果世界模型。该方法利用符号回归建立对象属性与相关内部状态的映射并推导状态转移方程，同时引入大语言模型对因果变量进行语义标注，从而剥离虚假相关、揭示真实因果机制。在 Pong 与 Freeway 等 Atari 环境中的实验表明，所提取的因果世界模型能够准确刻画对象动态，使智能体聚焦于任务相关特征并提升跨场景鲁棒性。

Oasis: A Universe in a Transformer

作者信息待提取

全文短总结尚未生成。

AnimeGamer: Infinite Anime Life Simulation with Next Game State Prediction

作者信息待提取

ARC Lab, Tencent PCG, City University of Hong Kong

现有无限动漫生活模拟工作仅依赖LLM将文本对话转为静态图像，忽视历史视觉上下文且缺乏动态性。本文提出AnimeGamer，基于多模态大语言模型，引入动作感知多模态表示刻画动画镜头，并通过视频扩散模型解码为高质量视频；模型以历史多模态上下文为条件预测下一游戏状态，同步更新角色属性，实现上下文一致且动态连贯的无限模拟。自动指标与人工评估表明，其在指令遵循、上下文一致性和整体游戏体验上优于现有方法。

Matrix-Game: Interactive World Foundation Model

作者信息待提取

针对视频世界模型面临的交互数据稀缺、细粒度控制困难及缺乏统一评测基准等挑战，本文提出面向游戏世界生成的交互式世界基础模型Matrix-Game。研究构建了含超2700小时无标注与1000小时键鼠动作标注的Minecraft数据集Matrix-Game-MC，并设计无标注预训练与动作标注微调的两阶段训练策略。所提170亿参数扩散模型以参考图像、运动上下文及用户动作为条件，在自研的GameWorld Score基准上全面超越Oasis与MineWorld，尤其在键鼠控制精度与物理一致性上提升显著。

Matrix-Game 2.0: An Open-Source, Real-Time, and Streaming Interactive World Model

作者信息待提取

现有交互式世界模型受限于双向注意力与多步去噪，无法对连续输入进行即时流式响应。为此，Matrix-Game 2.0提出基于因果架构的少步自回归扩散框架，结合KV缓存实现逐帧实时生成，并配套构建了面向Unreal Engine与GTA5的大规模数据生产管线以及帧级键鼠动作注入模块。实验表明，该系统在单张H100 GPU上可达25 FPS，能够稳定输出分钟级、高时间一致性且动作可控的交互视频，相关模型权重与代码均已开源。

From Virtual Games to Real-World Play

作者信息待提取

Microsoft Research, University of Sydney, Tsinghua University, University of Waterloo, Labeled Game Data

现有神经游戏引擎画面仍显虚拟，且真实数据标注成本高昂。本文提出基于扩散模型的RealPlay交互式真实世界游戏引擎，通过块级迭代生成及Diffusion Forcing，仅以标注游戏数据与无标注真实视频混合训练，无需真实动作标注即可生成交互式低延迟且时序一致的真实视频。其核心洞察是游戏控制信号可跨域迁移至真实场景，且单一车辆数据可泛化至自行车行人等多样真实实体。实验表明RealPlay控制成功率达90%，跨实体训练可提升单一实体控制性能，且真实世界显著难于虚拟游戏拟合。

GameFactory: Creating New Games with Generative Interactive Videos

作者信息待提取

The University of Hong Kong

现有生成式游戏引擎多局限于特定游戏场景，缺乏开放域泛化能力。本文提出GameFactory，利用预训练视频扩散模型的开放域生成先验，仅从小规模Minecraft数据中学习动作控制。关键洞察在于通过域适配器与多阶段解耦训练，将游戏风格学习与动作控制分离，避免微调导致模型坍塌到特定风格。实验表明，该方法能在樱花林、雪山等多样化开放域场景中，实现键盘与鼠标精确驱动的无限时长交互视频生成，突破了固定游戏模板的限制。

Worldmem: Long-term Consistent World Simulation with Memory

作者信息待提取

S-Lab, Nanyang Technological University, Wangxuan Institute of Computer Technology, Peking University, Shanghai AI Laboratory

现有视频生成模型因上下文窗口受限，难以维持长期世界模拟的3D空间一致性。本文提出WORLDMEM，通过外部记忆库存储历史生成帧及其姿态、时间戳等状态，并设计状态感知的记忆注意力机制，在生成时检索并关联跨越大幅视角或时间间隔的历史信息，从而在无需显式3D重建的情况下实现长期一致的动态世界模拟。实验表明，该方法在Minecraft和真实场景中能显著保持空间一致性并准确跟踪环境动态演化。

The Path to Real-Time Worlds and Why It Matters

作者信息待提取

Overworld团队发布Waypoint-1，旨在构建能随用户行动实时演化、类清醒梦体验的交互世界。其核心洞察在于将扩散模型从单次生成重构为持久化的有状态系统，实现世界状态增量更新与消费级GPU上的低延迟实时响应。该模型完全本地运行，以研究预览形式发布，支持用户在设备端持续体验连贯的AI原生世界。

HunyuanWorld 1.0: Generating Immersive, Explorable, and Interactive 3D Worlds from Words or Pixels

作者信息待提取

Tencent Hunyuan

针对视频生成缺乏真三维一致性与渲染效率、纯三维方法受限于数据稀缺和内存低效的问题，腾讯混元提出HunyuanWorld 1.0框架，以全景图作为360°世界代理，通过语义分层3D网格表示与智能体式场景分解，实现实例级对象解耦和逐层重建，并引入世界一致的视频扩散模型支持长程探索。实验表明，该方法可生成可导出为标准网格、支持实时交互的连贯三维世界，在虚拟现实、游戏开发和物理仿真等应用中达到领域最优水平。

Matrix-3D: Omnidirectional Explorable 3D World Generation

作者信息待提取

Hong Kong University of Science and Technology (Guangzhou), Institute of Computing Technology, Chinese Academy of Sciences, School of Artificial Intelligence, Beijing Normal University

现有单图或文本驱动的3D世界生成多基于透视视角，视野受限且易产生边界伪影。为此，Matrix-3D以全景视频为中间表示，提出轨迹引导的全景视频扩散模型，并用场景网格渲染替代点云作为相机条件，缓解摩尔纹与遮挡错误；同时设计前馈重建与优化重建双路径，将全景视频提升为可全向探索的3D高斯场景。依托自建的11.6万条全景视频序列Matrix-Pano数据集，该方法在全景视频生成与3D世界重建上取得了先进效果。

Cosmos-Drive-Dreams: Scalable Synthetic Driving Data Generation with World Foundation Models

作者信息待提取

Cosmos-Drive-Dreams: Scalable Synthetic Driving Data

针对自动驾驶领域真实数据采集成本高、长尾边缘场景稀缺的痛点，本文提出Cosmos-Drive-Dreams合成数据生成管线。该工作基于NVIDIA Cosmos-1世界基础模型，通过后训练得到Cosmos-Drive模型套件，实现了基于HDMap等结构条件的可控单视角视频生成、单视角到多视角扩展、野外视频自动标注及LiDAR点云生成。实验表明，经该管线生成并经VLM拒绝采样筛选的合成数据，能有效缓解长尾分布问题，并在3D车道检测、3D目标检测和驾驶策略学习等下游任务上带来泛化性能提升，即使补充大规模真实数据集仍有增益。

GAIA-2: A Controllable Multi-View Generative World Model for Autonomous Driving

作者信息待提取

GAIA-2: A Controllable Multi-View

现有视频生成模型难以满足自动驾驶对多相机一致性与细粒度场景控制的需求。GAIA-2提出一种潜空间扩散世界模型，利用高压缩率连续隐变量与时空分解Transformer，在统一框架内支持最多五路相机的高分辨率一致视频生成。模型接受自车运动、三维智能体框、道路拓扑及环境天气等结构化条件，并兼容外部驾驶模型嵌入，实现从零生成、上下文推演到局部修复的灵活推理。该系统可覆盖跨区域常见及长尾场景，但文中未充分说明相对前代的性能增益来源。

WorldLens: Full-Spectrum Evaluations of Driving World Models in Real World

作者信息待提取

现有驾驶世界模型评估多聚焦视觉真实感，缺乏对几何、物理与功能可靠性的统一衡量标准。为此，WorldLens提出覆盖生成、重建、动作跟随、下游任务与人类偏好的全谱基准，并构建WorldLens-26K人工标注数据集及WorldLens-Agent自动评估模型。实验表明，当前没有模型能在所有维度占优：视觉逼真的模型常违背物理规律，几何稳定的模型则行为保真度不足，且高感知质量并不保证下游任务性能，揭示了联合优化外观、几何与任务适配的必要性。

Copilot4D: Learning Unsupervised World Models for Autonomous Driving via Discrete Diffusion

作者信息待提取

University of Toronto

针对自动驾驶中无监督世界模型难以扩展的瓶颈，本文提出Copilot4D，核心思路是先用VQVAE将复杂点云观测离散化为token，再通过重新建模为离散扩散的MaskGIT框架实现高效并行解码与未来预测。该方法在NuScenes、KITTI Odometry和Argoverse2上显著超越先前SOTA，将1秒点云预测的Chamfer距离降低65%以上，3秒预测降低50%以上，并展现出准确的近期预测与多样的远期多未来生成能力。

OmniNWM: Omniscient Driving Navigation World Models

作者信息待提取

Shanghai Jiao Tong University, Eastern Institute of Technology, Ningbo, National University of Singapore, Tsinghua University

现有自动驾驶世界模型在状态模态、序列长度、动作控制与奖励建模上存在局限。OmniNWM提出统一的全知导航世界模型，通过灵活forcing策略联合生成全景RGB、语义、深度与3D占用的长程视频（达321帧）；引入归一化全景Plücker射线图将轨迹编码为像素级信号，实现精确且可泛化的相机控制；并基于生成占用定义内在密集规则奖励，支持闭环导航评估。实验表明其在生成质量、控制精度与长程稳定性上达到SOTA，且具备跨数据集零样本泛化能力。

Introducing GAIA-1: A Cutting-Edge Generative AI Model for Autonomy

作者信息待提取

针对现有世界模型在标注规模、低维表示与视觉真实感上的局限，GAIA-1提出将自回归世界模型与视频扩散解码器相结合：将视频、文本与动作映射为离散token序列进行下一token预测，再由扩散模型渲染为高保真未来视频，实现对自动驾驶场景的多模态条件生成与细粒度控制。在数千小时真实驾驶数据上训练后，模型涌现出对场景结构、动态、三维几何及因果关系的理解，并展现出一定的分布外泛化能力。

From Forecasting to Planning: Policy World Model for Collaborative State-Action Prediction

作者信息待提取

Collaborative State-Action Prediction, Dalian University of Technology

现有驾驶世界模型多与轨迹规划解耦，即便近期被纳入统一框架，世界建模与规划之间仍缺乏显式的知识协同。本文提出Policy World Model（PWM），通过无动作未来状态预测将世界知识显式引入规划过程，以模仿人类预期感知的方式实现状态-动作协同预测；同时设计了并行token生成与动态focal loss以提升视频预测效率。实验表明，仅依靠前视单目相机，PWM在nuScenes和NAVSIM上即可匹敌或超越多视角多模态的SOTA方法，并显著降低碰撞率。

Rethinking Driving World Model as Synthetic Data Generator for Perception Tasks

作者信息待提取

Peking University, Huazhong University of Science and Technology, Beijing Key Laboratory of Data Intelligence and Security (Peking University), Zhongguancun Academy

现有驾驶世界模型多聚焦生成质量，却忽视对下游感知任务的公平评估，此前方法因“合成预训练+真实微调”的倍率 epoch 策略而夸大了合成数据收益。本文提出 Dream4Drive，通过将视频拆解为深度、法线、边缘等 3D 感知引导图并渲染 3D 资产，再经 Diffusion Transformer 生成多视角编辑视频，实现了实例级跨视角一致的合成数据生成。实验表明，在严格对齐 epoch 的条件下，仅添加不足 2% 的合成样本即可显著提升 3D 检测与跟踪性能，并开源了驾驶场景 3D 资产集 DriveObj3D。

SparseWorld: A Flexible, Adaptive, and Efficient 4D Occupancy World Model Powered by Sparse and Dynamic Queries

作者信息待提取

Huazhong University of Science and Technology, Institute for AI Industry Research (AIR), Tsinghua University, Lenovo Group Limited, AIR Wuxi Innovation Center, Tsinghua University (AIRIC)

现有占据世界模型依赖静态网格，难以适应场景动态且计算冗余。SparseWorld以稀疏动态查询替代密集网格，通过自车状态调制查询实现自适应远距感知，并将分类预测改为回归引导以保持4D连续性，辅以自调度训练策略提升效率。在Occ3d-nuScenes上，其预测mIoU较密集基线提升20%-40%，规划碰撞率降低一半，推理快约7倍。

DriveVLA-W0: World Models Amplify Data Scaling Law in Autonomous Driving

作者信息待提取

NLPR, Institute of Automation, Chinese Academy of Sciences (CASIA), Yinwang Intelligent Technology Co. Ltd

现有VLA模型虽具规模潜力，却因仅依赖稀疏动作监督而陷入“监督赤字”，难以从海量数据中习得丰富的世界表征。DriveVLA-W0通过未来帧预测构建密集自监督信号，并针对离散与连续视觉表征分别配备自回归及扩散世界模型，再辅以轻量MoE动作专家降低推理延迟。在NAVSIM及七千万帧内部数据上的实验表明，该方法显著优于BEV与VLA基线，不仅将碰撞率降低20.4%，更放大了数据扩展定律；同时还发现，在大规模数据下简单的自回归解码器竟能反超复杂的flow-matching解码器。

Enhancing Physical Consistency in Lightweight World Models

作者信息待提取

现有世界模型难以在边缘设备兼顾轻量与物理一致性。本文提出Physics-Informed BEV World Model (PIWM)，以Soft Mask在训练中强化动态物体感知与动作敏感性，并设计零样本Warm Start提升推理稳定性。HighwayEnv实验显示，400M参数的PIWM较DIAMOND基线综合得分提升60.6%，而130M小模型更以快28%的推理速度超越400M基线7.4%，证明紧凑模型亦可嵌入物理信息。

IRL-VLA: Training an Vision-Language-Action Policy via Reward World Model

作者信息待提取

School of Communication and Information Engineering, Shanghai University, School of Mechanical Engineering, Shanghai Jiao Tong University, AIR, Tsinghua University, Beijing

现有VLA驾驶模型多依赖开环模仿学习，易复现数据集中的次优行为，而闭环训练又受制于高保真仿真器的域差距与计算开销。本文提出IRL-VLA，利用逆强化学习构建轻量级奖励世界模型，替代重型仿真器实现高效闭环奖励估计，并以PPO算法对VLA策略进行强化学习微调，在安全性、舒适性与通行效率之间取得平衡。该方法在NAVSIM v2端到端驾驶基准上取得当前最优性能，并获CVPR2025自动驾驶大奖赛亚军。

LiDARCrafter: Dynamic 4D World Modeling from LiDAR Sequences

作者信息待提取

现有世界模型多针对视频或占用栅格，忽视了LiDAR点云稀疏无序的特性，尚缺专门的4D动态LiDAR生成框架。本文提出LiDARCrafter，通过大语言模型将自然语言解析为自中心场景图，以三分支扩散网络生成显式的4D物体布局（含边界框、轨迹与几何先验），进而驱动距离图像扩散与自回归时序模块，实现高保真、时间连贯且支持插入删除等细粒度编辑的LiDAR序列合成。研究还建立了涵盖场景、物体与序列级的评估基准，nuScenes实验表明该方法在单帧保真度和序列一致性上均达最优。

FASTopoWM: Fast-Slow Lane Segment Topology Reasoning with Latent World Models

作者信息待提取

T Lab, Tencent

现有流式时序方法在车道拓扑推理中面临过度依赖历史查询、位姿估计失效时性能骤降以及时序传播不充分等瓶颈。本文提出的FASTopoWM通过快慢双通路设计加以解决：慢通路引入基于动作潜变量的查询与BEV隐式世界模型，实现从历史观测到当前时刻的状态传播；快通路负责单帧感知作为保底；统一框架下对历史查询与新初始化查询进行并行监督，使两系统相互增强并支持在位姿失效时灵活切换。在OpenLane-V2基准上，车道段检测mAP达37.4%，中心线感知OLS达46.3%，均显著优于当前最优方法。

Orbis: Overcoming Challenges of Long-Horizon Prediction in Driving World Models

作者信息待提取

Sudhanshu Mittal, University of Freiburg, Germany

现有驾驶世界模型在长程预测与复杂场景泛化上存在明显短板，转弯等需生成新内容的场景尤易失效。本文构建了兼容离散与连续两种范式的混合tokenizer，首次在相同基础上对MaskGIT式离散模型与flow matching连续自回归模型进行公平对比，发现连续范式对设计细节更不敏感且整体能力更强。仅使用280小时前视视频、以469M参数训练的Orbis便在长程推出中达到 state-of-the-art，在转弯和城市交通等困难场景中表现突出，且无需地图、深度等额外监督。

World Model-Based End-to-End Scene Generation for Accident Anticipation in Autonomous Driving

作者信息待提取

aState Key Laboratory of Internet of Things for Smart City, University of Macau, Macau SAR, 999078, China, bDepartment of Civil Engineering, University of Macau, Macau SAR, 999078, China, limitations in safety-critical autonomous driving applications, the limited visual cues captured by dashcams impose inher-

针对自动驾驶事故预测中训练数据稀缺、环境干扰导致关键线索缺失的问题，该研究提出一种结合生成式场景增强与自适应时间推理的端到端框架。其核心在于利用视觉语言模型提取领域知识并引导世界模型生成高保真驾驶场景以扩充数据，同时设计基于增强图卷积与多层扩张时间卷积的动态预测模型，以捕获长程时空依赖并缓解瞬时信息丢失。实验表明，该方法在公开及自建的AoTA数据集上均提升了事故预测的准确率与提前预警时间。

NRSeg: Noise-Resilient Learning for BEV Semantic Segmentation via Driving World Models

作者信息待提取

BEV Labels, BEV Label, BEV Semantic Label, Labeled Training Data

针对BEV语义分割中标注数据分布单一导致无监督与半监督学习受限的问题，本文探索利用驾驶世界模型生成合成数据以扩充多样性，但发现生成噪声会干扰模型学习。为此提出NRSeg抗噪声学习框架，通过透视几何一致性指标量化合成数据质量并自适应优化损失，设计双分布并行预测与分层局部语义互斥模块增强模型鲁棒性。在nuScenes的UDA和SSL任务中，该方法取得最优性能，mIoU分别提升13.8%和11.4%。

World4Drive: End-to-End Autonomous Driving via Intention-aware Physical Latent World Model

作者信息待提取

现有端到端自动驾驶往往依赖昂贵的感知标注，而无标注方法因缺乏物理场景先验与多模态意图建模导致收敛慢、性能受限。World4Drive提出意图感知的物理潜变量世界模型，利用视觉基础模型编码空间语义信息，在潜空间中推演不同驾驶意图的未来状态，并通过世界模型选择器评估多模态轨迹，以自监督对齐实现无需感知标注的端到端规划。该方法在nuScenes和NavSim上达到SOTA，L2误差降低18.1%，碰撞率降低46.7%，收敛速度提升3.75倍。

Epona: Autoregressive Diffusion World Model for Autonomous Driving

作者信息待提取

Tsinghua University, Peking University, Nanjing University, The Hong Kong University of Science and Technology, Nanyang Technological University

现有扩散世界模型因对固定长度帧序列做全局联合分布建模而难以实现灵活长程预测与轨迹规划，GPT类方法亦受困于离散化导致的视觉与规划精度下降。本文提出的Epona通过解耦时空分解分离时序动态与空间渲染，并以双路DiT异步生成未来轨迹与下一帧图像，同时以chain-of-forward训练抑制自回归误差累积。该模型在NuScenes上FVD较Vista改善7.4%，可生成2分钟高分辨率驾驶视频，并在NAVSIM上实现20Hz的实时端到端轨迹规划。

Towards foundational LiDAR world models with efficient latent flow matching

作者信息待提取

University of Toronto

现有LiDAR世界模型多针对单一领域训练，跨域迁移能力薄弱。本文首次系统研究了LiDAR世界模型在室外到室内、稀疏到稠密光束、非语义到语义三类场景下的迁移能力，发现预训练模型在30/36项对比中优于从头训练。为缓解现有方法压缩率低与训练目标低效的问题，作者提出基于Swin Transformer的VAE（压缩比提升6倍）与潜空间条件流匹配生成框架，仅用一半训练数据即达到SOTA重建精度，并在语义占用预测任务上以5%的标注数据超越此前基线，推理速度提升1.1至3.9倍。

SceneDiffuser++: City-Scale Traffic Simulation via a Generative World Model

作者信息待提取

Waymo LLC

现有交通仿真多局限于短时段事件级模拟，难以支撑自动驾驶点对点行程级评估。本文提出CitySim任务与SceneDiffuser++统一生成式世界模型，以单一扩散去噪目标端到端训练，通过引入有效性通道联合建模动态智能体生成、移除与遮挡推理，并采用多张量架构同步仿真红绿灯等异构环境元素。在扩展的大地图区域Waymo Open Motion Dataset上，该方法实现了长时长、城市尺度交通仿真，并在行程级真实性上达到当前最优水平。

COME: Adding Scene-Centric Forecasting Control to Occupancy World Model

作者信息待提取

现有占据世界模型往往将自车运动与场景演变耦合进行隐式学习，导致空间一致性和预测精度不足。本文提出COME框架，核心洞察在于通过场景中心坐标系显式解耦两者：先用场景中心预测分支生成与自车运动无关的未来特征，再经定制的ControlNet转化为条件注入基于扩散的占据世界模型，从而指导更可控的未来占据预测。在nuScenes-Occ3D数据集上，无论是真值、相机还是融合输入，也无论3秒或8秒预测范围，COME均显著超越现有方法，例如相比DOME和UniScene的mIoU分别提升26.3%和23.7%。

STAGE: A Stream-Centric Generative World Model for Long-Horizon Driving-Scene Simulation

作者信息待提取

针对现有自动驾驶世界模型长程视频生成中的误差累积与时序不一致问题，本文提出流式自回归框架STAGE。其核心创新为分层时序特征传递HTFT，通过解耦时间与去噪过程并在帧间传递去噪特征以增强一致性；同时设计三阶段训练策略，借助模型解耦与自回归推理模拟加速收敛并抑制误差累积。在NuScenes上，STAGE生成600帧高质量驾驶视频，长度与性能均显著超越现有方法。

ReSim: Reliable World Simulation for Autonomous Driving

作者信息待提取

The Chinese University of Hong Kong, The University of Hong Kong, OpenDriveLab at Shanghai AI Lab, NVIDIA Research, Shanghai Jiao Tong University

现有驾驶世界模型因真实数据充斥安全专家轨迹，难以覆盖碰撞等危险行为，导致对非专家动作产生幻觉。ReSim将真实驾驶日志与CARLA模拟器中的非专家数据混合构建异构训练集，基于扩散Transformer提出非平衡噪声采样与动态一致性损失，增强对剧烈动态变化的建模；并设计Video2Reward从模拟未来估计奖励。实验显示，该方法视觉保真度提升44%，动作可控性提升超50%，在NAVSIM上将规划与策略选择性能分别提高2%和25%，支持基于视觉预测的闭环策略评估。

Ego-centric Learning of Communicative World Models for Autonomous Driving

作者信息待提取

Department of Electrical and Computer Engineering, University of California, Davis, Department of Computer Science, University of California, Davis

针对自动驾驶中多智能体强化学习的部分可观测性、非平稳性及通信开销过高的问题，本文提出CALL框架，利用世界模型将高维状态与意图压缩为低维隐表示，通过预测精度驱动的自适应轻量通信实现智能体协同；在CARLA轨迹规划任务中，该方法将带宽降至原始数据的约五十分之一，并显著提升了长时域预测准确率与规划性能。

Dreamland: Controllable World Creation with Simulator and Generative Models

作者信息待提取

Dreamland: Controllable World Creation with, University of California, Los Angeles

针对大规模生成模型在场景编辑与具身智能训练中缺乏细粒度可控性的问题，本文提出Dreamland框架，以分层世界抽象（LWA）为中间表示桥接物理模拟器与预训练生成模型。该表示同时编码像素级与对象级语义几何，通过将模拟器层对齐到真实世界分布并支持区域级指令编辑，在保持精确物理控制的同时生成高保真视觉内容。实验表明，该方法在图像质量与可控性上分别较基线提升50.8%与17.9%，并能将下游具身智能体在真实世界视觉问答任务上的准确率提高3.9个百分点。

LongDWM: Cross-Granularity Distillation for Building a Long-Term Driving World Model

作者信息待提取

Peking University, Peng Cheng Laboratory

针对驾驶世界模型在长期未来预测中存在的严重误差累积问题，本文提出将世界模型学习解耦为粗粒度大运动学习与细粒度双向连续运动学习，并设计跨粒度流蒸馏机制，以细粒度视频流作为自监督信号引导粗粒度预测，从而缓解训练-推理差距并提升长视频时序一致性。在NuScenes基准上的实验表明，该模型在生成110帧以上长视频任务中，相比当前最优前视模型FVD降低27%，推理时间减少85%。

GeoDrive: 3D Geometry-Informed Driving World Model with Precise Action Control

作者信息待提取

State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University, driving world models, enhancing spatial understanding and action controllability

现有驾驶世界模型多依赖2D优化或密集标注，缺乏3D几何感知，导致新视角结构不一致、动作控制不稳定。GeoDrive提出混合神经-几何框架，从单目输入构建3D结构先验，沿指定自车轨迹投影渲染获得几何条件，再以级联视频扩散细化，并引入物理引导的动态编辑模块约束非自车智能体运动。实验表明，该方法将轨迹跟随误差较Vista降低42%，并在LPIPS、PSNR、FID等多项视频质量指标上显著领先，同时支持零样本新轨迹泛化与交互式场景编辑。

FutureSightDrive: Thinking Visually with Spatio-Temporal CoT for Autonomous Driving

作者信息待提取

Xi’an Jiaotong University, Amap, Alibaba Group, DAMO Academy, Alibaba Group

现有视觉-语言-动作模型在端到端自动驾驶中依赖文本链式思维，导致视觉信息经符号化压缩后丢失时空细节并加剧模态鸿沟。本文提出FSDrive，以视觉时空CoT替代文本推理：先让模型作为世界模型生成融合未来车道分隔线与三维目标框的统一未来帧，以显式物理先验承载时空演化；再让同一模型基于该视觉CoT与当前观测进行轨迹规划。通过统一预训练与由粗到细的渐进生成策略，该方法在nuScenes和NAVSIM上提升了轨迹精度并减少碰撞，且以轻量自回归模型取得有竞争力的视频生成FID。

Raw2Drive: Reinforcement Learning with Aligned World Models for End-to-End Autonomous Driving (in CARLA v2)

作者信息待提取

Institute of Trustworthy Embodied AI, Fudan University

针对端到端自动驾驶中模仿学习固有的因果混淆与分布偏移问题，强化学习虽具潜力却因原始传感器数据高维冗余而训练困难。本文提出双 stream 基于模型的强化学习框架 Raw2Drive：先以特权信息高效训练辅助世界模型与规划器，再通过 Guidance Mechanism 约束原始传感器世界模型在推演中与特权模型保持一致，并复用特权模型头部的先验知识引导原始策略训练。该工作是目前 CARLA v2 与 Bench2Drive 上唯一取得 SOTA 的端到端强化学习方法，显著优于模仿学习基线且训练成本可控。

VL-SAFE: Vision-Language Guided Safety-Aware Reinforcement Learning with World Models for Autonomous Driving

作者信息待提取

Jiancong Chen, Yue Leng, Samuel Labi, Sikai Chen

现有安全RL与世界模型方法多依赖稀疏代价函数，难以捕捉驾驶场景中语义化与上下文相关的安全风险。VLM-SAFE提出“观察-想象-评估-行动”认知闭环，利用VLM输出连续语义安全分数，并通过状态级安全门控动态调节离线策略更新：语义风险高时抑制激进优化，风险低时允许积极改进，同时保留拉格朗日约束保障。仿真显示，该方法在安全性、交通密度迁移鲁棒性及安全-性能权衡上优于代表性基线。

PosePilot: Steering Camera Pose for Generative World Models with Self-supervised Depth

作者信息待提取

现有生成式世界模型的相机位姿控制多依赖可学习注意力层，难以显式理解位姿与场景结构演化的关系。PosePilot 受自监督深度估计启发，引入深度与自运动读出模块，通过正向与反向光度重投影损失将运动恢复结构的几何一致性约束嵌入视频生成，并辅以位姿回归损失精化估计。作为轻量级即插即用模块，它可兼容扩散与自回归架构。在自动驾驶及通用视频数据上的实验表明，该方法显著提升了位姿精度、结构一致性与跨模型泛化能力。

World Model-Based Learning for Long-Term Age of Information Minimization in Vehicular Networks

作者信息待提取

Department of Computer Science, Virginia Tech, Alexandria, VA, 22305, USA

针对传统强化学习在毫米波车联网中数据效率低且策略短视的局限，该研究提出一种世界模型驱动的学习框架，将环境动态建模与长期链路调度策略解耦。其核心在于在紧凑隐空间中生成可微分的想象轨迹以离线学习长程策略，从而避免高成本的实时交互，并在观测缺失时仍可决策。在基于Sionna的物理级仿真环境中，该方法相比基于模型与无模型的强化学习基线分别实现了26%和16%的信息年龄缩减，同时显著提升了样本效率。

Learning to Drive from a World Model

作者信息待提取

Mitchell Goff

现有自动驾驶系统多依赖手工规则与模块化感知，难以应对真实世界复杂性。本文提出一种端到端训练架构，利用真实驾驶数据在on-policy仿真器中训练驾驶策略，并对比了重投影仿真与基于学习的世界模型两种仿真方式。作者提出Future Anchored World Model，通过锚定未来状态为策略提供恢复压力，使其能从自身错误中学习。实验表明，训练出的策略可在无人工规则的情况下完成车道保持与变道等行为，并已成功部署于真实高级辅助驾驶系统中。

DriVerse: Navigation World Model for Driving Simulation via Multimodal Trajectory Prompting and Motion Alignment

作者信息待提取

Baidu Inc

现有驾驶世界模型直接编码3D轨迹或离散控制信号时，常与2D生成骨干的隐式特征对齐不良，导致转弯、变道等场景下视频保真度低且动态元素时序不一致。DriVerse提出多模态轨迹提示策略，通过预定义趋势词汇将轨迹离散化为文本token，并将3D轨迹投影为2D空间运动先验以控制静态内容；同时设计轻量潜在运动对齐模块显式约束动态像素的帧间一致性，并引入动态窗口生成策略以应对推理时急剧的航向变化。在仅使用少量训练数据且无需额外数据的情况下，DriVerse在nuScenes和Waymo数据集的未来视频生成任务中均优于现有专用模型。

End-to-End Driving with Online Trajectory Evaluation via BEV World Model

作者信息待提取

NLPR, Institute of Automation, Chinese Academy of Sciences (CASIA), University of Chinese Academy of Sciences (UCAS)

端到端自动驾驶中，缺少未来状态认知的轨迹评估难以保证安全。本文提出WoTE框架，将BEV世界模型嵌入轨迹评估流程：先预测多模态候选轨迹，再由BEV世界模型以单步前馈高效推演各轨迹对应的未来BEV状态，最后由奖励模型基于想象未来打分选优。BEV表示既大幅降低了世界模型的推理延迟，又便于利用现有BEV交通模拟器获取多未来语义监督。在NAVSIM与Bench2Drive闭环基准上，该方法达到最先进性能，并展现出跨轨迹的泛化能力与实时可行性。

Knowledge Graphs as World Models for Semantic Material-Aware Obstacle Handling in Autonomous Vehicles

作者信息待提取

Artificial Intelligence Explainability Accountability (AIEA) Lab, University of California, Santa Cruz

现有自动驾驶系统依赖多传感器融合，却难以像人类一样根据材料特性（如硬度、弹性）对障碍物做出差异化决策。该研究将知识图谱作为世界模型嵌入CARLA仿真器，通过语义推理把障碍物类型和尺寸映射到预定义的材料属性，进而决定变道、急刹或直接通过。实验表明，相比默认系统，该方法能多处理13.3%需紧急制动的冲突场景，并将大型障碍物的变道成功率提升6.6%，例如压过塑料袋而绕行交通锥。

MiLA: Multi-view Intensive-fidelity Long-term Video Generation World Model for Autonomous Driving

作者信息待提取

Nanjing University, Westlake University, MiLA given different waypoints based on identical initial frames

针对自动驾驶长尾数据稀缺与现有世界模型难以生成长时间一致视频的问题，MiLA提出了一种基于LDM的Coarse-to-(Re)fine多视角视频生成框架。该方法先预测低帧率锚点帧，再通过联合去噪与校正流（JDC）修正动态物体畸变并优化时序平滑性，同时引入时序渐进去噪调度器（TPD）以维持长程一致性。实验表明，MiLA在nuScenes上取得了最先进的生成质量，可稳定生成高达60秒的高保真驾驶视频，显著优于现有方法在约8秒后即出现严重退化的表现。

SimWorld: A Unified Benchmark for Simulator-Conditioned Scene Generation via World Model

作者信息待提取

针对自动驾驶领域Corner Case数据稀缺、标注成本高昂，且现有仿真生成数据与真实分布差异大的问题，本文提出SimWorld引擎，通过构建与现实场景一致的仿真系统获取条件标签，并将其与世界模型结合，实现了对极端与复杂场景的灵活可控生成。研究同时发布了首个面向真实场景的模拟器条件生成基准，实验表明所生成数据能显著提升下游感知模型性能，并在Cityscapes数据集上得到进一步验证。

Seeing the Future, Perceiving the Future: A Unified Driving World Model for Future Generation and Perception

作者信息待提取

现有驾驶世界模型或只生成2D视频而缺乏几何，或只做静态深度感知而忽略时序动态。本文提出统一4D模型UniFuture，将未来RGB与深度视为同一4D现实的耦合投影，通过Dual-Latent Sharing将外观与几何映射至共享时空潜空间，并借助Multi-scale Latent Interaction实现双向约束：几何抑制视觉结构幻觉，视觉语义细化几何估计。在nuScenes和Waymo上，该模型同时优于专门的未来生成与深度估计模型，相较Vista降低FID 23.9%，验证了统一4D建模的有效性。

Other Vehicle Trajectories Are Also Needed: A Driving World Model Unifies Ego-Other Vehicle Trajectories in Video Latent Space

作者信息待提取

现有驾驶世界模型大多仅以自车轨迹作为条件，导致他车运动不可控，难以真实模拟交互场景。本文提出EOT-WM，将BEV空间中的自车与他车轨迹投影至图像坐标并绘制成轨迹视频，利用时空VAE使其与场景视频在统一视觉隐空间中对齐时空与特征分布，再通过轨迹注入的扩散Transformer（TiDiT）精确引导去噪生成。在nuScenes上，该方法较SOTA将FID和FVD分别降低30%与55%，并能基于自定义轨迹生成未见驾驶场景。

Temporal Triplane Transformers as Occupancy World Models

作者信息待提取

School of Intelligent Systems Engineering, Shenzhen Campus of Sun Yat-sen University, Shenzhen 518107, China, Peng Cheng Laboratory, Shenzhen 518108, China, School of Electronic and Computer Engineering, Shenzhen Graduate School, Peking University, 518066, China, School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen, 518055, China, School of Computer Science, Peking University, Beijing 100871, China

针对现有占用世界模型将3D场景压缩为2D BEV导致垂直信息损失、且直接预测完整占用状态参数量大且误差易累积的问题，本文提出Delta-Triplane Transformers（DTT）。其核心洞察在于：占用变化在紧凑的3D潜空间中分布高度稀疏且集中于零附近，建模增量比建模全量状态更轻量且精确。DTT以时序三平面表征场景，用轻量Transformer分别预测各平面的占用变化，再解码未来占用与自车轨迹。实验表明，该方法在nuScenes和Occ3D上取得SOTA，mIoU达30.85，规划误差降至1.0米，并在RTX 4090上以26 FPS实时运行。

InDRiVE: Intrinsic Disagreement based Reinforcement for Vehicle Exploration through Curiosity Driven Generalized World Model

作者信息待提取

现有基于模型的强化学习方法多依赖手工设计的任务特定外在奖励，难以泛化到新任务。InDRiVE在Dreamer框架下仅使用世界模型集合的潜在分歧作为内在奖励，无需任何任务反馈即可学习任务无关的环境表征，实现高效探索。实验表明，该方法在训练步数大幅减少的情况下，在车道保持、避撞等下游任务的零样本或少样本迁移中，比DreamerV2/V3取得更高成功率和更低违规率。

MaskGWM: A Generalizable Driving World Model with Video Mask Reconstruction

作者信息待提取

现有驾驶世界模型多基于扩散视频预测，虽能生成高保真序列，但在预测时长与跨域泛化上仍存瓶颈，且扩散去噪过程对视觉语义的学习未必直接。为此，本文提出MaskGWM，在可扩展的DiT架构中引入MAE式掩码重建作为生成的补充监督，并设计扩散相关掩码token与时空双分支策略：空间分支以跨帧共享掩码建模场景物体，时间分支以帧专属行级掩码配合移位自注意力捕捉运动动态。实验表明，该方法在nuScene生成质量、OpenDV-2K长程推演及Waymo零样本迁移上均有提升，并降低了训练开销。

Dream to Drive: Model-Based Vehicle Control Using Analytic World Models

作者信息待提取

INSAIT, Sofia University “St. Kliment Ohridski”, Sofia, Bulgaria, University of Zurich, Zurich, Switzerland

该研究将可微分模拟的应用从策略学习拓展至世界建模，提出解析世界模型（AWM）。通过把可微分动力学嵌入端到端计算图并与状态预测器联合训练，无需试错搜索即可同时学习相对里程计、最优状态规划与逆状态估计。在基于Waymo数据的Waymax自动驾驶模拟器中，仅含600万参数的轻量模型实现了实时推理，并在多样实验设定下优于相关基线。

Semi-Supervised Vision-Centric 3D Occupancy World Model for Autonomous Driving

作者信息待提取

Institute for AI Industry Research (AIR), Tsinghua University

现有视觉世界模型依赖高昂的3D占用标签，且多采用冻结感知网络加离散编解码的间接架构，导致信息损失。本文提出半监督框架PreWorld，通过体渲染在预训练阶段利用易获取的2D标签学习时空表征，并引入状态条件预测模块实现端到端未来占用与轨迹预测。实验表明，该方法在nuScenes的3D与4D占用预测任务上均取得领先性能，并展现出良好的可扩展性。

Dream to Drive with Predictive Individual World Model

作者信息待提取

现有基于模型的强化学习方法多采用场景级重建，难以显式建模车辆间交互与长期意图。本文提出预测性个体世界模型（PIWM），从个体粒度刻画驾驶环境，以分支网络分别建模各车辆，并通过自注意力捕捉交互关系，同时以轨迹预测替代观测重建，将意图信息编码进隐状态。策略在PIWM的想象中训练，实验表明，该方法在基于真实交互场景的仿真环境中，安全性和效率均优于对比的无模型与最先进的基于模型强化学习方法。

HERMES: A Unified Self-Driving World Model for Simultaneous 3D Scene Understanding and Generation

作者信息待提取

Huazhong University of Science and Technology, The University of Hong Kong

现有驾驶世界模型多专注于场景生成而缺乏理解能力，视觉语言模型则能理解却难以预测未来演化。HERMES首次将二者统一于单一框架：以BEV表征聚合多视角空间几何，并引入世界查询在LLM中融合文本世界知识与BEV特征，使理解与生成相互增强而非简单拼接。实验表明，该设计在nuScenes和OmniDrive-nuScenes上较SOTA分别降低生成误差32.4%、提升CIDEr理解指标8.0%，验证了联合建模的有效性。

AdaWM: Adaptive World Model based Planning for Autonomous Driving

作者信息待提取

Bosch Research North America & Bosch Center for Artificial Intelligence (BCAI), University of California, Davis

针对世界模型强化学习在自动驾驶预训练-微调中因分布偏移导致的性能骤降，本文提出AdaWM。其核心在于通过不匹配识别量化动态模型与策略的主导性偏差，再以对齐驱动微调选择性更新模型或策略：模型采用LoRA低秩适配，策略仅优化子单元权重。在CARLA复杂驾驶任务中，该方法有效缓解性能退化，显著提升了路由成功率与安全性。

AD-L-JEPA: Self-Supervised Spatial World Models with Joint Embedding Predictive Architecture for Autonomous Driving with LiDAR Data

作者信息待提取

Learning Systems Laboratory, Department of Electrical and Computer Engineering, New York University

现有自监督方法（对比/生成）在自动驾驶激光雷达预训练中易导致负迁移或效率低下，为此AD-L-JEPA首次将JEPA引入该领域：在BEV空间内直接预测掩码区域的嵌入而非重建点云，并通过方差正则化与动量编码器避免表示坍塌。实验表明，该方法在KITTI3D、Waymo和ONCE数据集上持续增强下游3D检测性能，且相比Occupancy-MAE节省约2–3倍GPU时间与3–4倍显存，仅用更少数据即可超越现有方法。

DrivingWorld: Constructing World Model for Autonomous Driving via Video GPT

作者信息待提取

The Hong Kong University of Science and Technology

DrivingWorld针对经典GPT框架在自动驾驶视频世界模型中难以同时建模时空动态的问题，提出了一种解耦的时空GPT架构。其核心洞察在于将下一帧预测（next-state）与帧内下一token预测（next-token）相结合，并引入时间感知分词与针对长程漂移的掩码重加权策略，从而在保持精确轨迹控制的同时显著降低计算开销。实验表明，该方法可生成超过40秒的高保真连续驾驶视频，在NuPlan数据集上的FVD指标与内存效率均显著优于传统GPT结构。

DrivingGPT: Unifying Driving World Modeling and Planning with Multi-modal Autoregressive Transformers

作者信息待提取

New Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences, School of Artificial Intelligence, University of Chinese Academy of Sciences, Centre for Artificial Intelligence and Robotics, HKISI, CAS

现有驾驶世界模型多基于扩散模型，难以融合动作等模态，导致世界建模与端到端规划难以统一。本文将两者重新表述为序列建模问题，提出由交错图像与动作token构成的多模态驾驶语言，并基于类Llama自回归Transformer构建DrivingGPT，以next-token预测同时完成世界建模与规划。实验表明，该方法在动作条件视频生成上超越SVD基线，并在nuPlan与NAVSIM端到端规划中优于主流视觉编码器结合MLP解码器的方案。

An Efficient Occupancy World Model via Decoupled Dynamic Flow and Image-assisted Training

作者信息待提取

Huawei Noah’s Ark Lab

针对现有占据世界模型两阶段训练低效、自回归推理忽略结构一致性的问题，本文提出DFIT-OccWorld。该方法采用端到端单阶段非自回归框架进行4D场景预测，核心是将未来占据建模为解耦的动态体素流warping与静态体素位姿变换，避免直接预测大量空体素；并引入图像辅助训练，通过可微体渲染与光度一致性约束增强可靠性。在nuScenes与OpenScene上，该方法在4D占据预测、端到端运动规划及点云预测任务中取得SOTA性能，且显著降低计算成本。

GEM: A Generalizable Ego-Vision Multimodal World Model for Fine-Grained Ego-Motion, Object Dynamics, and Scene Composition Control

作者信息待提取

University of Bern, Swiss Data Science Center, University of Zurich

现有第一人称世界模型大多局限于单一领域且仅支持自我中心运动控制，难以处理复杂的物体交互。本文提出GEM，一个跨域可泛化的多模态世界模型，通过融合自我轨迹、带物体标识的稀疏DINOv2视觉token以及人体姿态，实现了对自我运动、物体动态与场景构成的细粒度控制。该模型同步输出RGB与深度图，并引入自回归噪声调度以支持稳定的长时程预测。基于4000余小时多领域数据的实验表明，GEM能够生成时间一致且高度可控的多样化未来场景。

GaussianWorld: Gaussian World Model for Streaming 3D Occupancy Prediction

作者信息待提取

Department of Automation, Tsinghua University, China

EmbodiedOcc面向具身智能体在未知室内环境中渐进探索的需求，提出了基于RGB输入的在线具身3D占据预测任务。该方法以统一3D语义高斯初始化全局场景并维护显式高斯记忆，通过可变形交叉注意力与深度感知分支逐步精细化局部观测区域，再经高斯到体素splatting生成全局占据。在EmbodiedOcc-ScanNet基准上的实验表明，该方法显著优于现有方法，实现了高准确率的在线场景理解。

Doe-1: Closed-Loop Autonomous Driving with Large World Model

作者信息待提取

Department of Automation, Tsinghua University, China, cars, maintaining a safe distance. The visibility is limited due

现有端到端自动驾驶方法多为开环，面临场景表征扩展性差、预测与规划缺乏高阶交互、决策效率低等局限。本文提出大型驾驶世界模型Doe-1，将自动驾驶建模为多模态token转移的next-token生成问题：以图像为观测、自由文本为场景描述，并采用位置感知编码将BEV动作离散化；通过自回归统一实现观测→描述（感知）、描述→动作（规划）、动作→观测（预测）的闭环交互。nuScenes实验表明，该模型无需微调即可同时支持视觉问答、动作条件视频生成与端到端运动规划。

Physical Informed Driving World Model

作者信息待提取

University of Science and Technology of China, Tsinghua University

当前驾驶世界模型生成多视角视频时常违背物理规律，表现为运动理解混乱、时序属性不一致及空间遮挡错误。为此，作者提出DrivePhysica，通过坐标系对齐模块融合双坐标系运动信息，利用3D实例流引导在三维空间保持物体时序稳定，并借助框坐标引导显式编码3D位置以正确建模遮挡层次与跨视角一致性。该方法在NuScenes上达到SOTA生成质量（FID 3.96，FVD 38.06），显著提升了下游感知性能，可稳定生成200帧以上长视频及急刹车、Cut-in等长尾场景。

InfiniCube: Unbounded and Controllable Dynamic 3D Driving Scene Generation with World-Guided Video Models

作者信息待提取

InfiniCube: Unbounded and Controllable Dynamic 3D Driving Scene, Shanghai Jiao Tong University, University of Toronto, Vector Institute, University of Southern California

现有3D场景生成方法或受限于室内，或缺乏灵活可控性，而视频生成虽细节丰富，却难以保证3D一致性且帧数受限。InfiniCube提出世界引导的视频生成框架：先以地图条件体素扩散模型外推生成无界体素世界，再将其渲染为像素对齐的引导缓冲区来约束视频扩散模型，实现长达200帧的一致长视频合成，最终通过双分支前馈重建快速得到动态3D高斯场景。实验表明，该方法可生成约10万平方米的大规模动态驾驶场景，兼具几何精度与外观真实感，并支持在3D表示中无限自由驾驶。

InfinityDrive: Breaking Time Limits in Driving World Models

作者信息待提取

InfinityDrive: Breaking Time Limits in Driving World Models, Tsinghua University

现有驾驶世界模型普遍受限于短时窗、低分辨率与自回归误差累积，难以生成长时间连贯且多样的驾驶视频。为此，InfinityDrive提出高效时空协同建模与渐进式时域扩展训练策略，在576×1024高分辨率下平衡空间细节与时序建模，同时引入记忆注入保持机制及基于遗忘曲线的自适应损失以抑制长程推理中的误差累积，并通过联合图像-视频与文本-视频训练提升场景多样性，实验表明该模型可稳定生成超过1500帧（逾2分钟）的高保真驾驶视频。

ReconDreamer: Crafting World Models for Driving Scene Reconstruction via Online Restoration

作者信息待提取

Peking University

现有神经辐射场与3D高斯溅射在偏离训练分布的新轨迹（如多车道偏移）渲染中存在局限，即使用了世界模型知识的DriveDreamer4D也难以应对6米级的大幅度机动。ReconDreamer提出通过增量式整合世界模型知识来增强动态驾驶场景重建：其核心DriveRestorer对渲染视频进行在线去鬼影修复，并配合渐进式数据更新策略逐步提升大偏移下的渲染质量。实验表明，该方法在NTA-IoU、NTL-IoU和FID上相对Street Gaussians提升24.87%、6.72%与29.97%，在大机动场景下相对DriveDreamer4D的NTA-IoU提升195.87%且在用户研究中胜率达96.88%。

Imagine-2-Drive: High-Fidelity World Modeling in CARLA for Autonomous Vehicles

作者信息待提取

现有世界模型强化学习方法在自动驾驶中长期受困于预测保真度低与单步误差累积导致的策略退化，且传统策略难以刻画驾驶决策的多模态特性。该文提出的Imagine-2-Drive框架以DiffDreamer视频扩散世界模型同时生成未来观测与奖励，抑制长程误差传播，并设计扩散策略Actor直接建模多样化轨迹分布；该策略在世界模型内通过PPO训练，显著降低在线交互需求。CARLA实验表明，该方法较现有世界模型与无模型基线在路线完成率和成功率上分别提升15%与20%。

DynamicCity: Large-Scale 4D Occupancy Generation from Dynamic Scenes

作者信息待提取

现有城市场景生成方法多聚焦静态单帧，难以刻画真实驾驶环境的动态时序特性。本文提出DynamicCity框架，先以VAE结合投影模块与扩展-挤压策略学习紧凑的HexPlane 4D表示，再基于DiT扩散模型与填充展开操作生成4D占用场景，支持轨迹与命令驱动等多样条件生成。在CarlaSC和Waymo数据集上的实验表明，其在重建与生成质量、训练速度及内存效率上均显著优于现有方法。

World Models Are Effective Data Machines for 4D Driving Scene Representation

作者信息待提取

Institute of Automation, Chinese Academy of Sciences, Peking University, Technical University o f Munich

现有4D重建方法受限于训练数据分布，难以渲染换道、加减速等新轨迹视角。DriveDreamer4D首次将世界模型作为数据机器，通过NTGM模块生成结构化交通条件以独立调控前景与背景的时空一致性，并提出CDTS策略融合合成与真实数据来优化4DGS。实验表明，该方法在新轨迹视角下的FID相对提升16.3%至46.4%，NTA-IoU提升15.6%至43.5%，用户研究平均胜率超过80%。

Taming Diffusion Model into High-Fidelity Controllable Occupancy World Model

作者信息待提取

University of Chinese Academy of Sciences, Institute of Automation Chinese Academy of Sciences, The University of Hong Kong, University of Pennsylvania

针对现有占用世界模型因离散token导致细节损失、简单扩散架构难以高效建模时空关联且缺乏细粒度控制的问题，本文提出DOME。该模型通过Occ-VAE将占用数据压缩至连续潜在空间以保留高保真细节，并采用时空扩散Transformer整合历史上下文，实现长达32秒的高保真4D占用预测。此外，通过轨迹重采样方法显著增强了对自车轨迹条件的可控性。在nuScenes数据集上，该方法在3D占用重建与4D占用预测中均取得SOTA，其中4D预测mIoU较基线提升36.0%，IoU提升24.6%。

Does End-to-End Autonomous Driving Really Need Perception Tasks?

作者信息待提取

现有端到端自动驾驶方法依赖繁重的监督感知任务，带来高昂标注成本与计算开销，限制了实时部署与数据扩展性。为此，本文提出SSR框架，其核心洞察是：仅通过导航指令引导16个稀疏token即可自适应提取驾驶关键场景信息，无需任何人工设计的感知子任务监督；同时引入时序自监督模块，将预测的未来BEV特征与真实未来对齐以增强场景理解。实验表明，SSR在nuScenes上相较UniAD将L2误差降低27.2%、碰撞率降低51.6%，推理与训练速度分别提升10.9倍与13倍，并在CARLA Town05 Long上以48.6分的优势超越VAD-Base。

Mitigating Covariate Shift in Imitation Learning for Autonomous Vehicles Using Latent Space Generative World Models

作者信息待提取

Mitigating Covariate Shift in Imitation Learning for Autonomous

针对模仿学习在自动驾驶部署中遭遇的协变量偏移问题，本文提出在端到端训练中联合优化潜空间生成式世界模型，使其在潜域内采样训练分布外的新状态，从而教会策略从偏差中恢复并向专家状态回正。同时，作者设计了基于DINOv2与多视角交叉注意力的Transformer感知编码器以学习世界状态表征。实验表明，该方法在CARLA闭环测试中显著优于现有方法，并在CARLA与NVIDIA DRIVE Sim中展现出应对外部扰动的恢复能力。

Learning Multiple Probabilistic Decisions from Latent World Model in Autonomous Driving

作者信息待提取

现有自回归世界模型在向量化场景理解中泛化良好，但直接用于决策时面临不确定性建模不足与自幻觉问题。本文提出LatentDriver，将环境下一状态与自车候选动作联合建模为混合分布，并通过多层概率规划器基于隐世界模型输出逐层细化动作分布；同时以中间层采样动作替代历史真实动作输入世界模型，缓解自幻觉。在Waymax闭环基准上，该方法超越了当前的强化学习与模仿学习方法，达到专家级表现。

World Model with Self-Supervised 3D Label

作者信息待提取

针对纯视觉自动驾驶中3D占据标注成本高、NeRF重建显存开销大以及2D输入信息易损失的问题，本文提出RenderWorld框架。该方法利用基于Gaussian Splatting的自监督Img2Occ模块从2D多视图深度和语义标签生成3D占据，并通过AM-VAE将空气与非空气体素分离编码以提升场景粒度，进而驱动世界模型进行4D占据预测与运动规划。在NuScenes上，其纯2D方案在3D占据预测的mIoU中位列第二且环境地物分割领先，同时4D预测与规划性能均超越现有方法。

An Occupancy-Language-Action Generative World Model for Autonomous Driving

作者信息待提取

Academy for Engineering & Technology, Fudan University, Institute for AI Industry Research, Tsinghua University

现有自动驾驶多模态大模型往往直接从感知映射到动作，忽略了世界动态与动作之间的关联。本文提出OccLLaMA，以语义占用为通用3D视觉表征，设计类VQVAE的场景tokenizer应对占用稀疏性与类别不平衡，进而将场景、语言与动作纳入统一词表，基于LLaMA通过下一token/场景预测完成生成式世界建模。实验显示，该模型在4D占用预测、运动规划及视觉问答等多任务上性能具有竞争力。

Real-world Video Generation for Vision Language Model based Autonomous Driving

作者信息待提取

该研究针对自动驾驶中真实场景预测与视觉语言模型（VLM）理解的需求，提出DriveGenVLM框架。核心思路是利用条件去噪扩散概率模型（DDPM）基于Waymo开放数据集生成多视角真实驾驶视频，并通过预训练的上下文视觉语言模型EILEV对生成视频进行语言描述，从而验证生成视频对VLM的可解释性与可用性。实验表明，该框架能够生成符合FVD质量评估的真实感视频，且EILEV生成的场景叙述可辅助交通场景理解、导航与规划，为视频生成与VLM在自动驾驶中的融合提供了可行路径。

Driving in the Occupancy World: Vision-Centric 4D Occupancy Forecasting and Planning via World Models for Autonomous Driving

作者信息待提取

Zhejiang University, Huawei Technologies

现有自动驾驶世界模型大多局限于数据生成或预训练范式，本文提出Drive-OccWorld，将视觉中心的4D占用预测世界模型直接融入端到端规划。核心在于通过语义与运动条件归一化聚合历史BEV特征，并支持速度、轨迹等灵活动作条件的注入，实现可控的未来状态推演。进而利用基于占用的成本函数在世界模型预测的多条未来路径中筛选最优轨迹，形成连续预测与规划的闭环。在nuScenes与Lyft-Level5上的实验表明，该方法在占用与光流预测精度上显著领先，并有效增强了规划的安全性与鲁棒性。

Self-Driving with Learned Object-Centric Representations

作者信息待提取

Department of Computer Engineering, Koç University, KUIS AI Center

本文针对BEV表示高维冗余且显式物体属性难以完整刻画场景动态的问题，提出了一种自监督学习的物体中心slot表示方法。研究首先利用SAVi从BEV序列中将车辆等物体提取为slot，使其隐式编码位置、朝向和速度等关键信息；继而提出CarFormer模型，以block attention机制建模物体间及物体与路线间的交互，联合学习驾驶决策与未来状态预测。实验表明，该方法在Longest6基准上优于使用精确物体属性的方法，显著提高了路线完成率与驾驶得分，并降低了多次运行的方差，同时验证了其对slot表示的准确预测能力。

A Multimodal World Model for Autonomous Driving via Unified BEV Latent Space

作者信息待提取

Baidu Inc., China

现有驾驶世界模型多基于2D生成，难以统一建模3D多模态传感数据，且未解耦低级像素细节与高级场景动态。本文提出BEVWorld，通过自监督多模态tokenizer将异构输入对齐至统一BEV潜空间，并利用光线渲染重建图像与点云；再基于扩散模型在潜空间中完成动作条件的未来BEV序列预测。在nuScenes与Carla上的实验表明，该方法在多模态未来预测中表现优异，于无人工标注条件下取得最优的视频生成质量，并支持按动作指令控制生成。

Tokenize the World into Object-level Knowledge to Address Long-tail Events in Autonomous Driving

作者信息待提取

University of Southern California, Stanford University, the road….[omitted]. Please plan its 3-second motion plan

针对端到端自动驾驶模型在长尾场景中性能骤降、现有MM-LLM因数据稀缺和场景token化效率低下而难以有效利用LLM推理能力的问题，本文提出TOKEN框架，其核心洞察是将世界表征为少数对象级token而非密集无序token，并借助预训练端到端驾驶模型作为tokenizer生成紧凑语义表征，再通过表示与推理对齐训练激发LLM常识推理。实验表明，该方法在长尾场景中将轨迹L2误差降低27%、碰撞率减少39%，显著优于现有框架。

Unsupervised Mask-Level Anomaly Detection for Autonomous Driving

作者信息待提取

Karlsruhe Institute of Technology (KIT), FZI Research Center for Information

现有自动驾驶异常检测多依赖监督分割与训练时引入离群样本，难以定义开放世界的“正常”。本文提出UMAD，首次实现完全无监督的掩码级异常检测：利用生成式世界模型MUVO重建并预测未来帧，结合无监督分割模型生成掩码，通过视觉重建误差与时序预测差异的加权融合定位异常。在AnoVox基准上，该方法将FPR95降低36.90%，建立了自动驾驶无监督异常检测的新基线。

Simulator-conditioned Driving Scene Generation

作者信息待提取

University of California, Los Angeles, Shanghai Jiao Tong University

针对现有驾驶场景生成方法受限于小规模数据集导致外观与布局多样性不足、且仿真器数据存在Sim2Real视觉鸿沟的问题，本文提出SimGen，一种仿真器条件化的级联扩散生成框架。该框架通过级联管道将仿真器的深度与语义条件逐步去噪转化为真实风格，再融合多模态条件生成图像，同时构建包含147.5小时真实与仿真数据的DIVA数据集以增强多样性。实验表明，SimGen在保持文本与布局可控性的同时，显著提升了生成质量与多样性，并有效增强了BEV检测与分割任务的训练。

Planning with Adaptive World Models for Autonomous Driving

作者信息待提取

Carnegie Mellon University

本文指出 nuPlan 真实日志中不同城市的驾驶行为差异显著（如波士顿司机更为激进），现有 MPC 规划器采用的恒速“world-on-rails”模型难以准确模拟多车交互。为此，作者提出 BehaviorNet，以图卷积网络基于观测历史预测周围车辆的 IDM 控制器参数，构建反应式自适应世界模型；并设计 MPC 规划器 AdaptiveDriver，在轨迹推演中动态切换世界模型。该方法在 nuPlan 闭环规划基准 Test-14 Hard R-CLS 上达到 SOTA，较先前工作提升 2%，且能泛化到未见过的新城市。

Unsupervised Occupancy Fields for Perception and Forecasting

作者信息待提取

Waabi1, University of Toronto2

针对自动驾驶中人工标注昂贵且难以覆盖稀有对象的问题，本文提出无监督4D占用场世界模型UNO，利用LiDAR数据自监督学习连续时空占用表示。该模型采用隐式架构以分类方式建模占用，并将世界模型与下游渲染解耦。实验表明，UNO在点云预测任务上于多个数据集达到最先进性能，且微调后在BEV语义占用预测中超越全监督方法，尤其在标注稀缺时优势显著。

Enhancing End-to-End Autonomous Driving with Latent World Model

作者信息待提取

Institute of Automation, Chinese Academy of Sciences (CASIA), New Laboratory of Pattern Recognition (NLPR), State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), School of Future Technology, University of Chinese Academy of Sciences (UCAS)

端到端自动驾驶直接处理原始传感器数据，但如何学习更有效的场景特征表示仍待解决。本文提出潜空间世界模型LAW，以自监督方式预测未来场景隐特征：基于当前隐状态与自车轨迹推断下一帧特征，无需人工标注即可联合优化场景表征与轨迹预测。该框架通用性强，同时适用于无感知的透视视角方案和基于BEV的感知方案，并在nuScenes、NAVSIM和CARLA的开闭环基准上均达到当前最优性能。

Unleashing Generalization of End-to-End Autonomous Driving with Controllable Long Video Generation

作者信息待提取

Westlake University, Tianjin University, Shenzhen Campus, Sun Yat-sen University, Southeast University, Harbin Engineering University

现有生成模型多只能合成不足8帧的驾驶视频，难以改善端到端自动驾驶的规划性能。本文提出扩散式长视频生成方法Delphi，通过跨视角共享噪声建模与特征对齐模块，生成多达40帧且时空一致的多视角视频，并支持物体与场景级精细控制。进一步地，作者构建失败案例驱动的数据引擎，借助视觉语言模型定向合成与失败场景相似的训练数据。实验表明，仅补充4%的合成数据，即可将UniAD规划碰撞率从0.34降至0.27，提升25%，首次证明合成数据能显著增强端到端模型的规划泛化能力。

4D Occupancy Generation Models as World Simulators for Autonomous Driving

作者信息待提取

State Key Lab of Intelligent Transportation System, Beihang University, China, EECS, UC Berkeley, United States, Department of Automation, Tsinghua University, China

现有自动驾驶世界模型多采用自回归框架逐帧预测，难以高效捕捉长期时序演化。本文提出基于扩散的4D占用生成模型OccSora：先通过4D场景tokenizer将占用视频压缩为紧凑的离散时空表征，实现高质量重建；再基于扩散transformer以自车轨迹为条件，直接生成符合物理规律的4D占用序列。在nuScenes上的实验表明，OccSora可生成16秒、具备真实3D布局与时序一致性的占用视频，为轨迹可控的自动驾驶世界模拟提供了一种非自回归的扩散生成范式。

Controllable 3D Generation for Any-View Rendering in Street Scenes

作者信息待提取

Huawei Noah’s Ark Lab

现有3D街道场景生成方法往往依赖受控环境下的密集视图采集，难以泛化到nuScenes等常规自动驾驶数据集。MagicDrive3D将多视角视频合成与3D高斯泼溅（3DGS）生成相结合，先利用常规采集的驾驶数据训练可控视频生成模型，再重建为3D场景。该框架引入容错高斯泼溅（FTGS）与外观嵌入以缓解生成视图中的局部不一致与曝光差异，并支持道路地图、3D边界框和文本等多条件控制。实验表明，该方法可生成高质量可控街景，实现任意视角渲染，并提升BEV分割等下游任务的性能。

A Generalizable Driving World Model with High Fidelity and Versatile Controllability

作者信息待提取

High Fidelity and Versatile Controllability, Hong Kong University of Science and Technology, OpenDriveLab at Shanghai AI Lab, University of Tübingen, Tübingen AI Center

现有驾驶世界模型受限于数据规模与地理覆盖，在未见环境泛化、高分辨率细节保真及灵活动作控制上存在不足。为此，本文提出Vista，通过两项显式损失强化动态实例与结构信息学习，并设计潜在替换机制注入历史帧先验以实现高分辨率且长程连贯的未来预测，同时以统一接口融合高层意图与低层操控命令，使动作控制可跨数据集零样本泛化。实验表明，Vista在70%以上对比中优于通用视频生成器，并在FID和FVD上较当前最优驾驶世界模型分别提升55%与27%，还可作为可泛化奖励函数评估真实驾驶动作。

Open-Source Learning Platform for World Model based Autonomous Driving

作者信息待提取

Department of Computer Science, University of California, Davis, Department of Electrical and Computer Engineering, University of California, Davis, Department of Mechanical and Aerospace Engineering, University of California, Davis, Institute for Interdisciplinary Information Sciences, Tsinghua University, China

现有基于世界模型的强化学习在自动驾驶领域缺乏易用的开源训练测试平台。CarDreamer平台集成Dreamer系列等SOTA世界模型，提供高度可配置的内置驾驶任务与开发套件，支持多模态观测与意图通信，并通过Gym接口解耦以方便算法接入。实验表明世界模型在多模态输入下具有预测准确性，且车辆意图通信能显著提升交通安全性与效率。

Probing Multimodal LLMs as World Models for Driving

作者信息待提取

MIT CSAIL, MIT LIDS

该研究质疑当前多模态大语言模型能否胜任自动驾驶世界模型。通过构建EVAL-LLM-DRIVE数据集与DRIVESIM仿真器，作者从车内视角系统评估了GPT-4o等模型在动态驾驶序列上的推理能力。实验发现，尽管这些模型擅长单帧图像理解，却难以整合时序信息形成连贯叙事，在自车运动状态判断、轨迹规划和开放集场景推理中存在显著偏差与错误，表明现有MLLMs在连接离散视觉信息与连续动态物理世界方面仍有关键缺陷。

4D Pre-trained Scene Understanding via World Models for Autonomous Driving

作者信息待提取

School of Computer Science, Peking University, Unmanned Systems Technology Research Center, Defense Innovation Institute

现有视觉自动驾驶预训练多限于2D或3D前置任务，难以捕捉驾驶场景的时序演化。本文提出DriveWorld，首次基于世界模型对多相机驾驶视频进行4D预训练。其核心Memory State-Space Model包含Dynamic Memory Bank模块建模时序动态以预测未来变化，以及Static Scene Propagation模块提取空间静态上下文以补全场景信息，并辅以Task Prompt自适应解耦不同下游任务特征。在OpenScene上预训练后，该方法在3D检测、跟踪、建图、运动预测、占用预测和规划等任务上均取得显著性能提升。

Generative LiDAR Simulation in a Generated World

作者信息待提取

现有LiDAR仿真方法受限于单帧生成或依赖昂贵人工资产，难以兼顾语义可控性与时间一致性。本文提出LidarDM，通过潜在扩散模型生成3D场景并组合动态参与者构建底层4D世界，再经物理光线投射生成时序连贯的LiDAR视频，首次实现地图条件引导的4D LiDAR序列生成。实验表明，该方法在真实感、时序一致性和布局匹配度上优于现有方法，且生成的数据域差距小，可有效提升3D检测器与规划器的训练与测试性能。

Scaling Generative Data in Autonomous Driving via Subject Control

作者信息待提取

Wuhan University, University of Science and Technology of China, The Hong Kong Polytechnic University

现有自动驾驶合成数据工作多限于小规模验证，本文发现当生成样本增至69K时，3D跟踪等下游任务性能反而因前景多样性不足而下降。为此，作者提出SubjectDrive框架，通过主体控制机制将外部多样化主体注入视频生成过程，并设计了Subject Prompt Adapter、Subject Visual Adapter与Augmented Temporal Attention模块以增强前景多样性与时序一致性。在nuScenes上的实验表明，该方法显著提升了生成数据的可扩展性，其数据扩展后的效果首次超越基于大规模真实数据集nuImages预训练的感知模型。

LLM-Enhanced World Models for Diverse Driving Video Generation

作者信息待提取

Institute of Automation, Chinese Academy of Sciences

现有驾驶世界模型多依赖结构化输入，限制了交互性与场景多样性。DriveDreamer-2通过大语言模型将自然语言描述转化为智能体轨迹，再基于扩散模型生成符合交通规则的HDMap，从而解耦前景与背景交通条件的合成；进而提出Unified Multi-View Model统一视图内与跨视图空间一致性，提升多视角视频的时空连贯性。实验表明，该方法可生成如车辆突然切入等罕见定制场景，FID与FVD较先前最优方法相对提升约30%与50%，且生成的数据对3D检测与跟踪等下游感知任务训练带来约4%与8%的相对性能增益。

Efficient Reinforcement Learning by Thinking in Latent World Model for Quasi-Realistic Autonomous Driving

作者信息待提取

Shanghai Jiao Tong University, Shanghai 200240, China

针对CARLA v2中39类长尾corner case长期无人攻克，本文提出首个面向自动驾驶的model-based RL规划器Think2Drive。其核心是以紧凑隐世界模型学习环境转移，构建可并行的神经仿真器替代物理仿真器，令规划器在隐空间中“思考”驾驶；并针对策略退化、长尾分布与航向不稳定，设计了权重重置、自动场景生成与终止优先回放。实验表明，该方法在单张A6000上仅训练3天即可在CARLA v2达到专家水平并完成全部场景，同时提出了CornerCaseRepo场景级评估基准与平衡指标。

Modelling Competitive Behaviors in Autonomous Driving Under Generative World Model

作者信息待提取

The Chinese University of Hong Kong, Shenzhen, The University of Manchester

现有交通模拟的模仿学习难以捕捉多车交互下的长尾安全关键事件。本文从博弈论出发，将自动驾驶视为一般和马尔可夫博弈，提出基于生成式世界模型的CCE-MASAC算法：先预训练世界模型刻画环境动态，再通过乐观贝尔曼更新与磁镜下降优化多智能体策略，以学习粗相关均衡（CCE）来刻画车辆间的竞争交互。实验表明，该方法能有效缩小CCE差距，生成高保真且具竞争性的驾驶轨迹，并在复杂场景中准确还原安全关键事件。

Generalized Predictive Model for Autonomous Driving

作者信息待提取

OpenDriveLab and Shanghai AI Lab, Hong Kong University of Science and Technology, University of Hong Kong, University of T¨ubingen, T¨ubingen AI Center

为突破自动驾驶模型泛化能力不足与高昂数据采集成本的瓶颈，本研究构建迄今最大规模的多模态驾驶视频数据集OpenDV-2K，涵盖全球逾40国、244城、超2000小时的网络及公开数据，并配以文本描述。基于此，作者提出基于潜扩散模型的生成式预测模型GenAD，通过两阶段训练与因果时序注意力机制建模高动态驾驶场景。实验表明，GenAD在零样本域迁移、语言与动作条件预测及运动规划等任务上均展现出强泛化性与可控性。

Generative End-to-End Autonomous Driving

作者信息待提取

University of California, Berkeley, Institute of Automation, Chinese Academy of Sciences

现有端到端自动驾驶方法多采用感知、预测、规划的串行设计，难以捕捉自车与他车的高阶未来交互，且缺乏对轨迹结构化先验的利用。本文提出生成式框架GenAD，将自动驾驶重新建模为未来轨迹生成问题：通过实例中心的场景tokenizer提取地图感知的实例表征，利用变分自编码器在结构化潜空间中学习轨迹分布先验，并通过时序模型自回归生成未来状态，实现运动预测与规划的统一。在nuScenes数据集上，GenAD取得了视觉中心端到端自动驾驶的先进性能与较高推理效率。

Neural Volumetric World Models for Autonomous Driving

作者信息待提取

Boston University

现有自动驾驶端到端方法多依赖BEV平面表示，难以充分刻画三维世界的几何、遮挡与动态特性。本文提出NeMo框架，以神经体积渲染实现自监督三维体积表征预训练，并设计运动流模块捕捉复杂城市场景的动态时空一致性，再通过时序注意力机制融合未来体积特征以支持运动规划。该方法在nuScenes开放环与CARLA闭环评测中均取得领先性能，较基线提升逾18%。

Modelling-Competitive-Behaviors-in-Autonomous-Driving-Under-Generative-World-Model

作者信息待提取

全文短总结尚未生成。

Visual Point Cloud Forecasting enables Scalable Autonomous Driving

作者信息待提取

Visual Point Cloud Forecasting enables Scalable Autonomous Driving, OpenDriveLab and Shanghai AI Lab

现有视觉自动驾驶预训练多依赖昂贵3D标注或缺乏时序建模，难以规模化。本文提出视觉点云预测任务，通过从历史图像预测未来点云，同时监督语义、3D几何与时序动态。为此设计ViDAR框架，引入Latent Rendering操作符在潜空间建模3D几何并连接编解码器。实验表明，该方法在nuScenes点云预测上较先前方法提升约33%，并使3D检测、运动预测与规划等下游任务获得显著增益，验证了该预训练范式对可扩展自动驾驶的有效性。

Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving

作者信息待提取

针对端到端自动驾驶规划器在分布外场景中易失效的问题，本文提出Drive-WM，首个兼容现有端到端规划器的驾驶世界模型。该模型通过视图分解进行联合时空建模，生成高保真多视角视频，并借助统一条件接口整合文本、3D布局、动作等异构条件。基于该世界模型，系统可针对不同驾驶动作想象多条未来轨迹，通过图像奖励评估选择最优规划，在nuScenes上实现了高质量多视角视频生成，并有效提升了规划合理性与分布外场景的鲁棒性。

Benchmark for Camera-Only 4D Occupancy Forecasting in Autonomous Driving Applications

作者信息待提取

现有基于相机的占用估计多局限于当前三维空间，缺乏对未来环境变化的预测能力，且激光雷达方案成本高、部署重。为此，本文提出首个纯视觉四维占用预测基准Cam4DOcc，通过整合多个公开数据集构建包含连续语义、实例标注及三维向心流的时序数据格式，并设计了四类基线与标准化评测协议。实验表明，所提端到端网络OCFNet在有限训练数据下仍能预测出合理的未来占用状态，验证了端到端时空建模是该任务最有前景的研究方向。

Panoramic and Controllable Video Generation for Autonomous Driving

作者信息待提取

University of Science and Technology of China

针对自动驾驶领域高质量标注视频数据稀缺且采集成本高昂的问题，本文提出Panacea这一全景可控驾驶视频生成方法。该方法采用两阶段生成框架与分解式4D注意力机制，在通过ControlNet实现BEV布局序列精确控制的同时，保证了生成视频的时间连贯性与跨视角一致性。实验表明，Panacea能够在nuScenes数据集上合成高质量多视角驾驶视频，所生成的数据不仅能有效扩充训练集，还能显著提升现有BEV感知模型的性能。

Learning a 3D Occupancy World Model for Autonomous Driving

作者信息待提取

Department of Automation, Tsinghua University, China, Department of Electronic Engineering, Tsinghua University, China

针对现有自动驾驶方法依赖3D边界框与高精地图标注、难以刻画细粒度场景演化的问题，本文提出OccWorld，直接在三维占用空间学习世界模型。该方法通过VQVAE将场景自监督地离散为token，再以类GPT的时空生成Transformer同时预测未来场景占用与自车轨迹，摆脱了对实例和地图标注的依赖。在nuScenes上，模型基于2秒历史预测3秒未来占用的IoU达26.63，规划L2误差仅1.16米，且能生成逻辑合理的可行驶区域。

Layout-Guided multi-view driving scene video generation with latent diffusion model

作者信息待提取

Baidu Inc

针对自动驾驶BEV感知所需的高质量多视角视频数据采集与标注成本高昂的问题，本文提出DrivingDiffusion框架。该方法以3D布局为控制条件，通过级联多视角单帧生成、单视角时序生成与后处理三阶段，并引入跨视角注意力、关键帧控制器与局部提示，在解决跨视角和跨帧不一致的同时提升实例生成质量。在nuScenes上的实验表明，该方法在视频合成性能上达到领先水平，可无额外成本地生成大规模复杂城市场景下的逼真多视角驾驶视频。

Safe Reinforcement Learning with World Models

作者信息待提取

Institute of Artificial Intelligence, Peking University, School of Cyber Science and Technology, Beihang University

现有安全强化学习方法在复杂视觉任务中常因模型不精确与样本效率不足而难以实现零成本约束。本文提出SafeDreamer，在Dreamer世界模型框架内将拉格朗日方法与在线及背景安全-奖励规划相结合，设计了OSRP-Lag与BSRP-Lag算法，通过约束交叉熵方法在隐空间平衡长期奖励与安全成本。该方法同时支持低维和视觉输入，在Safety-Gymnasium基准上取得近零成本表现，并优于现有基于模型与无模型的对比方法。

Street View Generation with Diverse 3D Geometry Control

作者信息待提取

The Chinese University of Hong Kong, Hong Kong University of Science and Technology, Huawei Noah’s Ark Lab

针对现有街景生成方法在3D几何控制（如高度、深度、遮挡）上的不足，难以满足3D感知任务需求，本文提出MAGICDRIVE框架。该方法通过分离编码3D边界框与BEV地图，并引入跨视角注意力模块，在无需显式几何变换的情况下实现多相机一致的街景图像与视频生成，同时支持文本属性控制。实验表明，该方法在多维可控性上优于已有方案，且生成的合成数据能显著提升BEV分割与3D目标检测等下游任务的性能。

Towards Real-world-driven World Models for Autonomous Driving

作者信息待提取

Tsinghua University

现有世界模型多聚焦游戏或模拟环境，难以表征真实驾驶场景。本文提出DriveDreamer，首次完全基于真实世界驾驶数据构建世界模型，通过引入自动驾驶扩散模型与两阶段训练策略，先理解结构化交通约束，再基于驾驶动作预测未来状态。在nuScenes上的实验表明，该方法能生成精确可控且符合真实交通结构的驾驶视频，并可产生合理的驾驶策略，在开放环路测试中取得有前景的规划表现。

Enhance Sample Efficiency and Robustness of End-to-end Urban Autonomous Driving via Semantic Masked World Model

Zeyu Gao, Yao Mu, Chen Chen, Jingliang Duan, Shengbo Eben Li, Ping Luo, Yanfeng Lu

针对现有端到端自动驾驶世界模型在压缩高维观测时保留了云朵、建筑等大量驾驶无关信息，且训练数据分布不均（直行等常见场景远多于转弯、近碰撞等边角案例），导致采样效率低、鲁棒性不足及极端场景处理困难的问题，本文提出SEM2语义掩码循环世界模型。该方法通过可学习的语义过滤器从潜在状态中提取道路布局、目标路径及周边物体等关键特征用于决策，并设计多源数据采样器将常见与多种边角案例聚合至同一训练批次以平衡分布。CARLA实验表明，该方法在采样效率与输入扰动鲁棒性上优于现有基于深度强化学习的端到端自动驾驶方法。

COMPARATIVE STUDY OF WORLD MODELS, NVAE- BASED HIERARCHICAL MODELS, AND NOISYNET- AUGMENTED MODELS IN CARRACING-V2

作者信息待提取

Department of Computer Science, Portland State University

本文聚焦CarRacing-V2连续控制任务中世界建模与探索效率的权衡，对比了标准World Models、NVAE分层模型与NoisyNet增强模型。实验发现，NVAE层级隐变量结构可改善特征表示与泛化并降低奖励方差，NoisyNet参数噪声则能在仅使用半数rollout的情况下达到与基线相近的累积奖励，显著提升探索效率；而标准World Models虽奖励最高，却依赖更多采样。作者据此建议，未来面向自动驾驶的模型强化学习可融合NVAE的特征提取与NoisyNet的自适应探索，以兼顾性能与样本效率。

Knowledge Graphs as World Models for Material-Aware Obstacle Handling in Autonomous Vehicles

作者信息待提取

Artificial Intelligence Explainability Accountability (AIEA) Lab, University of California, Santa Cruz

现有自动驾驶系统依赖摄像头与雷达等异构传感器，却难以推断障碍物的材质属性，导致无法像人类一样区分塑料袋与交通锥等障碍的危险等级。本文提出将知识图谱作为世界模型，通过语义关系推理障碍物的延展性、密度与弹性等物理特性，以弥补纯感知系统的认知缺口。在CARLA仿真器中的对比实验表明，该框架通过消解多传感器数据冲突，使紧急制动响应率提升13.3%，变道成功率提高6.6%，能够针对软硬障碍自主决策压过或绕行。

Uncertainty Modeling in Autonomous Vehicle Trajectory Prediction: A Comprehensive Survey

作者信息待提取

全文短总结尚未生成。

Divide and Merge: Motion and Semantic Learning in End-to-End Autonomous Driving

Yinzhe Shen, Omer Sahin Tas, Kaiwen Wang, Royden Wagner, Christoph Stiller

Karlsruhe Institute of Technology (KIT), FZI Research Center for Information Technology

现有端到端自动驾驶方法将语义与运动信息混合编码，导致运动预测任务对检测与跟踪产生负迁移。本文提出DMAD框架，通过Neural-Bayes运动解码器将两类学习分离：运动查询与对象查询并行作用于传感器嵌入，共享递归更新的参考点但阻断梯度传播，使对象查询专注语义而运动查询捕获时序变化；同时以交互式语义解码器增强检测与地图分割间的信息交换，促进正迁移。在nuScenes数据集上基于UniAD与SparseDrive的实验表明，该方法在感知、预测及规划任务上均取得性能提升。

RDAR: Reward-Driven Agent Relevance Estimation for Autonomous Driving

Carlo Bosio, Greg Woelki, Noureldin Hendy, Nicholas Roy, Byungsoo Kim

现有自动驾驶系统需处理全量交通参与者，导致交互建模的计算复杂度高、延迟大，而人类驾驶时仅关注少数关键对象。本文提出RDAR，将agent筛选形式化为马尔可夫决策过程，以强化学习训练评分策略，通过向冻结的预训练驾驶策略输入动态agent掩码，直接学习基于驾驶奖励的agent相关性度量，且仅需单次前向传播。在大规模数据集上的闭环实验表明，该方法在保持整体进度、安全性与驾驶性能可比的同时，能显著减少进入策略的agent数量。

Genie Envisioner: A Unified World Foundation Platform for Robotic Manipulation

作者信息待提取

LV-NUS Lab

针对现有机器人操作 pipeline 割裂、迭代成本高的痛点，本文提出 Genie Envisioner 统一平台，将感知、策略学习与闭环评估整合至单一视频生成世界模型。核心 GE-Base 为大规模指令条件视频扩散模型，GE-Act 通过轻量流匹配解码器将隐空间映射为可执行动作，GE-Sim 提供动作条件神经仿真。实验表明，系统在商品 GPU 上低延迟生成扭矩轨迹，在 AgiBot G1 上实现精确操控，并仅凭 1 小时遥操作数据即泛化至 Agilex Cobot Magic 等全新本体，仿真速度远超真实执行。

WoW: Towards a World omniscient World model Through Embodied Interaction

作者信息待提取

Beijing Innovation Center of Humanoid Robotics, State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University, Hong Kong University of Science and Technology

当前视频模型多依赖被动观察，难以建立真实的物理因果直觉。为此，本文提出14B参数的生成式世界模型WoW，基于200万条真实机器人交互轨迹训练；并设计SOPHIA框架，由视觉语言模型评判并迭代优化扩散模型输出，以约束其符合物理规律。同时，Flow-Mask逆动力学模型将想象转化为7自由度末端执行器动作，闭环感知到行动。在自建的WoWBench上，WoW在物理一致性、因果推理与碰撞动力学等维度达到最优，系统验证了大规模真实世界交互是构建AI物理直觉的基石。

UnifoLM-WMA-0: A World-Model-Action (WMA) Framework under UnifoLM Family

作者信息待提取

全文短总结尚未生成。

iVideoGPT: Interactive VideoGPTs are Scalable World Models

作者信息待提取

iVideoGPT: Interactive VideoGPTs are Scalable, School of Software, BNRist, Tsinghua University, Zhili College, Tsinghua University, Huawei Noah’s Ark Lab, College of Intelligence and Computing, Tianjin University

现有视频生成模型虽具规模但缺乏逐步交互能力，而交互式世界模型又难以扩展。本文提出iVideoGPT，通过自回归Transformer框架整合视觉观测、动作与奖励，并设计条件式压缩tokenization技术将视频token序列缩减约16倍，实现兼具可扩展性与细粒度交互的世界模型。该模型在百万级人机操作轨迹上预训练后，可适配动作条件视频预测、视觉规划及模型强化学习等任务，并取得与当前最佳方法相当的性能。

Direct Robot Configuration Space Construction using Convolutional Encoder-Decoders

Christopher Benka, Judah Goldfeder, Carl Gross, Riya Gupta, Hod Lipson

现有运动规划方法在障碍发生平移、旋转或增减时需重新采样并训练碰撞分类器，实时性受限。本文提出以卷积编码器-解码器直接学习从工作空间图像到构型空间（C-space）图像的端到端映射，跳过传统基于采样的流程。在二维双臂机器人工作空间的实验表明，该方法平均以1.08微秒/构型的速度实现97.5%的F1分数，漏检碰撞低于2.5%，且对未见过的障碍变换具备较强的零样本迁移能力。

ViPRA: Video Prediction for Robot Actions

作者信息待提取

Carnegie Mellon University, University of California, Irvine

为解决机器人动作标注数据稀缺问题，本文提出ViPRA框架，利用海量无动作标签的人类与机器人视频进行预训练。该方法通过视频语言模型联合预测未来视觉观测与运动中心的潜在动作，并以光流一致性约束确保其物理合理性；下游仅依靠100至200条遥操作演示，通过分块流匹配解码器将潜在动作映射为高频连续动作序列，实现22Hz控制。实验表明，该方法在SIMPLER基准和真实世界操作任务上分别取得16%和13%的性能提升。

ROPES: Robotic Pose Estimation via Score-based Causal Representation Learning

作者信息待提取

Google DeepMind, Carnegie Mellon University, Rensselaer Polytechnic Institute, Google DeepMind. All rights reserved

因果表示学习虽在理论上取得进展，但与真实机器人场景仍存在明显鸿沟。本文面向机器人姿态估计，提出基于分数的因果表示学习方法ROPES，利用对单个关节执行干预所产生的图像分布变化，并基于分数函数差异的稀疏性，在无标注且无需机器人物理模型先验的条件下，从原始图像中解耦并恢复关节角度。半合成机械臂实验表明，该方法能够以高保真度恢复潜在生成因子，仅依赖分布级对比即可实现无标签姿态估计。

PointWorld

作者信息待提取

Stanford University, Work done partly at NVIDIA

针对现有世界模型在物理一致性与跨本体迁移上的不足，本文提出PointWorld，将状态与动作统一为共享3D点流。其核心洞察是以本体无关的稠密3D点轨迹编码动作，直接基于机器人几何条件化预测，从而不依赖目标地捕捉交互物理。研究整理了近200万条跨真实与模拟的多本体操作轨迹，并通过规模化实验提炼设计原则。最终，模型以0.1秒推理速度，仅凭单张野外RGB-D图像即可零样本驱动真实机器人完成刚体推动、可变形物体及工具操作等任务。

Dex-WM

作者信息待提取

FAIR at Meta, New York University, Work done during internship at Meta

现有世界模型动作空间过于粗糙，难以捕捉手指微运动与环境的接触动态，且缺乏大规模灵巧数据。DexWM提出以第一人称视频中3D手指关键点作为动作表示，联合优化环境潜在状态与手部配置，在900多小时人类及非灵巧机器人数据上学习跨具身动态。实验表明，该模型在开放环轨迹模拟中优于既有世界模型，并通过MPC规划实现零样本迁移，在Franka Panda配Allegro夹爪的抓取、放置与到达任务上平均较Diffusion Policy提升逾50%，真实抓取成功率达83%。

FLARE: Robot Learning with Implicit World Modeling

Ruijie Zheng, Jing Wang, Scott Reed, Johan Bjorck, Yu Fang, Fengyuan Hu, Joel Jang, Kaushil Kundalia, Zongyu Lin, Loic Magne, Avnish Narayan, You Liang Tan, Guanzhi Wang, Qi Wang, Jiannan Xiang, Yinzhen Xu, Seonghyeon Ye, Jan Kautz, Furong Huang, Yuke Zhu, Linxi Fan

University of Maryland, College Park, Nanyang Technological University, University of Texas, Austin

现有方法通过生成未来视觉帧联合学习世界模型与策略，计算开销高且像素重建与动作预测争夺模型容量。FLARE提出未来潜在表示对齐，仅在标准VLA的Diffusion Transformer中加入少量未来token，无需完整帧重建即可隐式预测未来观测的紧凑嵌入。该方法在单臂与人形桌面操作的多任务模仿学习基准上达到最优性能，较基线提升达26%，并支持利用无动作标签的人类第一视角视频联合训练，仅凭单个真实机器人演示即可泛化到未见过的新物体。

EnerVerse: Envisioning Embodied Future Space for Robotics Manipulation

作者信息待提取

Shanghai AI Lab, CUHK MMLab, LV-NUS Lab

现有通用视频生成模型与机器人三维时序环境的表示空间存在显著鸿沟。本文提出EnerVerse，以分块自回归视频扩散框架迭代预测具身未来空间，并引入稀疏上下文记忆支持长期推理；通过多视角视频预训练注入三维空间先验，使单相机部署亦可借助渲染视角增强三维理解。此外，EnerVerse-D将生成模型与4D高斯溅射结合，构建自增强数据飞轮以缩小仿真到现实的差距；EnerVerse-A策略头复用首步去噪特征，将四维世界表示高效转化为动作块。实验表明，该方法在仿真与真实机器人操作任务中均取得领先性能，且单卡RTX 4090生成每八步动作块仅需约280毫秒。

AgiBot World Colosseo: A Large-scale Manipulation Platform for Scalable and Intelligent Embodied Systems

作者信息待提取

for Scalable and Intelligent Embodied Systems, Multi-robot Collaboration

现有机器人数据普遍存在规模不足、场景单一且质量参差的问题，制约了通用操作策略的学习。为此，AgiBot World Colosseo构建了覆盖五大真实场景、超百万条轨迹的大规模双臂人形机器人数据集，并通过标准化采集与人在回路验证保障数据质量；进而提出基于潜在动作表示的通用策略GO-1，实现网络规模异构数据的统一预训练与高效利用。实验表明，在该数据集上预训练的策略较Open X-Embodiment平均提升30%的成功率，GO-1在复杂灵巧长程任务中成功率超过60%，较RDT提升32%，且性能随数据增长呈现可预测的扩展趋势。

DyWA: Dynamics-adaptive World Action Model for Generalizable Non-prehensile Manipulation

作者信息待提取

Center on Frontiers of Computing Studies, School of Computer Science, Peking University, Inst. for Artificial Intelligence, Peking University, State Key Laboratory of General Artificial Intelligence, Peking University

针对非抓取操作现有方法依赖多视角相机与精确位姿跟踪、且难以泛化至不同物理条件的问题，本文提出DyWA框架，其核心洞察是通过历史轨迹自适应估计动力学，并将动作模型扩展为联合预测未来状态与动作的世界动作模型，从而在单视角部分观测下实现更鲁棒的策略学习。实验表明，该方法在仿真中仅使用单视角点云即可将成功率提升31.5%，并在真实世界实现68%的平均成功率，零样本迁移至不同几何与摩擦条件。

TesserAct: Learning 4D Embodied World Models

作者信息待提取

Harvard University, Move coke can near bottle - Google Robot

现有2D视频世界模型缺乏精确三维几何信息，难以支撑机器人操作所需的深度与姿态估计。本文提出TesserAct，一种4D具身世界模型，以轻量RGB-DN（RGB、深度、法线）视频为中间表示，联合生成外观、几何与表面序列，并设计重建算法将视频转化为时空一致的4D场景。实验表明，该方法在合成与真实机器人数据上均能生成高保真4D场景，且下游策略显著优于传统视频世界模型。

DreamGen: Unlocking Generalization in Robot Learning through Video World Models

作者信息待提取

University of Washington, University of Maryland

机器人学习受困于人工数据采集成本高与仿真到真实的鸿沟，DreamGen将视频世界模型重新定位为合成数据生成器，通过四阶段流程微调图像到视频模型生成逼真机器人视频，并利用逆动力学或潜在动作模型提取伪动作构建“神经轨迹”以训练视觉运动策略。仅凭单一环境中少量pick-and-place数据，即可驱动人形机器人在熟悉与全新环境中完成22种新行为；在仿真中将数据增广333倍带来对数线性性能提升，并在GR1、Franka等真实机器人上验证。文中提出的DreamGen Bench也表明视频生成质量与下游策略性能强相关。

Compositional Foundation Models for Hierarchical Planning

作者信息待提取

Improbable AI Lab, MIT-IBM Watson AI Lab, Massachusetts Institute Technology

针对长程机器人任务中跨模态配对数据昂贵且难以扩展的瓶颈，本文提出组合式分层规划基础模型HiP。该方法将独立训练的大语言模型、视频扩散模型与逆动力学模型分别作为任务、视觉与动作规划器进行分层组合，并通过迭代细化机制保障语言子目标、视觉轨迹与底层动作之间的一致性，无需昂贵的语言-视觉-动作配对数据或大模型微调。在三个长程桌面操作任务中，该方法展现出良好的有效性与适应性。

VLA-JEPA: Enhancing Vision-Language-Action Model with Latent World Model

作者信息待提取

University of Science and Technology of China, Zhongguancun Academy, Beijing, China, Tong University, Tsinghua University, Eastern Institute of Technology, Ningbo

当前基于互联网视频的VLA隐式动作预训练往往锚定像素变化而非动作相关的状态转移，易受外观偏差、干扰运动和信息泄漏影响。本文提出VLA-JEPA，以JEPA框架实现无泄漏的潜在状态预测：目标编码器基于未来帧生成监督目标，学生网络仅接收当前观测并在潜在空间预测未来状态，从而剥离相机运动与背景干扰并学习可控的状态转移语义。该方法将流程简化为JEPA预训练与动作头微调两阶段，在LIBERO系列、SimplerEnv及真实机械臂任务中均取得泛化性与鲁棒性的持续提升。

Physical Autoregressive Model for Robotic Manipulation without Action Pretraining

作者信息待提取

Sun Yat-sen University, Guangdong Key Laboratory of Big Data Analysis and Processing, X-Era AI Lab, Guangdong University of Technology, SYSU HCP-LAB. All rights reserved

针对机器人操作数据稀缺、动作预训练成本高昂的问题，本文提出Physical Autoregressive Model (PAR)。该方法将视觉帧与动作整合为“物理令牌”，利用自回归视频预训练中的世界知识来理解物理动态，无需动作预训练。为减少量化误差并增强视觉与动作的协同，PAR采用DiT-based连续令牌表示，并设计结合隐式逆运动学的因果掩码。在ManiSkill基准上，PAR在PushCube任务达到100%成功率，其余任务媲美动作预训练基线，且能生成与未来视频高度一致的动作轨迹。

iMoWM: Taming Interactive Multi-Modal World Model for Robotic Manipulation

作者信息待提取

State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University, Hong Kong University of Science and Technology, National University of Singapore, Beijing Innovation Center of Humanoid Robotics

针对VLA模型急需腕部视角捕捉细粒度交互，但大规模数据集中该视角稀缺、既有世界模型又常依赖腕部首帧作为条件的困境，本文提出WristWorld。作为首个仅凭锚点视角生成腕部视频的4D世界模型，其两阶段框架先扩展VGGT并引入空间投影一致性损失，重建几何一致的腕部姿态与4D点云，再基于扩散模型合成时间连贯的腕部视频。实验表明，该方法在Calvin等基准上视频生成质量达到SOTA，并将VLA平均任务完成长度提升3.81%，弥合了42.4%的视角性能差距。

WristWorld: Generating Wrist-Views via 4D World Models for Robotic Manipulation

作者信息待提取

State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University, Hong Kong University of Science and Technology, National University of Singapore, Beijing Innovation Center of Humanoid Robotics

现有机器人数据集普遍缺乏腕部视角，导致VLA模型难以利用精细的手物交互信息，而现有世界模型又无法仅凭第三人称视角生成腕部视频。WristWorld提出首个两阶段4D世界模型，通过扩展VGGT并引入空间投影一致性损失重建4D点云与腕部位姿，再以扩散模型生成时序连贯的腕部视角视频。实验表明，该方法在Calvin等基准上显著提升了视频生成的空间一致性与下游VLA任务表现，平均任务完成长度提升3.81%，弥合了42.4%的视角差距。

A Recipe for Efficient Sim-to-Real Transfer in Manipulation with Online Imitation-Pretrained World Models

作者信息待提取

Imitation–Pretrained World Models

针对真实世界专家示范稀缺且无奖励信号的机器人模仿学习场景，现有离线方法常因数据覆盖不足导致过拟合与性能退化。该文提出一种基于潜空间世界模型的仿真到现实框架，通过在仿真环境中进行在线模仿预训练扩展状态空间覆盖，再在现实世界少量专家数据上离线微调，避免了对手工设计奖励函数的依赖。实验表明，该方法在仿真迁移和现实迁移任务中分别将成功率较离线模仿基线提升至少31.7%与23.3%，并增强了微调后的鲁棒性与分布外泛化能力。

EMMA: Generalizing Real-World Robot Manipulation via Generative Visual Transfer

作者信息待提取

Peking University, Tsinghua University

针对VLA模型因训练数据视觉多样性不足而泛化受限的问题，本文提出EMMA框架，通过DreamTransfer生成多视角一致且几何合理的操作视频，支持文本编辑前景、背景与光照以扩展数据多样性，并设计AdaMix自适应加权困难样本以优化训练。实验表明，在零样本真实视觉场景中，该方法相较仅使用真实数据取得逾92%的相对成功率提升，AdaMix额外带来17%增益，视频生成的多视角一致性与深度一致性亦分别提升42%与24%。

PhysTwin: Physics-Informed Reconstruction and Simulation of Deformable Objects from Videos

作者信息待提取

Columbia University, University of Illinois Urbana-Champaign

PhysTwin针对稀疏视频中可变形物体数字孪生难以同时重建几何、物理与外观的问题，提出将弹簧-质量物理模拟与生成式几何、高斯外观融合的表示，并设计了分层稀疏到稠密的逆物理优化框架，从有限视角恢复完整拓扑、密集物理参数与真实感外观。实验显示其在重模拟、未来预测及未见交互泛化上均优于对比方法，并可实时驱动交互模拟与机器人运动规划。

KeyWorld: Key Frame Reasoning Enables Effective and Efficient World Models

作者信息待提取

Department of Electronic Engineering, BNRist, Tsinghua University

现有机器人世界模型采用逐帧生成，计算冗余大且物理一致性差。KeyWorld 提出基于机器人运动轨迹提取语义关键帧，先用 DiT 根据文本指令生成这些关键帧，再用轻量级 CNN 插值中间帧，将重型计算聚焦于物理状态跃迁。在 LIBERO 基准上，该方法实现 5.68 倍推理加速，并显著提升了生成轨迹的物理合理性，尤其在复杂任务中表现更佳。

World4RL: Diffusion World Models for Policy Refinement with Reinforcement Learning for Robotic Manipulation

作者信息待提取

World4RL针对模仿学习受限于专家数据稀缺、真实机器人强化学习成本高昂且仿真器存在sim-to-real差距的问题，提出以扩散世界模型作为高保真仿真器，在冻结的想象环境中端到端优化策略，并设计了面向机器人操作的two-hot动作编码以提升建模保真度，最终在仿真和真实机器人实验中分别实现16%和25%的绝对成功率提升。

SAMPO:Scale-wise Autoregression with Motion PrOmpt for generative world models

作者信息待提取

National Key Laboratory of Human-Machine Hybrid Augmented Intelligence, National Engineering Research Center for Visual Information and Applications, Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University, University of Illinois at Chicago, Amazon.com, Inc

针对现有自回归世界模型因展平破坏空间结构、解码低效且运动建模不足而导致视觉预测不连贯的问题，本文提出SAMPO框架，将帧内尺度化视觉自回归与帧间因果时序建模相结合，以双向空间注意力保持空间局部性并支持尺度内并行解码，同时设计非对称多尺度tokenizer分别对观察帧与未来帧进行稠密与稀疏编码以平衡细节与动态信息，并引入轨迹感知运动提示显式注入机器人与物体轨迹先验。实验表明，SAMPO在动作条件视频预测与模型控制中表现优异，推理速度提升4.4倍，并具备零样本泛化能力。

PhysicalAgent: Towards General Cognitive Robotics with Foundation World Models

作者信息待提取

Valerii Serpiva, Miguel Altamirano Cabrera, Mikhail Konenkov, Dzmitry Tsetserukou

现有视觉-语言-动作模型往往需针对特定机器人与任务微调，跨平台迁移能力有限。PhysicalAgent提出基于基础世界模型的通用认知机器人框架，以“感知-规划-推理-执行”流水线将高层推理与低层控制解耦：利用视觉-语言模型规划任务，再以扩散式世界模型生成动作视频作为中间表征，经轻量级适配器映射为电机指令，并支持失败后迭代重规划。实验表明，该框架在双臂机器人、人形平台等多种具身上可迁移，首次执行成功率约20–30%，经闭环修正后总体成功率达80%，熟悉任务最高达83%。

Empowering Multi-Robot Cooperation via Sequential World Models

作者信息待提取

School of Artificial Intelligence, University of Chinese Academy of Sciences, SKL-MAIS, Institute of Automation, Chinese Academy of Sciences

针对多机器人协作中联合动力学建模复杂、集中式方法维度过高而分散式方法难以协调的问题，本文提出Sequential World Model (SeqWM)，将序列范式引入基于模型的强化学习：各智能体以独立世界模型自回归地依次推理，后序者基于前序者的轨迹预测进行规划，从而在降低建模复杂度的同时通过显式意图共享涌现出预测适应、时序对齐与角色分工等高级协作行为。实验表明，SeqWM在Bi-DexHands与Multi-Quadruped任务中的性能与样本效率均优于现有基线，并已在Unitree Go2-W四足机器人平台上完成真实部署。

Learning Primitive Embodied World Models: Towards Scalable Robotic Learning

作者信息待提取

Learning Primitive Embodied World Models: Towards Scalable Robotic Learning, LEARNING PRIMITIVE EMBODIED WORLD MODELS, TOWARDS SCALABLE ROBOTIC LEARNING, Shanghai AI Lab

现有视频生成式具身世界模型受困于交互数据稀缺与高维，长程预测难以实现细粒度语言-动作对齐。本文提出 Primitive Embodied World Models（PEWM），将生成时域限制在语义不可再分的短程原语（≤2秒），以降低学习难度并提升数据效率；再通过 VLM 规划器与起止点热力图引导（SGG）将原语组合为长程任务。实验表明，该方法在仿真与真实机器人上均实现了低延迟（4步、12 FPS）的闭环控制，并对新指令和跨域场景展现出较强的组合泛化能力。

GWM: Towards Scalable Gaussian World Models for Robotic Manipulation

作者信息待提取

GWM: Towards Scalable Gaussian World Models for Robotic Manipulation, Tsinghua University, State Key Laboratory of General Artificial Intelligence, BIGAI, School of Electrical and Electronic Engineering, Nanyang Technological University, Offline Imitation Learning

现有图像世界模型因缺乏三维几何与空间理解，易受光照、视角等视觉变化干扰，且传统3D重建计算代价高、难以扩展至机器人操作。本文提出基于3D Gaussian Splatting的Gaussian World Model（GWM），通过3D高斯VAE与潜在扩散Transformer实现动作条件下的未来场景预测，既可增强模仿学习的视觉表征，又能作为神经模拟器支持基于模型的强化学习。在31项模拟任务及真实Franka实验中，GWM较最优基线分别提升16.25%与30%，展现出3D世界模型的数据扩展潜力。

Latent Policy Steering with Embodiment-Agnostic Pretrained World Models

作者信息待提取

针对机器人策略学习在低数据场景下性能受限、跨具身数据难以利用的问题，本文提出以光流作为与具身无关的动作表示，利用多源异构数据预训练世界模型，并设计Latent Policy Steering（LPS）方法：在潜在空间中模拟分布偏移以学习鲁棒价值函数，从而在推理时评估并选择最优动作计划。实验表明，LPS在Robomimic仿真任务上平均提升行为克隆策略10.6%，在真实世界任务中仅用30-50条目标具身演示即可实现70%的相对性能增益。

EmbodieDreamer: Advancing Real2Sim2Real Transfer for Policy Training via Embodied World Modeling

作者信息待提取

Institute of Automation, Chinese Academy of Sciences, Peking University

针对真实世界具身数据采集成本高、仿真到真实迁移存在物理与视觉双重差距的问题，本文提出EmbodieDreamer框架，通过PhysAligner利用可微物理梯度优化机器人控制增益与摩擦系数等参数以对齐真实动力学，并通过VisAligner基于条件视频扩散模型将低保真仿真渲染转化为照片级真实视频。实验表明，PhysAligner较模拟退火降低参数估计误差3.74%并加速优化89.91%，在该环境中训练的策略经强化学习后在真实任务平均成功率上提升29.17%。

RoboScape: Physics-informed Embodied World Model

作者信息待提取

Tsinghua University

当前具身世界模型多聚焦于RGB视频生成，缺乏对3D几何与运动动力学的物理感知，导致接触丰富的操作场景中出现不真实形变与运动伪影。为此，本文提出RoboScape，以统一的多任务自回归框架联合学习RGB视频生成、时序深度预测与自适应关键点动力学。时序深度预测通过注入深度特征增强三维空间一致性，关键点动力学则通过强制显著运动区域的时序一致性来隐式编码物体材质与形变属性，无需外部物理仿真器级联。实验表明，该模型在RGB与深度预测精度上达到SOTA并兼顾二者平衡，其生成数据可有效提升Diffusion Policy与pi0等策略性能，并能作为可靠策略评估器。

Factored World Models for Zero-Shot Generalization in Robotic Manipulation

作者信息待提取

Khoury College of Computer Sciences, Northeastern University, Informatics Institute, University of Amsterdam, Google Research, Brain Team

针对多物体操作场景中状态组合爆炸与泛化不足的问题，本文提出物体分解世界模型FWM。其核心创新在于以残差堆叠图神经网络建模连续pick-and-place动作，通过在节点与边网络的多层注入动作坐标，利用置换等变性捕获稀疏物体交互，从而解耦组合状态空间并实现对全新任务配置的零样本泛化。在模拟环境中，该方法可规划长达12步的操作序列且成功率约70%，并能直接零样本迁移至真实机器人，无需微调即可达到约40%的成功率。

ParticleFormer: A 3D Point Cloud World Model for Multi-Object, Multi-Material Robotic Manipulation

作者信息待提取

Stanford University, RAI Institute

现有基于图神经网络的3D世界模型在多材料、多物体交互场景中受限于邻接图超参数敏感，且依赖耗时的3D场景重建获取训练监督。本文提出ParticleFormer，以Transformer作为神经动力学骨干自动推断粒子间3D交互，并设计混合点云损失（Chamfer距离与Hausdorff距离）直接作用于原始传感器点云，避免昂贵重建同时保证局部精度与全局结构一致性。在6项仿真与3项真实机器人实验中，该方法在动力学预测精度与下游模型预测控制任务中的rollout误差均显著优于现有基线，文中还扩展了多材料交互的动力学学习基准。

ManiGaussian++: General Robotic Bimanual Manipulation with Hierarchical Gaussian World Model

作者信息待提取

ManiGaussian++针对双臂操作中多体时空动力学难以建模导致单臂方法性能骤降的问题，提出层次化高斯世界模型。其通过任务导向的高斯溅射区分主动臂与稳定臂的角色，并借助领导者-追随者架构逐层预测未来场景形变：领导者先建模稳定臂运动所致形变，追随者再推断主动臂引起的物理后果。在10项模拟任务中较现有最优方法提升20.2%，并在9项真实任务中取得60%平均成功率。

Reimagination with Test-time Observation Interventions: Distractor-Robust World Model Predictions for Visual Model Predictive Control

作者信息待提取

University of California, Berkeley, Carnegie Mellon University

现有世界模型在开放场景下易受训练未见过的视觉干扰物影响，导致预测失真并引发下游动作验证失败。本文提出测试时观察干预策略ReOI，通过检测并移除当前观察中的新颖干扰物、用净化输入重新想象未来结果、再事后补回干扰物保持视觉一致性，使世界模型预测更可靠。在机器人操作动作验证任务中，该方法对分布内外干扰物均具鲁棒性，面对新颖干扰物时任务成功率最高可提升3倍。

GAF: Gaussian Action Field as a Dynamic World Model for Robotic Manipulation

Ying Chai, Litao Deng, Ruizhi Shao, Jiajun Zhang, Kangchen Lv, Liangjun Xing, Xiang Li, Hongwen Zhang, Yebin Liu

Department of Automation, Tsinghua University, School of Artificial Intelligence, Beijing Normal University, School of Electronic Engineering, Beijing University of Posts and Telecommunications

针对现有视觉操作范式因缺乏动态场景时间演化建模而导致动作不准确的问题，本文提出V-4D-A框架，通过高斯动作场（GAF）将3D Gaussian Splatting扩展为4D时空表示。GAF引入可学习运动属性，联合输出当前场景重建、未来帧预测及基于高斯运动的初始动作，并辅以动作-视觉对齐去噪模块精炼动作。实验显示，该方法在重建质量上显著提升，并将操作任务平均成功率提高7.3%。

Prompting with the Future: Open-World Model Predictive Control with Interactive Digital Twins

作者信息待提取

Cornell University

针对视觉语言模型（VLM）缺乏精细物理推理而难以胜任开放世界机器人低层控制的问题，本文提出 Prompting with the Future（PWTF）。该方法基于手持视频快速构建可交互的数字孪生，通过物理仿真推演候选动作的未来状态，并以自适应视角渲染为视觉提示供 VLM 进行语义评估，实现语义理解与物理推理的解耦。在八项涉及富接触交互、物体重定向与杂物清理的真实任务中，PWTF 的成功率显著优于现有 VLM 控制方法，消融实验也表明显式物理建模是鲁棒操作的关键。

Time-Aware World Model for Adaptive Prediction and Control

作者信息待提取

现有世界模型多采用固定时间步长训练，导致在异构观察率下性能退化、慢动态冗余采样及累积误差。本文提出Time-Aware World Model（TAWM），将步长Δt显式条件化于动态与奖励模型，并在训练时对数均匀采样多尺度Δt，使模型同时习得高低频动态；结合RK4积分稳定大跨度预测。基于香农采样定理，该混合步长策略在不增加样本与迭代的前提下，在Meta-World及PDE控制任务中显著优于固定步长基线，有效提升跨频率泛化与sim-to-real迁移能力。

3DFlowAction: Learning Cross-Embodiment Manipulation from 3D Flow World Model

作者信息待提取

South China University of Technology, Tencent Robotics X, Hong Kong University of Science and Technology, Pazhou Laboratory

现有机器人操作数据集动作空间各异且场景单一，难以习得统一的动作表示。本文基于“人类通过理解物体在三维空间中的运动来规划操作”这一洞察，提出3DFlowAction：从人与机器人操作视频中学习三维光流世界模型，以物体为中心、与具身无关地预测被操作物体的未来三维轨迹；进而通过流引导渲染与GPT-4o进行闭环规划，并将三维光流作为约束优化生成动作。实验表明，该方法在复杂操作任务上具有强泛化性，且无需硬件相关训练即可实现可靠的跨具身迁移。

ORV: 4D Occupancy-centric Robot Video Generation

作者信息待提取

Beijing Academy of Artificial Intelligence, IIIS, Tsinghua University, Shanghai Jiao Tong University, Eastern Institute of Technology, Ningbo, The Chinese University of Hong Kong, Shenzhen 6 S-Lab, Nanyang Technological University

针对现有动作条件视频生成中稀疏控制信号与密集像素输出之间的表示鸿沟，ORV提出以4D语义占用为核心的机器人视频生成框架，将7自由度动作先验与占用几何先验耦合，通过Action-Expert AdaLN与软引导注入实现高保真、强对齐的可控合成，并构建ORV-Data填补机器人占用数据空白。实验表明，该方法在视频质量（FVD降低18.8%）、视觉规划（+3.5%）与策略学习（+6.4%）上均有提升，并支持多视角一致生成与仿真到现实的迁移。

WoMAP: World Models For Embodied Open-Vocabulary Object Localization

作者信息待提取

Princeton University, McGill University

针对模仿学习泛化受限且视觉语言模型难以输出物理可执行动作的问题，本文提出 WoMAP，利用高斯溅射构建无需专家示教的 real-to-sim-to-real 数据管线，将开放词汇检测器的密集奖励蒸馏至潜变量世界模型，并在推理时优化视觉语言模型的高层动作提议。模拟与真机实验表明，该方法在零样本物体定位任务上的成功率相较纯 VLM 与扩散策略基线分别提升逾 9 倍和 2 倍，并在 TidyBot 上实现了有效的 sim-to-real 迁移。

Sparse Imagination for Efficient Visual World Model Planning

作者信息待提取

Graduate School of Data Science, Seoul National University, Department of Electrical and Computer Engineering, Seoul National University

针对视觉世界模型规划中密集视觉token带来的高昂推理成本，本文提出稀疏想象方法，利用ViT表征冗余，在推理时随机丢弃部分patch token以减少计算量，并通过随机分组注意力训练适应动态稀疏输入。研究揭示动态规划存在"盲点"问题，使得简单随机采样优于复杂的静态token选择策略。在LIBERO-10、Meta-World及真实机器人任务中，该方法显著加速了规划过程并保持了较高的控制精度。

OSVI-WM: One-Shot Visual Imitation for Unseen Tasks using World-Model-Guided Trajectory Generation

作者信息待提取

OSVI-WM: One-Shot Visual Imitation for, New York University Tandon School of Engineering, New York University Courant Institute of Mathematical Sciences, Meta-FAIR

现有单次视觉模仿学习方法多在与训练任务几乎相同的设置上评估，难以泛化至语义或结构不同的未见任务，且缺乏对环境动力学的显式建模。本文提出OSVI-WM，利用世界模型在共享潜空间中预测未来状态与动作轨迹，并解码为物理路点指导机器人执行，同时支持执行过程中的重规划。该方法仅依赖域内数据端到端训练，无需大规模预训练，在两项模拟基准和三种真实机器人平台上的未见任务中均显著优于现有方法，部分场景成功率提升超30%。

LaDi-WM: A Latent Diffusion-based World Model for Predictive Manipulation

作者信息待提取

National University of, Peking University, Shenzhen University

现有世界模型直接预测像素或仅优化重建的隐空间，难以捕捉操作所需的几何与语义信息且泛化性不足。本文提出LaDi-WM，在预训练视觉基础模型（DINO与CLIP）对齐的隐空间中利用扩散模型预测未来状态，并通过交互式扩散过程建模几何与语义的动态关联；进一步设计想象引导的扩散策略，以预测状态迭代精炼动作。该方法在LIBERO-LONG仿真和真实场景任务中分别将策略成功率提升27.9%和20.0%，并展现出较强的跨任务泛化能力。

FlowDreamer: A RGB-D World Model with Flow-based Motion Representations for Robot Manipulation

作者信息待提取

State Key Laboratory of General Artificial Intelligence (BIGAI), Department of Computer Science and Technology, Tsinghua University, School of Artificial Intelligence, Beijing Normal University, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology

现有RGB-D世界模型多将动力学预测与视觉渲染隐式耦合于单一模型中，导致模型过度关注视觉保真度而忽视动态准确性。FlowDreamer提出一种基于3D场景流的两阶段框架，先显式预测场景流以刻画环境动态，再以条件扩散模型生成未来观测，模块间可端到端联合训练。在视频预测与视觉规划任务中，该方法在语义相似度、像素质量和操作成功率上分别较基线提升7%、11%和6%。

PIN-WM: Learning Physics-INformed World Models for Non-Prehensile Manipulation

作者信息待提取

National University of Defense Technology, Wuhan University, Shenzhen University, Guangdong Laboratory of Artificial Intelligence and Digital Economy

针对非抓握式操作对摩擦与恢复系数等复杂物理交互高度敏感而导致学习困难的问题，本文提出PIN-WM，一种基于可微分物理的3D世界模型。该方法仅需少量任务无关的交互轨迹，即可从高斯溅射渲染的RGB观测中端到端辨识关键物理参数，并进一步通过扰动物理与渲染参数生成一组物理感知的数字表亲以缩小Sim2Real差距。实验表明，PIN-WM在仿真与真实环境中均显著优于现有Real2Sim2Real方法，在推物和翻转任务上分别实现75%与65%的成功率，且无需真实世界微调。

Learning Video Generation for Robotic Manipulation with Collaborative Trajectory Control

作者信息待提取

ULATION WITH COLLABORATIVE TRAJECTORY CON-, The Chinese University of Hong Kong, Zhejiang University

现有轨迹条件视频生成方法多将机械臂与操作物分开控制，导致交互区域特征纠缠、视觉保真度下降。本文提出RoboMaster，将交互过程分解为交互前、交互中、交互后三个阶段，以主导物体为牵引构建统一协作轨迹，并引入外观与形状感知的物体潜表示以保持语义一致性。在Bridge、RLBench和SIMPLER上的实验表明，该方法在视觉质量、轨迹精度及机器人动作规划任务上均达到最优性能。

ManipDreamer: Boosting Robotic Manipulation World Model with Action Tree and Visual Guidance

作者信息待提取

State Key Laboratory of Multimedia, Information Processing, School of, Computer Science, Peking University, Hong Kong University of Science and

现有机器人操作世界模型多将指令拆解为独立原语而忽略其关联，且缺乏深度与语义引导导致视频质量差。为此，本文提出ManipDreamer，将指令表示为动作树以编码原语间关系，并设计视觉引导适配器融合深度与语义信息增强时空一致性。在未见任务上，该方法较RoboDreamer显著提升了PSNR、SSIM并降低Flow Error，同时在6项RLbench任务中将平均成功率提升2.5%。

AdaWorld: Learning Adaptable World Models with Latent Actions

作者信息待提取

现有世界模型在适应具有异构动作的新环境时，往往依赖大量动作标注与高昂训练成本。为此，本文提出AdaWorld，在预训练阶段以自监督方式从视频中提取潜在动作作为条件，并借助信息瓶颈迫使动作表示与视觉上下文解耦，进而获得跨环境可迁移的动作表征。实验表明，该方法可将观测到的动作跨上下文直接迁移，且仅需极少交互即可适配为新环境的专用世界模型，在多环境的仿真质量与视觉规划任务上均优于动作无关的预训练基线。

Towards Suturing World Models: Learning Predictive Models for Robotic Surgical Tasks

作者信息待提取

Columbia University, New York, NY, USA

针对机器人手术训练数据稀缺与评估标准不一的难题，本文构建面向缝合任务的世界模型，利用约2K段专家标注的手术视频片段对LTX-Video与HunyuanVideo实施LoRA及全参数微调，以学习理想与非理想亚缝合动作的精细时空动态。实验表明，微调后的扩散模型可生成高保真手术视频并区分操作优劣；其中HunyuanVideo-LoRA的L2重建误差最低，但单条推理耗时显著高于更轻量的LTX-Video，为手术模拟与自动化技能评估提供了可行基础。

EVA: An Embodied World Model for Future Video Anticipation

作者信息待提取

现有具身视频预测模型多聚焦条件仿真，缺乏状态理解与自检，难以应对多步及OOD场景。本文提出Reflection-of-Generation（RoG），将中间推理与反思嵌入生成流程，解耦理解与生成模块，使任意VLM与视频生成模型可组合为世界模型；并构建EVA-Bench基准，覆盖四个元任务及域内外评测。基于此训练的EVA采用分块自回归与反思条件自适应延长视频，实现可自校正的长序列预测。实验表明，RoG在域内和OOD任务上均表现强劲，并在机器人仿真中验证了对真实任务执行的支持。

Representing Positional Information in Generative World Models for Object Manipulation

作者信息待提取

Ghent University

当前生成式世界模型在物体定位任务中失败率高，根源在于目标坐标等位置信息维度极低，在VAE重建损失中被视觉像素淹没，导致策略网络缺乏关键目标表征。本文提出两种解法：通用的位置条件策略（PCP）直接在策略输入中强化坐标信息；面向对象中心模型的潜变量条件策略（LCP）将位置显式嵌入对象潜表征，天然支持坐标与视觉目标的多模态条件输入。实验表明，所提方法在Reacher与立方体搬运等环境中显著优于标准Dreamer与FOCUS基线，验证了显式编码位置信息对操作任务的关键作用。

DexSim2Real$^2: Building Explicit World Model for Precise Articulated Object Dexterous Manipulation

作者信息待提取

现有方法依赖大量演示或强化学习难以处理铰接物体操作。本文提出DexSim2Real2，通过主动交互与3D AIGC构建未知铰接物体的显式世界模型，将其数字孪生导入物理仿真器，以采样模型预测控制规划长程轨迹，无需演示或RL。针对灵巧手高维动作空间，引入eigengrasp降维以提升搜索效率。实验在吸盘、二指夹爪及多指灵巧手上验证了精确目标条件操作，且显式模型可泛化至工具操作。

Physically Embodied Gaussian Splatting: A Realtime Correctable World Model for Robotics

作者信息待提取

现有世界模型难以同时编码几何、物理与视觉观测，导致机器人对未来状态的预测缺乏物理约束。本文提出一种高斯-粒子双重表示：粒子通过位置动力学捕捉物体几何并进行物理仿真，附着的3D高斯通过可微光栅化渲染任意视角图像。系统将预测图像与真实相机观测对比，生成视觉力在线校正粒子状态，使物理推演与视觉现实持续同步。仅用3台相机即可在30Hz实时运行，并在2D/3D跟踪与光度重建任务上验证了有效性。

LUMOS: Language-Conditioned Imitation Learning with World Models

作者信息待提取

LUMOS: Language-Conditioned Imitation Learning with World Models

现有模仿学习在长程任务中面临策略分布偏移，行为克隆误差随视界二次增长，且强化学习依赖大量在线交互。LUMOS提出在世界模型隐空间中进行语言条件模仿学习：利用多步长程rollout实现on-policy训练，结合隐空间规划与事后图像及语言目标重标记，并优化隐空间内在奖励以在多步内恢复专家表现，从而显著缓解协变量偏移。该方法仅需不到1%的语言标注非结构化数据，即在CALVIN长程基准上超越此前方法，并首次将离线习得的语言条件连续视觉运动策略零样本迁移至真实机器人。

Object-Centric World Model for Language-Guided Manipulation

作者信息待提取

Graduate School of Data Science , Department of Electrical and Computer Engineering, Seoul National University

针对扩散视频生成世界模型计算成本高、数据需求大的痛点，本文提出首个由自然语言指令引导的以对象为中心的世界模型。该方法利用Slot Attention将观测编码为紧凑的对象级潜在表示，并在此空间内条件于语言指令自回归预测未来状态，显著降低计算开销。实验表明，在视觉-语言-运动控制任务中，该方法在成功率和推理速度上均优于当前最优的扩散生成式基线，并展现出对未见物体和任务设置的泛化能力。

Multi-Stage Manipulation with Demonstration-Augmented Reward, Policy, and World Model Learning

作者信息待提取

长程视觉操作任务中，密集奖励难以设计而稀疏奖励又加剧探索困难。本文提出DEMO3框架，利用任务天然的多阶段结构，将少量示教同时用于在线密集奖励、策略与世界模型学习：通过潜在状态判别器把稀疏阶段信号转化为结构化密集奖励，并采用行为克隆预训练与交互式模型强化学习的双阶段训练。在16个跨领域稀疏奖励视觉操作任务中，该方法仅需少量示教即可将数据效率平均提升40%，在困难长程任务上提升达70%。

Strengthening Generative Robot Policies through Predictive World Modeling

作者信息待提取

针对行为克隆策略在部署时因缺乏前瞻校正能力而脆弱的问题，本文提出生成式预测控制（GPC），在不重新训练或微调冻结扩散策略的前提下，于推理阶段为其耦合一个动作条件化的预测世界模型。该模型结合专家演示与随机探索数据训练，通过轻量级在线规划对策略生成的动作提案进行前瞻评估、排名与梯度优化，实现测试时自适应。在状态与视觉输入的仿真及真实机器人操作任务中，GPC均持续优于标准行为克隆及现有推理时适应基线。

RoboHorizon: An LLM-Assisted Multi-View World Model for Long-Horizon Robotic Manipulation

作者信息待提取

State Key Laboratory for Novel Software Technology, Nanjing University, China

针对长程机器人操作中稀疏奖励与复杂视觉特征导致的策略学习困难，本文提出 Recognize-Sense-Plan-Act（RSPA）流程并构建 RoboHorizon 系统。其核心在于利用大语言模型将长程任务分解为多阶段子任务并自动生成密集奖励结构，同时融合关键帧发现与多视角掩码自编码器学习关键视界表征，以增强对多阶段交互的感知。基于该表征与奖励结构构建的世界模型可高效规划长程轨迹，并通过强化学习实现底层动作控制。在 RLBench 与 FurnitureBench 上的实验表明，该方法在长程与短程任务上的成功率分别提升约 29.23% 与 23.35%。

Dream to Manipulate: Compositional World Models Empowering Robot Imitation Learning with Imagination

作者信息待提取

MODELS EMPOWERING ROBOT IMITATION LEARNING, University of Padova, University of Amsterdam

现有世界模型在真实机器人应用中易产生幻觉与非物理行为，因其缺乏对真实环境的显式复现能力。本文提出DREMA，将机器人世界模型重新定义为可学习的数字孪生：通过物体中心的高斯溅射重建场景并嵌入物理引擎，实现可组合、可交互的想象推演。借助该能力，研究者在世界模型中对少量真实演示施加等变变换以生成新训练数据，支撑模仿学习。实验表明，该方法在模拟环境与真实Franka机器人上均显著提升了策略准确性与泛化性，每个任务变体仅需单条演示即可完成单次策略学习。

RoboDreamer: Learning Compositional World Models for Robot Imagination

作者信息待提取

现有文本到视频模型在机器人决策中受限于训练分布，难以泛化到未见过的物体与动作组合。RoboDreamer利用自然语言的组合性，将指令解析为动作与空间关系等低级原语，并以此为条件组合多个扩散模型生成视频，从而实现对新语言指令及多模态目标（如目标图像、草图）的零样本组合泛化。实验表明，该方法能在RT-X数据集上合成未见过目标的视频规划，并在模拟环境中成功执行机器人操作，显著优于单体式基线。

Vidar: Embodied Video Diffusion Model for Generalist Manipulation

作者信息待提取

Dept. of Comp. Sci. and Tech., Institute for AI, BNRist Center, THBI Lab, Tsinghua-Bosch Joint ML Center, Tsinghua University

针对新机器人平台数据稀缺且端到端策略易受背景与视角变化干扰的问题，本文提出Vidar框架，将互联网规模视频扩散模型作为通用先验，并通过掩码逆动力学模型MIDM将其迁移到具体机器人平台。该方法在跨平台统一观测空间上对75万条多视角双臂轨迹进行持续预训练，使模型习得物理一致的视频推演能力；MIDM则自动学习动作相关像素掩码，过滤无关背景，仅依赖极少示范即可解码控制信号。实验表明，在未见机器人上仅使用约20分钟人类演示，Vidar即在RoboTwin基准和真实场景中大幅超越现有方法，并泛化至新任务、背景及相机布局。

ManiGaussian: Dynamic Gaussian Splatting for Multi-task Robotic Manipulation

作者信息待提取

Shenzhen Key Laboratory of Ubiquitous Data Enabling, Shenzhen International, Graduate School, Tsinghua University, Department of Automation, Tsinghua University, Nanyang Technological University, Carnegie Mellon University

现有机器人操作方法往往仅学习观测的语义表征而忽略场景级时空动态，导致无法正确处理非结构化环境中的物体物理交互。本文提出ManiGaussian，将动态高斯溅射用于多任务操作，在Gaussian嵌入空间中建模语义传播，并构建高斯世界模型以未来场景重建为监督信号，显式编码物体交互动态。在RLBench的10项任务166种变体中，该方法平均成功率较现有最优方法提升13.1%，且所需计算量更少。

WHALE: Towards Generalizable and Scalable World Models for Embodied Decision-making

作者信息待提取

WHALE: TOWARDS GENERALIZABLE AND SCALABLE WORLD, National Key Laboratory for Novel Software Technology, Nanjing University, Nanjing, China, School of Artificial Intelligence, Nanjing University, Nanjing, China

针对具身世界模型在分布外场景泛化不足且不确定性估计成本高昂的问题，本文提出WHALE框架，以行为条件化主动适应策略分布偏移从而缓解外推误差，并设计回追溯展机制在无需模型集成的情况下实现高效不确定性估计。所构建的Whale-ST在模拟与真实机器人任务中验证了更优的长期想象保真度与离线策略优化效果；Whale-X（414M参数，基于97万条真实轨迹预训练）在未见环境和机器人上仅用小样本微调即展现出强泛化能力与可扩展性。

VisualPredicator: Learning Abstract World Models with Neuro-Symbolic Predicates for Robot Planning

作者信息待提取

University of Cambridge, Cornell University, Massachusetts Institute of Technology, Princeton University, University of Oxford

针对机器人如何在陌生环境中基于少量交互学习可规划的抽象表示这一问题，本文提出神经符号谓词（NSPs），将视觉语言模型的感知能力与Python的逻辑表达结合为可执行的谓词代码，并设计在线交互算法交替进行谓词发明、验证与基于规划器的目标驱动探索。在五个模拟机器人任务上的实验表明，该方法在样本效率、分布外泛化及可解释性上均优于分层强化学习、VLM直接规划及纯符号谓词发明基线，其自主发现的抽象逼近人工设计的效果。

Multi-Task Interactive Robot Fleet Learning with Visual World Models

作者信息待提取

The University of Texas at Austin

针对多任务机器人在真实场景部署中泛化性弱、鲁棒性差且持续人工监督成本高的难题，本文提出SIRIUS-FLEET框架：以视觉世界模型为骨干预测未来状态，构建融合失败预测与分布外检测的异常预测器，并设计随机器人自主性提升而自适应调整的任务阈值，实现低人工负载的运行时监控与策略持续更新。在RoboCasa仿真与Mutex真实世界大规模基准上，该系统整体成功率达95%以上，并在迭代部署中不断提升任务表现、降低人工干预频率。

PIVOT-R: Primitive-Driven Waypoint-Aware World Model for Robotic Manipulation

作者信息待提取

PIVOT-R: Primitive-Driven Waypoint-Aware World, Sun Yat-sen University, Peng Cheng Laboratory, Huawei Noah’s Ark Lab

现有方法常将指令直接映射到低级动作，忽视轨迹中关键waypoints的显式建模，导致模型易过拟合且难以适应动态环境，且全模块同步执行冗余高。本文提出PIVOT-R，其waypoint感知世界模型通过原语解析驱动关键waypoints预测，再由轻量级模块解码动作；并配备异步分层执行器为不同模块分配异频执行。在SeaWave基准上，PIVOT-R相对SOTA平均提升19.45%，执行器更在仅损失2.9%性能下将效率提升28倍。

Grounding Video Models to Actions through Goal Conditioned Exploration

作者信息待提取

大规模视频模型虽蕴含丰富的物理动态先验，却缺乏与具体具身智能体的动作接地，现有方法亦依赖昂贵的环境专属演示数据。本文提出基于目标条件探索的自监督框架：以视频模型生成的中间帧作为视觉目标，驱动智能体在环境中自探索并在线学习目标条件策略；同时通过动作块预测与周期性随机动作引导提升探索效率。该方法无需任何奖励、动作标注或掩码，在Libero、MetaWorld、Calvin及iThor共30项操作与导航任务中，性能达到甚至超过基于专家演示的行为克隆基线。

Planning with Diffusion for Flexible Behavior Synthesis

Michael Janner, Yilun Du, Joshua B. Tenenbaum, Sergey Levine

传统基于模型的强化学习将动力学估计与经典轨迹优化分离，但优化器易利用学习模型生成对抗性轨迹。本文提出Diffuser，将规划内置于扩散概率模型，通过迭代去噪直接合成完整轨迹，使采样与规划几乎等同。该方法以轨迹级准确性为目标，天然支持长程稀疏奖励规划、多任务奖励组合与测试时灵活条件控制。实验表明，Diffuser在Maze2D长程导航中超越专家策略，在积木堆叠与重排列任务中显著优于离线强化学习基线，且无需重新训练即可适应新目标。

Is Conditional Generative Modeling all you need for Decision-Making?

作者信息待提取

Improbable AI Lab, Operations Research Center, Computer Science and Artificial Intelligence Lab, Massachusetts Institute of Technology

针对传统离线强化学习因价值函数估计与动态规划导致的训练不稳定与分布偏移难题，本文将序列决策重新建模为条件生成问题，提出基于回报条件扩散模型的Decision Diffuser。该方法通过classifier-free guidance与低温采样隐式实现轨迹拼接，无需显式估计Q函数；同时支持以约束或技能为条件，并在推理阶段灵活组合多个未见过的约束与技能。实验表明，该方法在D4RL基准上优于现有离线RL方法，并展现出约束满足与技能组合的组合泛化能力。

Potential Based Diffusion Motion Planning

Yunhao Luo, Chen Sun, Joshua B. Tenenbaum, Yilun Du

针对高维空间运动规划中传统势能方法易陷入局部极小值且依赖隐式障碍物表示的问题，本文提出用扩散模型学习构型空间轨迹上的势能景观，将原始感知输入直接映射为可优化的势能函数。通过扩散模型的退火随机优化过程生成路径，不仅有效规避局部极小值，还天然支持不同势能的加性组合，从而在测试时泛化到训练未见过的更复杂复合约束。实验表明，该方法在2D到14D的机械臂规划任务中，于成功率、规划时间和碰撞检测量上均显著优于经典采样与学习基线，并展现了真实场景中的应用潜力。

GRIM: Task-Oriented Grasping with Conditioning on Generative Examples

Shailesh, Alok Raj, Nayan Kumar, Priya Shukla, Andrew Melnik, Michael Beetz, Gora Chand Nandi

University of Bremen, Germany

面向任务抓取需理解语义与物体功能，却受限于数据稀缺。GRIM 作为免训练框架，以视频生成模型构建多元记忆库，通过 retrieve-align-transfer 流水线解决该问题。其核心创新在于利用 DINO 语义特征做由粗到精的 3D 对齐，将检索到的功能先验迁移至几何稳定候选并精修，兼顾语义与物理可行性。在 TaskGrasp 上，仅 210 个记忆实例的 GRIM 即超越大规模 VLM 达到 SOTA，且在未见物体与任务上泛化稳健，性能降幅仅约 3%。

World4Omni: A Zero-Shot Framework from Image Generation World Model to Robotic Manipulation

作者信息待提取

现有VLA模型在零样本操作泛化上受限，或依赖稀缺的配对动作数据，或缺乏精确空间推理。该工作将图像生成式VLM用作以对象为中心的世界模型生成目标图像，并从中提取精确物体位姿作为连接高层语义与低层控制的接口，从而摆脱对动作标注的依赖。为提升鲁棒性，作者提出Reflection-through-Synthesis机制对目标图像进行迭代验证与优化。在模拟与真实环境的多种操作任务中，该方法无需任务微调，在跨任务、跨物体与跨机器人本体场景下均实现了优越的零样本操作性能，显著优于多个基线。

In-Context Policy Iteration for Dynamic Manipulation

作者信息待提取

Department of Robotics, University of Michigan

针对动态操作任务中复杂动力学、高维状态与部分可观测性带来的挑战，本文提出利用预训练大语言模型的上下文学习能力，在少量交互数据下迭代优化参数化策略。作者将历史交互结果与当前策略参数共同编码为提示，通过上下文学习直接预测策略参数的调整，无需微调模型。实验表明，在低数据量场景（≤300条数据）下，该方法在仿真和真实机器人上的多个动态操作任务中，策略改进效果均优于基于权重内推理的LLM方法、贝叶斯优化及其他基线。

HDFlow: Hierarchical Diffusion-Flow Planning for Long-horizon Robotic Assembly

作者信息待提取

Peking University, University of Toronto

针对长程机器人装配中高层战略推理与低层实时精准控制难以兼顾的问题，本文提出混合分层规划框架 HDFlow。其核心洞察是规划层级应匹配不同生成范式：高层采用扩散模型在语义结构化潜空间中探索多样子目标序列，并以能量模型显式引导避免死胡同；低层则利用整流流模型基于 ODE 快速生成平滑密集轨迹。该方法在 FurnitureBench 的四个复杂接触式装配任务（长达约 1500 步）上显著优于现有方法。

Mobile Manipulation with Active Inference for Long-Horizon Rearrangement Tasks

作者信息待提取

VERSES AI Research Lab

本文针对主动推理在长程机器人任务中可扩展性不明的问题，提出一种完全分层的混合主动推理架构：高层通过离散主动推理实现技能选择与灵活组合，下层通过连续分层主动推理完成全身协调控制，无需离线训练即可在线适应环境变化并从失败中恢复。在Habitat三个长程移动操作基准任务上，该方法首次超越现有最优基线，证明了主动推理能够胜任复杂真实机器人场景中的长程决策与控制。

H-WM: Robotic Task and Motion Planning Guided by Hierarchical World Model

作者信息待提取

现有端到端视觉-语言-动作模型在长程任务中因缺乏可落地的中间引导而误差累积，且纯语言规划难以处理物理约束，经典任务与运动规划又脱离视觉感知。本文提出分层世界模型H-WM，以高层逻辑世界模型进行长程符号推理并输出结构化状态与动作序列，再以低层视觉世界模型将逻辑中间状态转化为潜在视觉子目标特征，联合为下游VLA策略提供稳定的长程中间引导。实验表明，该框架在多种VLA控制策略上均有效且具通用性。

Cosmos Policy: Fine-Tuning Video Models for Visuomotor Control and Planning

Moo Jin Kim, Yihuai Gao, Tsung-Yi Lin, Yen-Chen Lin, Yunhao Ge, Grace Lam, Percy Liang, Shuran Song, Ming-Yu Liu, Chelsea Finn, Jinwei Gu

Stanford University

现有方法将视频模型用于机器人策略时往往需多阶段训练并引入额外模块。Cosmos Policy提出单阶段后训练方案，在不修改Cosmos-Predict2架构的前提下，将动作、未来状态图像及价值函数统一编码为视频潜在扩散序列中的潜在帧进行联合生成，直接利用视频原生的时空先验。该方法在LIBERO与RoboCasa仿真中分别取得98.5%与67.1%的平均成功率，在真实世界双手操作中以93.6%超过多种强基线及微调VLA；结合价值预测进行规划后，困难任务完成率可再提升12.5%。

DiT4DiT: Jointly Modeling Video Dynamics and Actions for Generalizable Robot Control

作者信息待提取

现有VLA模型依赖静态图文预训练，难以高效习得物理动态。本文提出DiT4DiT，将视频扩散Transformer与动作扩散Transformer级联，通过提取视频去噪过程的中间特征作为动作条件，并以双重流匹配目标实现联合训练。实验表明，该方法在LIBERO和RoboCasa-GR1上取得领先性能，且将样本效率提升逾10倍、收敛速度提升最高7倍，在真实机器人上亦展现出较强的零样本泛化能力。

Navigation World Models

作者信息待提取

FAIR at Meta, New York University, Berkeley AI Research

现有视觉导航策略行为固定，难以动态引入新约束。本文提出Navigation World Model（NWM），以可控视频生成为核心实现导航规划，基于所提Conditional Diffusion Transformer（CDiT）在多样化人机导航视频上训练至10亿参数，FLOPs较标准DiT降低约4倍。在熟悉环境中，NWM可通过模拟轨迹并评估目标达成度来进行MPC规划或排序外部策略，取得SOTA导航性能；在未知环境中，它能基于单张图像想象可行轨迹，并借助Ego4D等无标注视频数据提升泛化。

An Efficient and Multi-Modal Navigation System with One-Step World Model

作者信息待提取

Tsinghua University

针对现有导航世界模型因依赖多步扩散与自回归生成而导致推理延迟过高、难以实时部署的问题，本文提出一种轻量级单步导航世界模型，以3D U-Net为骨干并嵌入高效时空注意力模块，实现未来帧的非自回归并行预测，显著降低推理时延。该模型与基于锚点初始化的优化规划框架结合，在统一的系统中支持图像、语言与点目标等多模态导航任务。仿真与真实环境的闭环实验表明，该系统在保持较强预测性能的同时，推理效率与鲁棒性均优于现有基线。

MindJourney: Test-Time Scaling with World Models for Spatial Reasoning

Yuncong Yang, Jiageng Liu, Zheyuan Zhang, Siyuan Zhou, Reuben Tan, Jianwei Yang, Yilun Du, Chuang Gan

Microsoft Research

当前视觉语言模型虽擅长二维视觉理解，却普遍缺乏对三维空间动态的内在建模，难以推理自我视角移动后的场景变化。本文提出MindJourney框架，在测试时将VLM与可控的视频扩散世界模型耦合，使VLM能够主动规划相机轨迹并在想象的3D空间中交互探索，再基于合成的多视角证据进行空间推理。该方法无需任何微调，即在SAT空间推理基准上平均提升7.7%的准确率，且可进一步叠加于强化学习训练的测试时推理VLM之上。

Test-Time Scaling with World Models for Spatial Reasoning

Yuncong Yang, Jiageng Liu, Zheyuan Zhang, Siyuan Zhou, Reuben Tan, Jianwei Yang, Yilun Du, Chuang Gan

Microsoft Research

现有视觉语言模型虽在2D视觉任务上表现优异，却缺乏对3D空间动态的内在建模，难以预测自我中心运动带来的视角变化。为此，本文提出MindJourney框架，在测试时将VLM与可控视频扩散世界模型耦合：VLM主动规划相机轨迹，世界模型合成对应的想象视图，VLM再基于收集的多视角证据进行空间推理。该方案无需微调，在SAT基准上将四种不同VLM的平均准确率提升7.7%，最高超10%，表明利用世界模型进行测试时扩展是实现鲁棒3D空间推理的有效路径。

Scaling Inference-Time Search with Vision Value Model for Improved Visual Comprehension

作者信息待提取

University of Maryland, College Park

针对视觉语言模型在推理时缺乏有效计算扩展方式及易产生视觉幻觉的问题，本文提出Vision Value Model（VisVM），通过时序差分学习预测生成句子对未来响应质量的长期价值，而非仅评估当前步骤的局部奖励，从而引导模型避免幻觉并增强细节。实验表明，VisVM引导的推理时搜索能显著降低幻觉并生成更丰富的描述；以其生成的字幕进行自训练，LLaVA-Next-7B在9个多模态基准上平均性能提升10.8%。

FalconWing: An Ultra-Light Fixed-Wing Platform for Indoor Aerial Applications

作者信息待提取

University of Illinois at Urbana-Champaign, Sayan Mitra

针对现有固定翼无人机因过重、传感器冗余而难以在室内小空间机动的问题，本文提出仅重150g的FalconWing超轻平台，以9g模拟相机和地面站计算实现极简配置，并构建基于3D Gaussian Splatting的真实感仿真与系统辨识动力学相结合的世界模型。无需IMU或动捕，仅通过视觉输入，仿真中训练的跟踪策略对未知机动达到百分之百成功率，着陆策略零样本迁移至真实硬件，十次室内试验成功率达八成。

Foundation Models as World Models: A Foundational Study in Text-Based GridWorlds

作者信息待提取

School of Electronic Engineering and Computer Science, Queen Mary University of London, United Kingdom

针对强化学习样本效率低下而基础模型难以直接融入的问题，本文在文本网格世界中系统比较了两种直接集成策略：将大语言模型作为零样本世界模型（FWM）为传统RL智能体生成预训练数据，或直接作为底层决策智能体（FA）。研究发现，在简单确定性环境中当前LLM已能作为优秀的零样本策略；但在随机、部分可观测的复杂设定下，基于FWM预训练的RL智能体展现出更强的鲁棒性与样本效率优势，且模型规模与性能正相关。

Geosteering Through the Lens of Decision Transformers: Toward Embodied Sequence Decision-Making

作者信息待提取

University of Stavanger

针对传统强化学习在地质导向任务中训练不稳定、依赖在线交互的问题，本文将其重新建模为序列决策问题，采用Decision Transformer作为核心策略，并利用双网络深度RL与粒子滤波生成的离线数据进行训练。实验表明，更长的时序上下文使模型能够捕捉延迟的地质结构信号，从而输出更一致的长期轨迹，为不确定性环境下的具身世界模型提供了可扩展的序列建模基础。

Latent Weight Diffusion: Generating reactive policies instead of trajectories

作者信息待提取

University of Southern California, (Google) Intrinsic LLC

针对扩散策略推理成本高且动作范围与性能存在权衡的问题，本文提出Latent Weight Diffusion，利用潜在扩散模型与世界模型直接在参数空间生成闭环策略权重，而非轨迹。该方法将示教轨迹编码为潜在变量，经超网络解码为策略，并基于学习到的动力学模型优化。实验表明，LWD在更长动作范围和随机扰动下成功率高于扩散策略，在Metaworld等多任务上达到相当性能，且每步推理FLOPS降低约45倍。

Abstract Sim2Real through Approximate Information States

作者信息待提取

针对机器人强化学习中高精度仿真器难以构建的问题，本文研究如何从极度简化的抽象仿真器实现策略迁移。作者利用状态抽象理论形式化该问题，指出抽象会引入部分可观测性，关键在于将仿真器修正与策略学习建立在抽象状态与动作历史之上。基于此洞察，他们提出ASTRA方法，仅用少量真实数据即可校正抽象仿真器动力学。实验表明，该方法在导航、人形运动仿真迁移及NAO机器人真实迁移中均取得成功，而基线方法则失效。

FLAM: Scaling Latent Action Models with Factorization

作者信息待提取

现有无动作标签视频的潜在动作模型（LAM）将多实体场景的所有运动压缩为单一潜在动作，导致动作码本随实体数指数膨胀、难以扩展。本文提出FLAM，将状态分解为独立因子，每个因子通过共享参数的因子化逆/正向动力学模型及小型公共码本独立推断动作并预测下一状态，以Slot Attention实现实体解耦。实验表明，在Multigrid、Procgen及真实场景的nuPlan、Sports、EGTEA数据集上，FLAM的动态预测精度与视频可控性均显著优于单一体基线。

NavMorph: A Self-Evolving World Model for Vision-and-Language Navigation in Continuous Environments

作者信息待提取

State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), Institute of Automation, Chinese Academy of Sciences (CASIA), School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS), Peng Cheng Laboratory, ShenZhen, China

针对现有视觉语言导航方法在连续环境中难以在线适应新场景、且传统世界模型缺乏持续更新机制的问题，本文提出自演进世界模型NavMorph。该方法通过为VLN定制的RSSM显式建模连续潜在动作-状态转移，并引入上下文演进记忆（CEM）动态更新潜在表示，实现World-aware Navigator与Foresight Action Planner的协同前瞻规划。实验表明，NavMorph在主流VLN-CE基准上显著提升了多个领先模型的性能。

Unified World Models: Memory-Augmented Planning and Foresight for Visual Navigation

作者信息待提取

University of Washington, National University of Singapore, Microsoft Research, Carnegie Mellon University, horizons. Extensive experiments on four challenging benchmarks (Go Stanford, ReCon, SCAND

现有视觉导航系统常将规划与世界模型解耦，导致状态-动作不对齐与长程误差累积。本文提出UniWM，在单一多模态自回归骨干网内统一视觉预见与导航规划，通过交替预测下一动作与下一视角，使控制决策显式基于视觉想象，并引入分层记忆机制融合短期感知与长期轨迹上下文以稳定长程推演。在四个视觉导航基准及人形数据上的实验表明，UniWM将成功率提升最高30%，显著降低轨迹误差，且可零样本泛化至未见过环境并扩展到高维人形控制。

Rapid Exploration for Open-World Navigation with Latent Goal Models

作者信息待提取

Carnegie Mellon University, sites.google.com/view/recon-robot

针对机器人在全新开放环境中导航时面临的泛化与探索挑战，本文提出RECON系统：利用信息瓶颈从离线多环境数据中学习紧凑的视觉目标潜变量表示，并结合非参数拓扑记忆，使机器人仅依靠机载RGB相机即可在未见环境中高效探索。实验表明，该方法能在20分钟内发现80米外的指定目标图像，并在8个真实开放世界环境中验证了其对未见障碍与天气变化的鲁棒性。

WMNav: Integrating Vision-Language Models into World Models for Object Goal Navigation

作者信息待提取

Institute of Automation, Chinese Academy of Sciences, School of Computer Science, Wuhan University, School of Computer Science, University of Technology Sydney, IAIR, Xi’an Jiaotong University

针对零样本物体目标导航中现有方法缺乏环境预测能力、依赖大量实际交互的问题，本文提出WMNav框架，将视觉语言模型嵌入世界模型范式，通过全景感知定量预测决策后果。核心创新包括在线维护的Curiosity Value Map以记忆预测状态、基于世界模型计划与观测差异的反馈机制缓解模型幻觉，以及先广域探索后精确定位的两阶段动作策略。在HM3D和MP3D基准上，该方法在成功率和探索效率上均超越现有零样本方法，其中MP3D成功率提升达13.5%。

NavCoT: Boosting LLM-Based Vision-and-Language Navigation via Learning Disentangled Reasoning

作者信息待提取

针对大语言模型在视觉语言导航任务中存在显著领域鸿沟、且直接动作预测缺乏可解释性的问题，本文提出NavCoT，通过参数高效的领域内微调将LLM同时转化为世界模型与导航推理体，使模型在每一步先根据指令想象未来场景，再筛选匹配观测，最终解耦地完成动作决策。实验表明，该方法在R2R、RxR、R4R等基准上均显著优于直接预测变体，仅以单卡微调的轻量成本就在R2R数据集上相对领先GPT-4方案约7%。

Deductive Chain-of-Thought Augmented Socially-aware Robot Navigation World Model

作者信息待提取

现有大语言模型直接用于机器人社交导航时，易因缺乏物理grounding和逻辑一致性而产生幻觉与不安全规划。本文提出NaviWM框架，通过时空世界模型精确捕捉环境中多智能体的位置、速度与活动，并引入演绎式思维链将活动感知距离、碰撞避免及时序要求等社交规范编码为一阶逻辑约束，实现可解释且可验证的多步逻辑推理。实验表明，该方法在拥挤环境中显著提升了导航成功率并减少了社交违规。

Deep Active Inference with Diffusion Policy and Multiple Timescale World Model for Real-World Exploration and Navigation

作者信息待提取

针对真实机器人导航中探索与目标导向行为难以自适应平衡的难题，该研究提出一种深度主动推断框架，将扩散策略与多时间尺度循环状态空间模型（MTRSSM）相结合。扩散策略负责生成多样化的候选动作序列，MTRSSM则通过潜空间长程想象预测其未来后果，二者协同工作并在期望自由能（EFE）最小化的准则下实现动作选择，从而在无需手工规划器的情况下统一了探索与导航两种行为模式。真实移动机器人实验表明，该方法在探索需求较高的场景中取得了比基线更高的导航成功率和更低的碰撞率。

Kinodynamic Motion Planning for Mobile Robot Navigation across Inconsistent World Models

作者信息待提取

针对越野移动机器人在非结构化环境中因感知噪声导致时序代价地图不一致、引发规划轨迹振荡的问题，该文提出多假设运动规划框架，迭代发展出GEGRH方法，通过融合历史世界模型假设并在搜索到达目标区域后修正图结构，以重新评估边代价。Clearpath Warthog无人车的实地实验表明，GEGRH相比VEH能获得更低成本轨迹且平均规划时间更短；相较于仅使用最新地图的单假设搜索，GEGRH生成更保守稳健的轨迹，规划耗时仅有小幅增加。

World Model Implanting for Test-time Adaptation of Embodied Agents

作者信息待提取

针对具身智能体在新领域适应时面临的数据效率与灵活性挑战，本文提出WorMI框架，在测试时通过双阶段组合将独立学习的领域特定世界模型动态植入LLM策略：首先基于轨迹原型检索相关世界模型，再通过世界级复合注意力实现模型间知识融合及与LLM推理表示的对齐。该设计兼具模型集成的效率与上下文学习的灵活性，在VirtualHome和ALFWorld的零样本和少样本设置中显著优于现有LLM基线，其中对SayCanPay的平均成功率提升超过20%。

Imaginative World Modeling with Scene Graphs for Embodied Agent Navigation

作者信息待提取

University of Michigan, Ann Arbor

现有导航方法多仅依赖历史观测构建世界模型，难以像人类一样利用先验知识预判未探索区域。为此，本文提出SGImagineNav，利用大语言模型在层次化场景图符号空间中对未知区域进行想象补全，构建全局语义表示，并基于目标信息增益自适应地平衡语义捷径利用与未知区域探索。该零样本框架在HM3D和HSSD上将成功率提升至65.4%与66.8%，超越此前需训练的想象导航最优方法5.2%，并在真实环境中实现了跨楼层与跨房间导航。

Learning 3D Persistent Embodied World Models

作者信息待提取

现有视频世界模型因缺乏显式记忆而具有短视性，在部分可观测环境中难以保持长程一致性，常生成与历史上下文矛盾的元素。本文提出Persistent Embodied World Model，在视频扩散模型中引入持久的3D特征地图记忆：通过聚合RGB-D生成结果动态构建3D网格记忆，并以DINO特征编码空间几何关系，使模型在预测未来观测时能忠实还原已见与未见的场景结构。实验表明，该方法显著提升了视频生成的视觉质量与3D一致性，并有效支撑了下游的轨迹规划与策略学习。

Perspective-Shifted Neuro-Symbolic World Models: A Framework for Socially-Aware Robot Navigation

作者信息待提取

传统机器人导航多基于MDP假设，难以处理社交场景中对他人隐藏信念的推理。本文将社交导航建模为POMDP，提出神经符号的基于模型强化学习架构，并设计视角转换算子以估计他者信念。在Minigrid跟随任务中，该算子相比随机基线显著提升了策略的累积奖励，但距离完美信息上界仍有差距。

X-MOBILITY: End-To-End Generalizable Navigation via World Modeling

Wei Liu, Huihua Zhao, Chenran Li, Joydeep Biswas, Billy Okal, Pulkit Goyal, Yan Chang, Soha Pouya

现有导航方法在复杂场景中要么依赖繁琐调参，要么难以泛化到分布外环境，且机器人导航数据稀缺。X-Mobility通过将世界建模与动作策略解耦，采用自回归潜状态空间模型捕捉环境动态，并借助多任务解码器学习与导航强相关的状态表示，从而能够利用有或无专家监督的异构数据进行训练。实验表明，该方法不仅在分布外场景中持续优于现有最优方法，还实现了零样本Sim2Real迁移，并展现出跨机器人本体的泛化潜力。

Masked World Models for Visual Control

作者信息待提取

Google Research, University of Toronto

针对视觉模型强化学习中端到端联合训练表征与动力学导致难以捕捉细粒度视觉细节的问题，本文提出Masked World Models，将表征学习与动力学学习解耦：采用基于掩码卷积特征重建的自编码器提取视觉细节，并引入奖励预测任务编码任务相关信息，再在其潜空间学习动力学模型。该方法在Meta-world与RLBench的视觉机器人任务上达到先进水平，在Meta-world 50项视觉操作任务中取得81.7%的成功率，显著优于基线的67.9%。

Ego-Vision World Model for Humanoid Contact Planning

作者信息待提取

针对人形机器人在非结构化环境中主动利用物理接触的需求，传统优化方法难以实时处理接触调度的复杂性，而在线强化学习样本效率低且多任务能力有限。本文提出将可扩展的自视觉世界模型与基于采样的模型预测控制相结合，利用无演示离线数据在压缩隐空间中预测未来，并引入学习得到的替代价值函数为规划提供稠密鲁棒的指引。该单一模型在扶墙平衡、阻挡物体及穿越拱门等多项接触感知任务中展现出更优的样本效率与多任务泛化能力，并在真实人形机器人上实现了仅基于本体感知与自我中心深度图像的实时接触规划。

Offline Robotic World Model: Learning Robotic Policies without a Physics Simulator

Chenhao Li, Andreas Krause, Marco Hutter

针对离线模型强化学习在真实机器人部署中长程推演累积误差与分布偏移的难题，本文提出不确定性感知的机器人世界模型RWM-U，在自回归动力学模型中嵌入集成认知不确定性估计，并在长程想象中持续传播该不确定性以识别不可靠状态转移；进而结合MOPO-PPO将不确定性惩罚引入稳定的PPO框架进行离线策略优化。实验表明，该方法能够在仿真及真实的四足与人形机器人上完全基于离线数据集训练策略，且融合真实数据后的策略鲁棒性超过仅在仿真中训练的在线无模型基线。

Advancing Humanoid Locomotion: Mastering Challenging Terrains with Denoising World Model Learning

作者信息待提取

RobotEra TECHNOLOGY CO., LTD, Tsinghua University, Shanghai Qi Zhi Institute

现有方法多将人形机器人限制在简单地形，本文针对其高重心与腿惯量大带来的控制难题，提出去噪世界模型学习框架DWL，将sim-to-real gap显式解构为环境、动力学、传感器与掩码四类噪声，通过编码器-解码器架构从历史观测中重建完整状态以支撑在线适应，并设计了主动2自由度闭运动链踝关节机构以降低腿惯量。实验表明，该方法实现了零样本sim-to-real迁移，单条策略即可驱动机器人在真实雪地斜坡、楼梯及极端不平地形上稳定行走并抵抗强外部扰动。

Learning Latent Dynamic Robust Representations for World Models

作者信息待提取

针对视觉模型强化学习在含外生干扰的复杂环境中难以过滤无关信息、且联合训练不稳定的问题，本文提出混合循环状态空间模型HRSSM。该模型通过双分支架构将时空掩码与潜在空间重建相结合，并引入双模拟原理显式约束状态表示以捕获任务相关的内生动态，避免了传统像素级重建对噪声的过拟合。实验表明，该方法在Maniskill等带有外生视觉干扰的复杂控制任务上显著提升了策略学习鲁棒性与最终性能。

World Model-based Perception for Visual Legged Locomotion

作者信息待提取

针对视觉足式 locomotion 中 privileged learning 存在的信息鸿沟与泛化瓶颈，本文提出 World Model-based Perception（WMP）框架，不再依赖人工设计的特权信息，而是在仿真中端到端地学习世界模型以预测未来视觉感知，并基于其抽象表征训练策略控制器。该世界模型虽仅在仿真中训练，却能泛化到真实场景并为策略提供有效信号。在 Unitree A1 上的实验表明，WMP 在 Gap、Crawl、Climb 等多种复杂地形上的通过性与鲁棒性均显著优于现有基线，其中跨越 85 cm 宽沟、穿越 22 cm 低矮通道等表现达到该平台上当前最优水平。

Trajectory World Models for Heterogeneous Environments

作者信息待提取

现有世界模型多针对单一环境训练，难以处理跨环境的传感器与执行器异质性。本文构建涵盖80个环境、超百万条轨迹的UniTraj数据集，并提出TrajWorld模型，将轨迹拆分为标量变体，通过交错的时间与变体注意力在上下文中捕捉异构动态，无需环境ID即可适应不同状态与动作维度。预训练后的模型在75组跨环境实验中将转移预测误差大幅降低，在离线策略评估上达到新最优，并显著提升模型预测控制的在线性能，首次验证了世界模型在异构复杂控制环境中的正向迁移收益。

Hierarchical World Models as Visual Whole-Body Humanoid Controllers

作者信息待提取

New York University

针对人形机器人全身视觉控制的高维不稳定性，现有方法多依赖特权信息或预定义技能基元。本文提出层次化世界模型Puppeteer，将控制解耦为高层视觉“木偶师”与底层本体觉“追踪器”：底层基于动作捕捉数据预训练，学习将参考运动映射为关节级物理动作；高层则依据视觉观测在线规划末端轨迹指令驱动底层，两者均以强化学习训练且无需奖励工程。在56自由度人形机器人8项复杂视觉任务中，该方法显著优于DreamerV3等基线，且人类评测表明其生成的运动更为自然。

ProTerrain: Probabilistic Physics-Informed Rough Terrain World Modeling

作者信息待提取

Tampere University, Czech Technical University, University of Tartu, Aalto University

现有越野机器人运动预测方法多假设地形不确定性是确定性或空间独立的，忽略了三维空间数据固有的局部相关性，导致预测不可靠且难以准确评估风险。为此，本文提出ProTerrain框架，显式建模地形参数中空间相关的偶然不确定性，并利用结构化卷积算子实现可扩展的高分辨率多元概率预测，进而通过可微物理引擎传播该不确定性以进行概率轨迹预测。实验表明，该方法在不确定性估计与轨迹预测精度上均显著优于现有基线。

Occupancy World Model for Robots

作者信息待提取

Beijing Innovation Center of Humanoid Robotics, Beijing Institute of Technology, Hong Kong University of Science and Technology (Guangzhou)

现有占用世界模型多聚焦于户外自动驾驶场景，而机器人在室内自由移动时视角多变，历史帧时空关联性弱，导致直接迁移效果不佳。为此，本文提出RoboOccWorld，通过条件因果状态注意力（CCSA）将下一时刻相机位姿作为引导条件，并结合混合时空聚合（HSTA）构建多尺度联合时空感受野，以预测细粒度室内3D占用场景演化。同时，作者基于局部标注重建了OccWorld-ScanNet基准。实验表明，该方法在单步与自回归室内占用预测任务上均显著优于现有最优方法。

Accelerating Model-Based Reinforcement Learning with State-Space World Models

作者信息待提取

Robotics and Perception Group, University of Zurich, Switzerland

针对模型强化学习中世界模型因循环计算难以并行而导致训练缓慢的问题，本文以状态空间模型替代传统的循环状态空间模型作为世界模型骨干，通过并行化序列计算显著降低训练开销；同时引入特权信息辅助训练，缓解部分可观测环境下的视觉策略学习难题。在真实世界敏捷四旋翼飞行任务中，该方法在不牺牲样本效率与任务性能的前提下，将世界模型训练时间最高缩短10倍，整体训练时间最高缩短4倍。

Learning Humanoid Locomotion with World Model Reconstruction

作者信息待提取

Harbin Institute of Technology, Tongji University

针对真实场景下人形机器人传感器噪声大、感知信息受限的问题，本文提出世界模型重建（WMR）方法，让估计器从历史传感数据中显式重建世界状态并作为策略唯一输入，同时通过梯度截断确保估计器专注于重建本身而非迎合策略更新。该框架实现了零样本模拟到现实的迁移，使机器人在户外碎石、陡坡及冰雪等复杂地形中完成了3.2公里的无辅助自主行走，展现出对复杂地形与外部扰动的强适应能力。

Robotic World Model: A Neural Network Simulator for Robust Policy Optimization in Robotics

作者信息待提取

针对现有世界模型常依赖手工设计归纳偏置、难以泛化到多样机器人任务的问题，本文提出一种基于双重自回归机制与自监督训练的神经网络模拟器，无需领域特定先验即可实现可靠的长程预测。进一步地，作者将PPO与基于模型的策略优化结合，在想象环境中训练策略并直接迁移至真实硬件。实验表明，该方法在多种机器人任务中实现了鲁棒的策略优化，并在ANYmal四足与Unitree G1人形机器人上完成了零样本实物部署。

1X World Model

作者信息待提取

针对通用机器人在真实环境中评估困难、物理仿真难以覆盖日常复杂交互的问题，1X提出直接从原始传感器数据中学习世界模型，将其作为虚拟仿真器以大规模评估策略。该模型基于人形机器人EVE在家居和办公场景采集的数千小时视频与动作数据训练，能够依据不同动作指令想象多种未来，预测刚体、可变形物体及关节物体的复杂交互，并支持叠衣服等长程任务。然而，模型在物体一致性、物理规律遵循和自我识别方面仍存在明显失败模式。

Dream Come True — NVIDIA Isaac GR00T-Dreams Advances Robot Training With Synthetic Data and Neural Simulation

作者信息待提取

判断受限于 PDF 文本抽取质量，所提供的文本实际为 NVIDIA GTC 华盛顿大会的博客报道与现场综述，内容聚焦机器人展台、开源 AI 讨论及制造医疗应用等新闻，文中未充分说明 Isaac GR00T-Dreams 在合成数据生成与神经仿真方面的具体研究动机、核心方法创新及机器人训练的定量实验结果，无法据此提炼准确的技术要点。

Humanoid World Models: Open World Foundation Models for Humanoid Robotics

作者信息待提取

针对现有人形机器人世界模型多闭源、计算开销大且未专门针对人形形态设计的问题，本文提出轻量开源的Humanoid World Models（HWM）。作者基于100小时人形演示数据，系统对比了Masked Transformer与Flow-Matching两种视频生成范式，并探索了联合/交叉注意力及参数共享策略的影响。实验表明，在同等数据与算力约束下Masked Transformer consistently优于Flow-Matching；其中Masked Transformer以联合注意力表现最佳，而Flow-Matching则以分离注意力最优。此外，参数共享可在几乎不损失性能与视觉保真度的情况下将模型参数量缩减33%–53%，使HWM能在仅1–2块GPU的学术环境中训练与部署。

EgoAgent: A Joint Predictive Agent Model in Egocentric Worlds

作者信息待提取

State Key Lab of CAD&CG, Zhejiang University, The Chinese University of Hong Kong, Shanghai Jiao Tong University, Shanghai Artificial Intelligence Laboratory

针对现有方法将感知、预测与行动割裂训练、难以利用其内在关联的问题，本文受人类感知-行动循环启发，提出统一智能体模型EgoAgent。该模型将交互过程建模为交错的“状态-行动”token序列，并引入联合嵌入-行动-预测（JEAP）架构，通过时间不对称的预测器与观察器分支在共享语义空间中协同优化。实验表明，EgoAgent在ImageNet分类、TriFinger操作、Ego-Exo4D未来状态预测及3D人体运动预测等任务上均超越现有方法，实现了三项能力的相互促进。

World Modeling Makes a Better Planner: Dual Preference Optimization for Embodied Task Planning

作者信息待提取

Fudan University, Shanghai Innovation Institute, National University of Singapore, Shanghai Jiao Tong University

现有大视觉语言模型在具身任务规划中难以捕捉环境动态与依赖约束，且现有方法多仅优化动作选择而忽视对世界本身的建模。为此，本文提出Dual Preference Optimization (D²PO)框架，通过偏好学习联合优化状态预测与动作选择，让策略在提升决策能力的同时内化世界模型；并辅以树搜索机制自动采集逐步偏好数据，无需人工标注。在VoTa-Bench上的实验表明，应用该框架的7B模型相比监督微调基线，成功率相对提升31.4%，规划效率提升33.0%，且多项指标优于GPT-4o。

COMBO: Compositional World Models for Embodied Multi-Agent Cooperation

作者信息待提取

University of Massachusetts Amherst, IIIS, Tsinghua University, Peking University, Johns Hopkins University, Honda Research Institute USA

本文研究具身多智能体在仅具自我中心视觉观测下的合作规划难题。针对部分可观测性，作者提出组合式世界模型COMBO：先用生成模型从局部观测推断全局世界状态，再将多智能体联合动作分解并组合式地生成未来视频以模拟世界演化；进而联合视觉语言模型进行动作提议、意图推理与结果评估，并以树搜索实现在线合作规划。在包含2至4个智能体的TDW-Game、TDW-Cook等视觉合作任务上的实验表明，该方法能支持智能体与不同队友在多种任务中高效协作。

Scalable Humanoid Whole-Body Control via Differentiable Neural Network Dynamics

作者信息待提取

SCALABLE HUMANOID WHOLE-BODY CONTROL VIA, Robotics Institute, Carnegie Mellon University

针对无模型强化学习在人形机器人大规模动作模仿中样本效率低、训练时间长的问题，本文提出SuperDyno框架，通过同时学习可微分的神经网络动力学模型与策略，使训练目标可直接反向传播以监督关节动作，并结合硬负样本挖掘与循环同步提前终止机制提升训练效率。该方法在单张A6000 GPU上仅用80小时即可在AMASS数据集上实现对99%以上动作的精确跟踪，显著优于现有方法，且能有效解决稀疏奖励任务并展现良好的模型迁移能力。

HuWo: Building Physical Interaction World Models for Humanoid Robot Locomotion

作者信息待提取

针对人形机器人在复杂地形中难以稳定运动的问题，现有强化学习方法多从部分观测重建环境或机器人动力学，却难以刻画机器人与环境的物理交互过程。为此，本文提出 HuWo 框架，核心在于构建物理交互世界模型，并利用 Transformer-XL 隐式建模其时序动态特性，同时将世界模型嵌入 actor-critic 架构以提升策略探索与状态评估能力。在 Zerith1 机器人上的仿真与真实实验表明，该方法在草地、岩石、沙地、楼梯等复杂地形中具有优于基线的通过性与指令跟踪能力。

Bridging the Sim-to-Real Gap in Humanoid Dynamics via Learned Nonlinear Operators

作者信息待提取

Institute for Artificial Intelligence, Peking University, School of Psychological and Cognitive Sciences, Peking University, Beijing Key Laboratory of Behavior and Mental Health, Peking University, Yuanpei College, Peking University, Shanghai Institute of Intelligent Science and Technology, Tongji University

针对人形机器人在不同负载交互下仿真与现实动力学偏差非线性放大这一难题，本文构建首个面向该场景的SimLifter数据集，收录超25万帧多模态对齐数据；并提出了基于深度算子网络与强化学习的GAPONet框架，通过可学习的传感器预测器建模仿真到真实的执行偏差。在未见机器人上的零样本运动跟踪中，该方法将关节精度平均提升40%以上，最大负载下达50%；在目标导向递送任务中，最大负载下精度较直接执行提升70%。

CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models

作者信息待提取

Stanford University

现有视觉-语言-动作模型普遍采用端到端映射，缺乏中间推理与时间规划能力。本文提出 CoT-VLA，将视觉思维链引入机器人控制：先自回归生成子目标图像作为像素空间的中间推理步骤，再基于当前观测与生成的子目标预测短动作序列；并设计了因果注意力生成图像、全注意力预测动作的混合机制，且能利用无动作标注的视频数据预训练。实验表明，该 7B 模型在真实机器人任务上较当前最优 VLA 提升 17%，仿真基准提升 6%，消融实验验证了视觉推理、混合注意力与动作块预测的有效性。

UP-VLA: A Unified Understanding and Prediction Model for Embodied Agent

作者信息待提取

现有VLA模型多基于VLM微调，虽继承丰富语义知识，但VLM偏向高级语义而忽视距离、尺寸等低级视觉与空间细节，限制了机器人控制中的精确物理交互能力。本文提出UP-VLA，将多模态理解与未来帧预测统一于单一自回归模型的预训练范式中，利用灵活注意力掩码在互联网图文、视频及机器人动作数据上联合训练，使模型同时捕获高层语义与低级空间模式。实验表明，该方法在Calvin ABC-D泛化基准上较先前最优方法提升33%，并在真实世界精确操控任务中显著提高成功率。

Video Prediction Policy: A Generalist Robot Policy with Predictive Visual Representations

作者信息待提取

现有视觉编码器多基于单图或双图预训练，难以捕捉动态信息。本文提出Video Prediction Policy（VPP），利用视频扩散模型内部同时编码当前状态与未来动态的“预测性视觉表征”作为条件，学习隐式逆动力学模型。该方法先在机器人及互联网人类操作数据上微调视频基础模型，再基于其内部表征训练策略，无需多步去噪即可高频闭环控制。实验表明，VPP在Calvin ABC-D泛化基准上较先前最优方法相对提升18.6%，并在真实世界灵巧操作任务中将成功率提高31.6%。

FLARE: Robot Learning with Implicit World Modeling

Ruijie Zheng, Jing Wang, Scott Reed, Johan Bjorck, Yu Fang, Fengyuan Hu, Joel Jang, Kaushil Kundalia, Zongyu Lin, Loic Magne, Avnish Narayan, You Liang Tan, Guanzhi Wang, Qi Wang, Jiannan Xiang, Yinzhen Xu, Seonghyeon Ye, Jan Kautz, Furong Huang, Yuke Zhu, Linxi Fan

University of Maryland, College Park, Nanyang Technological University, University of Texas, Austin

现有方法通过生成未来视觉帧联合学习世界模型与策略，计算开销大且视觉重建与动作预测存在容量竞争。FLARE提出一种轻量隐式世界建模框架，仅在标准VLA模型的扩散Transformer中增设少量可学习的未来令牌，将动作去噪网络的隐藏状态与未来观测的紧凑潜在嵌入对齐，使策略在输出动作时隐式推理未来状态，避免像素级重建。该方法在单臂和人形桌面操作的多任务模仿学习基准上达到SOTA，超越先前基线达26%，并支持利用无动作标签的人类自我中心视频进行联合训练，仅用一个真实机器人演示即可泛化到未见几何形状的新物体，且在真实GR1人形机器人上达到95%成功率。

MinD: Unified Visual Imagination and Control via Hierarchical World Models

作者信息待提取

Tencent Robotics X, Hong Kong University of Science and Technology, Peking University

现有工作多将视频生成模型仅用作视觉编码器，既未挖掘其预测未来的潜力，又受困于扩散迭代的实时性瓶颈。MinD的核心洞察是：机器人策略无需完全去噪的视频帧，单步扩散潜特征已足够语义丰富且计算廉价，可支撑实时控制。该框架通过低频视觉生成器想象未来，再由高频扩散策略基于该单步潜特征输出动作，并以DiffMatcher的扩散强制机制对齐两者的中间表示。实验表明，MinD在RL-Bench和真实Franka上分别达到63%与60%的成功率，以11.3 FPS实时运行，并能提前识别74%的潜在任务失败。

DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge

作者信息待提取

现有视觉-语言-动作模型依赖像素级未来帧预测，存在冗余且缺乏空间与语义知识。DreamVLA以动态区域、深度图及基础模型语义特征等紧凑世界知识替代完整图像预测，构建感知-预测-动作闭环，并引入块级结构化注意力防止跨类型信息泄露，再以扩散Transformer解耦动作表征。该方法在CALVIN ABC-D基准取得4.44平均任务长度的SOTA表现，真实机器人任务成功率达76.7%，消融显示动态区域预测增益最大。

WorldVLA: Towards Autoregressive Action World Model

作者信息待提取

DAMO Academy, Alibaba Group, Hupan Lab, Zhejiang University, that limits their application in scenarios requiring explicit action planning

现有VLA模型仅将动作作为输出而缺乏深入理解，世界模型虽能预测未来状态却无法直接生成动作。为此，本文提出WorldVLA，将VLA与世界模型统一为自回归动作世界模型，通过共享词表实现图像、文本、动作的统一理解与生成，使动作预测与视觉建模相互增强；并针对自回归动作块生成中的错误累积问题，提出动作注意力掩码策略。在LIBERO基准上，WorldVLA较独立动作模型抓取成功率提升4%，较纯世界模型FVD降低10%，掩码策略更在动作块生成中带来4%至23%的性能增益。

3D-VLA: A 3D Vision-Language-Action Generative World Model

作者信息待提取

现有VLA模型多依赖2D输入且直接从感知映射到动作，忽略了对3D世界动力学与未来状态的想象。3D-VLA以3D大语言模型为基座，引入场景、物体与动作等交互token，并将具身扩散模型对齐至LLM以生成目标图像和点云，在3D感知、推理与动作间建立生成式世界模型。实验表明，该方法在3D推理、多模态目标生成及机器人规划上显著优于基线；研究还构建了包含200万样本的3D具身指令数据集。

Latent Action Pretraining Through World Modeling

作者信息待提取

现有视觉-语言-动作模型依赖昂贵的遥操作动作标注且规模难以扩展。本文提出LAWM，一个模型无关的框架，通过世界模型以自监督方式从无标签视频（人类或机器人）中学习潜动作块表示，在预训练阶段利用未来帧预测约束潜动作，微调阶段仅训练模仿学习模型。该方法在LIBERO基准和真实场景中不仅优于使用真值动作训练的模型，还以BAKU和Dreamerv3等小模型超过了villa-X等大模型方法，显著提升了实际部署效率。

UniVLA: Unified Vision-Language-Action Model

作者信息待提取

现有VLA多依赖视觉语言模型的语义理解，以静态图像到动作的映射为主，忽略了视觉观测中的时间因果结构。UniVLA将视觉、语言和动作统一离散化为共享词表中的token，通过自回归框架联合建模，并在后训练阶段引入世界模型从大规模视频中学习因果动态，从而强化长程策略学习。该方法在CALVIN、LIBERO和SimplerEnv-Bridge上取得新SOTA，其中LIBERO平均成功率达95.5%，显著优于现有方法，并可迁移至真实机器人操作与自动驾驶场景。

dVLA: Diffusion Vision-Language-Action Model with Multimodal Chain-of-Thought

作者信息待提取

Peking University, Shanghai Jiaotong University

针对现有VLA在多模态联合训练中易出现梯度冲突、且自回归架构难以统一生成与理解的问题，dVLA基于离散扩散语言模型，将视觉推理、图像生成与机器人操控纳入统一的扩散目标下进行联合优化。其核心洞察在于通过多模态思维链训练，强制模型同时重构子目标图像、文本推理与动作token，从而显式学习感知与动作间的物理一致性。该方法在LIBERO基准上以96.4%的成功率取得最优表现，并在真实Franka机器人上完成了包括多步规划bin-picking在内的复杂任务，配合前缀掩码与KV缓存可实现约2倍推理加速。

Vidar: Embodied Video Diffusion Model for Generalist Manipulation

作者信息待提取

Dept. of Comp. Sci. and Tech., Institute for AI, BNRist Center, THBI Lab, Tsinghua-Bosch Joint ML Center, Tsinghua University

针对机器人新平台适配需要大量同构演示数据且端到端策略易受背景与视角干扰的问题，Vidar提出将互联网规模视频扩散模型作为可迁移先验，并通过掩码逆动力学模型（MIDM）将其解码为动作。该方法在统一观察空间中对75万条跨本体双臂轨迹进行具身预训练，使模型仅需约20分钟目标平台演示即可微调。实验表明，Vidar在RoboTwin基准达到SOTA，在真实未知机器人上大幅领先现有方法并强泛化到新背景与相机布局。

Unified Diffusion VLA: Vision-Language-Action Model via Joint Discrete Denoising Diffusion Process

作者信息待提取

The Hong Kong University of Science and Technology (Guangzhou), Westlake University, Zhejiang University, Monash University

现有统一式VLA多依赖外部专家或割裂地处理视觉生成与动作预测，导致模态间协同不足。本文提出UD-VLA，将视觉与动作token纳入统一的离散去噪轨迹（JD3P），通过同步迭代优化使动作在充分的未来视觉引导下逐步精化，并设计混合注意力机制与两阶段训练保障跨模态耦合。该方法在CALVIN、LIBERO及SimplerEnv上取得SOTA，推理速度达自回归方法的4倍，并在真实机器人任务中展现出较强的泛化能力。

Goal-VLA: Image-Generative VLMs as Object-Centric World Models Empowering Zero-shot Robot Manipulation

作者信息待提取

针对现有VLA模型依赖大规模配对动作数据或中间表示缺乏精确几何细节的瓶颈，本文提出Goal-VLA框架，将图像生成式VLM作为以物体为中心的世界模型，通过生成目标状态图像并提取物体目标位姿，为低层策略提供显式空间引导；同时引入Reflection-through-Synthesis机制迭代验证与精修目标图像。实验表明，该框架在模拟与真实场景的多种操作任务中实现了无需任务特定微调的零样本泛化，且成功率优于MOKA、VoxPoser等多个基线。

Vidarc: Embodied Video Diffusion Model for Closed-loop Control

作者信息待提取

Dept. of Comp. Sci. and Tech., Institute for AI, BNRist Center, THBI Lab, Tsinghua-Bosch Joint ML Center, Tsinghua University, School of Architecture, Tsinghua University

针对视频扩散模型在机器人闭环控制中延迟高且缺乏具身 grounding 的问题，本文提出 Vidarc，将自回归视频扩散与掩码逆动力学模型相结合。该方法利用动作相关掩码约束扩散损失，并通过 KV 缓存把环境反馈实时注入自回归生成，从而实现低延迟闭环控制。在百万级跨具身数据预训练后，其在真实机械臂任务上的成功率较 Vidar 与 Pi0.5 提升逾 15%，延迟降低 91%，并表现出对未见平台的泛化与纠错能力。

VideoVLA: Video Generators Can Be Generalizable Robot Manipulators

作者信息待提取

IAIR, Xi’an Jiaotong University, Microsoft Research Asia, Fudan University

现有VLA多基于视觉-语言理解模型，泛化至未知任务与物体时仍受限。VideoVLA另辟蹊径，将大规模视频生成模型改造为视频-动作扩散Transformer，联合预测未来动作并生成对应的视觉想象，利用生成模型对物理动态的理解增强操作泛化。实验发现，视觉想象的质量与动作执行成功率高度相关；模型不仅能完成训练域内任务，还能泛化到新物体并实现跨本体技能迁移，展示了生成式视频模型作为机器人操作基础范式的潜力。

Motus: A Unified Latent Action World Model

作者信息待提取

Dept. of Comp. Sci. and Tech., Institute for AI, BNRist Center, THBI Lab, Tsinghua-Bosch Joint ML Center, Tsinghua University, Peking University

现有方法将视觉理解、世界建模与动作控制割裂，阻碍多模态能力统一与大规模异构数据利用。Motus提出统一隐式动作世界模型，以Mixture-of-Transformer耦合理解、视频生成与动作专家，并借UniDiffuser调度器在VLA、世界模型、逆动力学等五种模式间灵活切换。其利用光流提取像素级隐式动作作为跨具身通用运动表征，通过三阶段训练与六层数据金字塔实现动作预训练。仿真中Motus较X-VLA与π0.5分别提升15%和45%，真实场景提升11%至48%。

mimic-video: Video-Action Models for Generalizable Robot Control Beyond VLAs

作者信息待提取

Microsoft Zurich, ETH AI Center

现有视觉-语言-动作模型（VLA）的预训练数据仅为静态图文，缺乏物理动态与时序信息，导致策略必须从昂贵的机器人演示中重新学习物理规律，数据负担沉重。mimic-video 提出 Video-Action Model（VAM）范式，将策略直接锚定在预训练视频生成模型的潜层表示上：视频骨干在潜空间推演未来视觉计划，其隐层特征驱动基于 flow matching 的逆动力学解码器输出底层动作，实现规划与控制解耦。该方法无需微调视频骨干，在单臂至双臂灵巧操作的模拟与真实任务中达到先进水平，样本效率与收敛速度较传统 VLA 分别提升约 10 倍与 2 倍。

Ctrl-World: A Controllable Generative World Model for Robot Manipulation

作者信息待提取

CTRL-WORLD: A CONTROLLABLE GENERATIVE, Stanford University, Tsinghua University

通用机器人策略的评估与改进依赖大量真实 rollout，成本高昂且难以扩展。本文提出 Ctrl-World，一种面向通用策略闭环交互的可控多视角生成式世界模型，通过帧级动作条件、姿态条件记忆检索与多视角联合预测，将被动视频生成器转化为兼容现代 VLA 的交互式模拟器。基于 DROID 数据训练后，模型可在新场景与新机位下维持 20 秒以上的长程时空一致性，无需真实环境即可准确排序策略表现，并通过在想象中合成成功轨迹进行监督微调，将策略成功率提升 44.7%。

VLA-RFT: Vision-Language-Action Reinforcement Fine-tuning with Verified Rewards in World Simulators

作者信息待提取

Westlake University, Zhejiang University, Fudan University, Zhengzhou University, Hebei University of Technology

现有视觉-语言-动作模型依赖模仿学习，在分布偏移下易累积误差且鲁棒性不足，而传统强化学习又面临真实世界交互成本高昂或仿真到现实差距大的困境。本文提出VLA-RFT，以数据驱动的世界模型作为可控模拟器，通过策略展开生成未来视觉轨迹，并基于与目标参考轨迹的对比构建密集验证奖励，在GRPO框架下实现VLA的端到端强化微调。实验显示，仅需约400次迭代，该方法即在LIBERO的标准与扰动场景中均显著超越强监督基线，并展现出可靠的故障恢复与重试能力。

World-Env: Leveraging World Model as a Virtual Environment for VLA Post-Training

作者信息待提取

School of Computer Science and Engineering, Sun Yat-sen University, China, AMap, Alibaba Group, Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China

针对VLA模仿学习在数据稀缺时性能骤降、真实环境RL后训练不可逆且成本高昂、以及现有方法缺乏任务完成判断导致冗余动作的问题，本文提出World-Env框架，以世界模型作为低成本虚拟环境实现安全的RL后训练。核心创新包括：通过向去噪网络注入VGGT几何感知特征确保世界模拟器的物理一致性，并设计VLM引导的即时反射器提供连续奖励信号、实时检测任务完成以终止动作。实验表明，该方法在LIBERO复杂操作任务上仅需每条任务5个专家演示即可取得显著性能提升，有效克服数据瓶颈与安全约束。

Self-Improving Embodied Foundation Models

作者信息待提取

受大语言模型后训练范式启发，该研究针对具身基础模型长期局限于行为克隆的问题，提出两阶段后训练框架。第一阶段在监督微调中引入“剩余步数预测”目标，使模型学会评估任务进度；第二阶段基于此预测自动提取奖励函数与成功检测器，使机器人在极少人工监督下通过在线强化学习自主练习。实验表明，该框架样本效率远高于单纯扩展模仿数据，在LanguageTable上仅增加10%机器人时间即将成功率从45%提升至75%，并能习得超越训练分布的新技能。

*, GigaBrain-0.5M\*: a VLA That Learns From World Model-Based Reinforcement Learning

作者信息待提取

现有视觉-语言-动作模型往往仅依赖当前观测预测动作，缺乏对未来状态的预见能力，导致长程操作受限。为此，本文提出GigaBrain-0.5M*，在GigaBrain-0.5之上引入RAMP框架：先利用大规模机器人数据预训练世界模型以预测未来状态与价值，再将该预测作为条件微调策略网络，并通过人在回路采集真实轨迹持续迭代训练。实验表明，该方法在衣物折叠、装箱和浓缩咖啡制备等长程任务上较RECAP基线提升约30%，且GigaBrain-0.5的中间版本已在RoboChallenge榜单上位列第一。

RISE: Self-Improving Robot Policy with Compositional World Model

作者信息待提取

The Chinese University of Hong Kong, The University of Hong Kong, Shanghai Innovation Institute, Tsinghua University

针对VLA模型在接触丰富与动态操作任务中仍显脆弱、且物理世界在线强化学习受限于硬件成本与人工重置的问题，本文提出RISE框架，将学习环境迁移至组合式世界模型构成的想象空间。该模型将动态预测与价值估计解耦：前者基于视频扩散模型并通过任务中心批处理提升动作可控性，后者融合进度回归与时序差分学习提供密集优势信号，从而在想象空间中实现闭环策略自我改进。在动态砖块分拣、背包打包与盒子关闭三项真实任务中，RISE较此前方法分别取得35%、45%和35%的绝对成功率提升。

GigaBrain-0: A World Model-Powered Vision-Language-Action Model

GigaBrain Team, Angen Ye, Boyuan Wang, Chaojun Ni, Guan Huang, Guosheng Zhao, Haoyun Li, Jie Li, Jiagang Zhu, Lv Feng, Peng Li, Qiuping Deng, Runqi Ouyang, Wenkang Qin, Xinze Chen, Xiaofeng Wang, Yang Wang, Yifan Li, Yilong Li, Yiran Ding, Yuan Xu, Yun Ye, Yukun Zhou, Zhehao Dong, Zhenan Wang, Zhichao Liu, Zheng Zhu

针对训练VLA模型所需的大规模真实机器人数据成本高昂、难以扩展的问题，GigaBrain-0利用世界模型规模化生成视频、跨域迁移与视角变换等多样化数据，并引入RGBD输入建模与具身思维链监督以增强空间几何与长程依赖推理。实验表明，该方法在灵巧操作、长程任务及移动操作中取得实质性性能提升，且对外观、物体摆放和相机视角变化具备强泛化能力；其轻量化版本GigaBrain-0-Small亦可在NVIDIA Jetson AGX Orin等边缘设备高效运行。

NinA: Normalizing Flows in Action. Training VLA Models with Normalizing Flows

作者信息待提取

AIRI, Innopolis University

现有VLA模型普遍采用扩散模型作为动作解码器以捕捉复杂多模态分布，但其多步去噪推理带来高延迟，制约高频实时控制。本文提出NinA，以标准化流（Normalizing Flow）替代扩散解码器，通过可逆变换实现单步动作采样，在保持表达能力的同时大幅降低推理开销。基于FLOWER架构在LIBERO上的实验表明，NinA Transformer在参数量缩减8.7倍的情况下，性能与扩散基线基本持平，且在RTX 3060上推理提速达7倍，验证了标准化流在高效VLA控制中的可行性。

Ada-Diffuser: Latent-Aware Adaptive Diffusion for Decision-Making

作者信息待提取

University of California San Diego, Carnegie Mellon University, Stanford University, Johns Hopkins University

现有扩散决策模型常忽视随时间演化的潜变量，导致部分可观测场景下决策次优。本文提出Ada-Diffuser，理论上证明在小时间窗口内仅需少量相邻观测即可块级识别潜因子，并据此设计因果扩散框架：训练时通过“去噪-精炼”交替学习潜动态与观测分布，推理时以zig-zag采样在线推断潜变量并生成轨迹。该统一框架同时支持规划与策略学习，在机器人操作与运动控制等基准的长程规划和自适应控制中验证有效。

Steering Diffusion Policies with Value-Guided Denoising

作者信息待提取

针对模仿学习扩散策略受限于训练数据分布、难以适应新环境且微调不稳定的问题，本文提出Value-Guided Denoising（VGD）。其核心洞察在于：扩散策略的每一步去噪本质上是预测去噪目标与噪声的加权组合，因此可在推理阶段仅利用价值函数梯度修正去噪目标，将冻结的预训练扩散策略导向高Q值动作，无需更新策略参数或反向传播经过完整扩散链。在Robomimic基准上，VGD以更高样本效率显著优于现有RL微调扩散策略的方法，仅通过训练轻量critic网络即实现部署时的在线自适应。

SPUR: Scaling Reward Learning from Human Demonstrations

作者信息待提取

现有奖励学习常依赖真实状态、在线重训练或只能得到领域专用模型，难以在无需额外示教的情况下泛化到新任务。本文提出SPUR，将大规模VLM骨干微调为机器人图像与语言指令的编码器，并融合进度预测与偏好学习两类互补目标：前者在成功示教上结合视频回退增强学习逐时刻奖励，后者在不匹配与回退轨迹对上利用失败数据而无需显式进度标注。在LIBERO与Meta-World的分布外任务上，各组件均带来性能提升，整体达到当前最优，显示出该统一框架的可扩展性与跨任务泛化能力。

A Smooth Sea Never Made a Skilled SAILOR: Robust Imitation via Learning to Search

作者信息待提取

Robust Imitation via Learning to Search, Mila- Quebec AI Institute, Carnegie Mellon University, Cornell University

行为克隆仅在专家轨迹上提供密集监督，一旦策略偏离分布便难以自主恢复。本文提出SAILOR，在不依赖额外人类纠正的前提下，从同一批演示中同时学习局部世界模型与奖励模型，通过测试时规划实现错误恢复。在十余项视觉操作任务中，该方法持续优于行为克隆训练的扩散策略，且将演示数据扩大5至10倍仍无法消除性能差距，同时具备识别细微失败和对奖励黑客的鲁棒性。

RADI: LLMs as World Models for Robotic Action Decomposition and Imagination

作者信息待提取

针对传统物理仿真世界模型建模成本高且难泛化的问题，本文提出RADI框架，首次系统验证LLM作为机器人世界模型的可行性。该框架通过动作分解将复杂任务拆解为原子动作序列，并让LLM基于当前环境状态想象每个动作执行后的状态变化，若未达预期则触发自我反思重新分解。在VirtualHome环境中的实验表明，该方法显著提升了任务规划成功率，证明LLM可通过环境想象而非纯语言推理来预测物理动作结果。

WMPO: World Model-based Policy Optimization for Vision-Language-Action Models

作者信息待提取

Hong Kong University of Science and Technology, ByteDance Seed

现有VLA依赖模仿学习，面对分布外状态易出错且无法自愈，而直接在真实机器人上进行强化学习又面临极高的样本成本。为此，WMPO构建了一个基于像素级视频生成世界模型的纯"想象"训练环境，通过策略行为对齐、自回归长程视频生成与帧级动作控制，在无需真实交互的情况下实现了VLA的在线策略GRPO优化。实验表明，该方法在仿真与真实场景中均显著提升了样本效率与任务表现，并涌现出自我修正等未被演示的行为，同时具备可靠的泛化与终身学习能力。

LingBot-VA: Causal video-action world model for generalist robot control

Lin Li, Qihang Zhang, Yiming Luo, Shuai Yang, Ruilin Wang, Fei Han, Mingrui Yu, Zelin Gao, Nan Xue, Xing Zhu, Yujun Shen, Yinghao Xu

现有VLA模型存在表示纠缠，缺乏对环境物理演化的显式建模，且既有视频世界模型方法在开环控制中面临因果性与长程记忆缺失的问题。为此，LingBot-VA提出自回归扩散框架，将未来帧预测与动作解码统一成交错的token序列，通过MoT共享潜在空间、闭环真实观测反馈与异步推理实现因果一致的高频闭环控制，并引入部分去噪策略缓解计算延迟。在多项模拟与真实机器人任务中，该方法在长程与高精度操作上显著优于主流VLA策略，并展现出更高的数据效率与跨场景泛化能力。

Unified World Models: Coupling Video and Action Diffusion for Pretraining on Large Robotic Datasets

Chuning Zhu, Raymond Yu, Siyuan Feng, Benjamin Burchfiel, Paarth Shah, Abhishek Gupta

Paul G. Allen School of Computer Science and Engineering, University of Washington, Toyota Research Institute

模仿学习受限于昂贵的高质量专家示教，而海量无动作标注的视频数据难以被直接利用。本文提出Unified World Models (UWM)，将动作扩散与视频扩散耦合进统一Transformer，通过独立控制各模态的扩散时间步，使同一模型可灵活充当策略、前向/逆动力学模型或视频生成器。实验表明，该框架在大规模多任务机器人数据上的预训练显著提升了策略的泛化性与鲁棒性，并能有效利用无动作视频进行共训练，在真实与模拟环境中均优于现有基线。

Unified Video Action Model

作者信息待提取

Stanford University

现有方法中，基于视频生成的策略推理缓慢且视觉误差易累积至动作预测，而纯动作策略又难以利用环境动态信息。本文提出的UVA通过联合视频-动作隐表示统一建模视觉与动作域，并在推理时以解耦的轻量扩散头跳过视频生成、直接输出动作，兼顾精度与速度。借助随机掩码训练，单一模型可灵活充当策略、前向/逆向动力学模型或视频规划器。在七个机器人基准上，UVA达到或超越专用SOTA，在多任务场景优势显著，且推理速度与Diffusion Policy相当。

DiWA: Diffusion Policy Adaptation with World Models

作者信息待提取

University of Freiburg, University of Technology Nuremberg

扩散策略虽能表达复杂多模态行为，但纯模仿学习易受分布偏移困扰，而在线强化学习微调又需数百万次真实交互，成本高昂且存在安全隐患。为此，本文提出 DiWA，首次利用离线学习的世界模型完全在想象中微调扩散策略：通过构建 Dream Diffusion MDP，在隐空间生成长期想象轨迹并执行策略梯度更新，无需任何额外物理交互。实验表明，该方法在 CALVIN 基准的八项任务上均取得提升，样本效率较无模型基线高数个数量级，并可直接零样本部署至真实机器人。

Training Agents Inside of Scalable World Models

作者信息待提取

Training Agents Inside of Scalable World Models, Equal contribution. Google DeepMind, San Francisco, USA. Website: danijar.com/dreamer4

针对现有世界模型难以精确模拟复杂物体交互且推理缓慢的问题，本文提出Dreamer 4，通过shortcut forcing目标函数与高效Transformer架构，在单GPU上实现了实时且准确的世界模型推理。该方法仅需少量动作标注数据即可学习动作条件化，并能从大量无标注视频中吸收世界知识。在Minecraft中，Dreamer 4首次仅凭离线数据完成获取钻石的长程任务，其世界模型对游戏机制的预测精度显著优于先前工作。

Large Video Planner Enables Generalizable Robot Control

作者信息待提取

现有视觉-语言-动作模型受限于机器人数据稀缺而泛化不足，本文探索以大规模视频预训练为核心的机器人基础模型新范式。作者构建140亿参数的Large Video Planner，将视频生成作为视觉运动规划器，依据指令与初始观测生成未来视频计划并提取可执行动作，结合History Guidance与Diffusion Forcing增强时序连贯与物理一致性。在第三方自由提出的野外任务及真实机器人实验中，该方法实现零样本规划与物理执行，展现出较强的任务级泛化与真实世界可行性。

LDA-1B: Scaling Latent Dynamics Action Model via Universal Embodied Data Ingestion

作者信息待提取

Peking University, Tsinghua University, Sun Yat-sen University

现有机器人基础模型多依赖行为克隆，浪费了异构数据中蕴含的物理动力学信息。LDA-1B提出通用具身数据摄入范式，将策略、动力学与视觉预测统一在结构化DINO潜空间中联合训练，使无动作视频、低质量与高质量轨迹各司其职；并构建30k小时的EI-30k数据集支撑Scaling。实验表明，该1.6B参数模型在接触丰富、灵巧与长程操作任务上分别较π0.5提升21%、48%与23%，且能通过利用30%低质量轨迹在微调中再获10%增益。

Latent Action Learning Requires Supervision in the Presence of Distractors

作者信息待提取

现有潜在动作学习在无干扰数据中效率很高，但面对真实视频里的动作相关干扰物时，LAPO会严重失效。本文提出LAOM，通过去除量化与图像重建、改用潜在时序一致性，将潜在动作质量提升8倍、下游性能翻倍；然而核心发现是，仅在训练LAM时加入2.5%的真实动作标签监督，就能使下游性能再提升4倍以上，显著优于先学潜在动作再解码的传统两阶段流程。这说明在干扰环境下，潜在动作学习必须尽早融入监督信号。

Beyond Experience: Fictive Learning as an Inherent Advantage of World Models

作者信息待提取

Okinawa Institute of Science and Technology Graduate University, Department of Psychology, University of Sydney

针对小鼠两步任务中现有模型难以解释的行为模式，本文提出一种受脑科学启发的虚构学习规则：利用世界模型推断事件相关性，将奖励预测误差（RPE）泛化至未经历的状态与动作进行更新。该机制使基于模型的RL能同时学习实际与反事实结果，在仿真中显著提升了样本效率，不仅更准确复现了小鼠的关键行为特征和纹状体多巴胺动态，模型拟合也优于标准无模型、有模型及混合模型。研究表明虚构学习是世界模型的内在优势，为高效决策与策略学习提供了新的计算原理。

Robotic World Model: A Neural Network Simulator for Robust Policy Optimization in Robotics

作者信息待提取

现有机器人世界模型往往依赖手工设计的归纳偏置，限制了跨任务泛化与真实部署后的持续优化。本文提出一种基于双重自回归机制与自监督训练的通用框架，无需领域先验即可学习支持长程rollout的鲁棒世界模型，并设计了结合MBPO与PPO的策略优化方法，在想象环境中完成训练。实验表明，该方法在多种机器人任务中实现了可靠的长程预测，并在ANYmal D四足机器人上完成了从神经仿真器到真实硬件的零样本策略部署。

Sim-to-Real Contact-Rich Pivoting via Optimization-Guided RL with Vision and Touch

作者信息待提取

Mitsubishi Electric Research Laboratories, Mitsubishi Electric

针对接触丰富的非抓取式转动操作，基于优化的方法依赖特权信息且对模型误差敏感，而强化学习样本效率不足。本文提出融合接触隐式轨迹优化（CITO）与演示引导强化学习的框架：利用CITO自动生成含接触力的动态可行演示以训练教师策略，显著提升样本效率；并通过学生估计器从视觉、力觉及本体感觉的时序观测中推断特权信息，实现零样本的真实机器人部署。实验验证了该方法在多项转动任务中的模拟到现实迁移能力。

Hierarchical Task Environments as the Next Frontier for Embodied World Models in Robot Soccer

作者信息待提取

全文短总结尚未生成。

Evaluating Real-World Robot Manipulation Policies in Simulation

作者信息待提取

Stanford University, Google Deepmind, Cheap and scalable, real-world robot manipulation policies in a scalable, reproducible, and reliable way

针对通才机器人操作策略在真实世界中评估成本高昂、难以扩展与复现的问题，本文提出一种“无需构建高保真数字孪生，只需保证仿真与真实表现强相关”的评估范式。通过离线系统辨识、真实背景合成与纹理烘焙缓解控制与视觉差异，作者构建开源仿真评估套件SIMPLER，覆盖RT系列与BridgeData V2的多种真实机器人设置。实验表明，该仿真环境对RT-1/X、Octo等策略的评估结果与真实世界成功率高度一致，并能准确反映策略面对分布偏移时的行为模式敏感性。

WorldGym: Evaluating Robot Policies in a World Model

作者信息待提取

Stanford University, Google DeepMind

WorldGym提出以单一视频世界模型替代传统手工仿真器来评估机器人策略，核心洞察是物理定律的统一性使其能够跨任务、跨形态地通用。该系统仅需真实初始帧即可进行蒙特卡洛交互式推演，并通过视觉语言模型判定任务成败。实验表明，世界模型中的策略成功率与真实世界高度相关，且能保留不同版本、规模及检查点策略的相对排名；同时，单帧输入的特性使其能便捷构建分布外任务与环境，并揭示出现有VLA策略在物体形状辨别与对抗性外观干扰下仍存在明显缺陷。虽然逼真的物体交互生成仍具挑战，但WorldGym为部署前提供了安全且可复现的策略评估起点。

WorldEval: World Model as Real-World Robot Policies Evaluator

作者信息待提取

East China Normal University

针对真实场景下机器人操作策略评估的耗时性、扩展性与安全性难题，该研究提出WorldEval框架，以世界模型作为可复现的评估代理。核心洞察是策略网络本身即可提供有效动作表征，据此提出的Policy2Vec方法将策略隐式编码注入视频生成模型，构建出遵循潜在动作的视频级世界模拟器。在多种公开策略与真实环境配对评估中，WorldEval的结果与真实世界表现高度一致，能有效完成策略排序、检查点筛选与危险动作检测，且显著优于real-to-sim方法。

WOW!: World Models in a Closed-Loop World

作者信息待提取

全文短总结尚未生成。

Cosmos-Surg-dVRK: World Foundation Model-based Automated Online Evaluation of Surgical Robot Policy Learning

作者信息待提取

Johns Hopkins University, Stanford University

针对手术机器人在真实dVRK平台上评估成本高昂、难以复现，且传统仿真器难以逼真模拟软体组织动态的问题，本研究提出基于Cosmos世界基础模型手术微调的Cosmos-Surg-dVRK，通过运动学动作条件隐式建模机器人运动链与软组织交互，并辅以视频分类器实现自动化在线评估。实验表明，在桌面缝合垫任务中，该仿真评估与真实dVRK结果呈强相关性，且视频分类器与人工标注一致；在离体猪胆囊切除任务中的初步结果亦显示其与真实评估良好对齐，可为复杂手术策略提供高效可信的仿真评测基准。

CellFlux: Simulating Cellular Morphology Changes via Flow Matching

作者信息待提取

CellFlux 致力于通过生成式模型实现虚拟细胞模拟以加速药物发现。针对现有方法难以区分真实扰动与批次效应等实验伪影的问题，作者将细胞形态预测重新表述为分布到分布的学习任务，利用流匹配直接学习从对照细胞到扰动细胞的连续变换，并通过对同批次对照样本条件化来校正批次效应。在化学、遗传及联合扰动数据集上，该方法在图像保真度（FID 提升 35%）和作用机制预测准确率（提升 12%）上均显著优于现有方法，并支持细胞状态的双向插值以探索扰动动态。

CheXWorld: Exploring Image World Modeling for Radiograph Representation Learning

作者信息待提取

Tsinghua University

受人类凭内部世界模型理解环境并预测结果的启发，本文提出首个面向放射影像的自监督世界模型CheXWorld。其核心洞察是将局部解剖结构、全局解剖布局与跨域外观变化统一为三个世界建模任务，使模型同时编码组织细粒度特征、器官空间关系及不同医院/设备间的域迁移规律。在八个医学图像分类与分割基准上的迁移实验表明，CheXWorld显著优于现有自监督方法及大规模医学基础模型，并经验证确实捕获了上述多维医学知识。

EchoWorld: Learning Motion-Aware World Models for Echocardiography Probe Guidance

作者信息待提取

Tsinghua University

超声心动图检查严重依赖有经验的医师操控探头以获取标准切面，现有AI模型却难以同时理解心脏解剖结构与探头运动带来的视觉动态变化。为此，本文提出EchoWorld：在预训练阶段通过预测掩码解剖区域和模拟探头调整后的视觉结果来编码解剖与运动知识；在微调阶段引入运动感知注意力机制以融合历史视觉-运动序列。在超过百万张临床超声图像上的实验表明，该方法在单帧和序列评估协议下均显著降低了引导误差，优于现有视觉主干和引导框架。

ODesign: A World Model for Biomolecular Interaction Design

作者信息待提取

现有分子设计模型多局限于单一模态，难以完成跨模态生成与精细控制。ODesign基于AlphaFold3架构将结构预测转化为生成任务，将蛋白、核酸、小分子等最小单元抽象为统一token空间，实现all-to-all全原子生物分子相互作用设计，支持分子、基序、原子多层级条件控制及刚/柔性受体模式。在11项基准中，ODesign均优于模态专用基线，设计通量提升2–4个数量级，并实现了蛋白结合核酸、核酸结合配体等跨模态设计。

Spatiotemporal Forecasting as Planning: A Model-Based Reinforcement Learning Approach with Generative World Models

作者信息待提取

Tsinghua University, Tencent Hunyuan, Tencent Jarvis Lab, Nanyang Technological University

现有物理时空预测模型多优化可微的代理损失（如MSE），难以直接优化不可微的领域指标，且在数据稀缺时难以捕捉极端事件。本文提出“时空预测即规划”范式SFP，将预测模型视为强化学习智能体，通过生成式世界模型在内部“想象”多种未来，并以束搜索规划利用不可微指标作为奖励信号筛选高价值轨迹，再经自训练迭代优化策略。实验表明，SFP不仅能显著降低MSE（最高39%），更在捕捉极端天气和提升物理一致性等关键领域指标上取得突破，且对多种骨干网络具备即插即用性。

Xray2Xray: World Model from Chest X-rays with Volumetric Context

作者信息待提取

Department of Biomedical Engineering and Center for Biotechnology and, Interdisciplinary Studies, Rensselaer Polytechnic Institute, Troy, NY, USA, Department of Radiology, Massachusetts General Hospital, Harvard Medical, School, Boston, MA, USA

为突破胸部X光（CXR）因二维投影导致结构重叠、三维信息不足的瓶颈，本文提出世界模型Xray2Xray。该模型利用VQ-GAN将多视角投影编码为离散token，并通过自回归Transformer学习投影角度间的转移动态，从而提取蕴含三维体积上下文的隐层表征。实验表明，所得表征在心血管疾病风险预测上优于多种监督与自监督预训练方法，在CheXpert五类病变分类中亦具竞争力；合成实验进一步验证该表征可重建体积空间信息。

Medical World Model: Generative Simulation of Tumor Evolution for Treatment Planning

作者信息待提取

The Hong Kong University of Science and Technology (Guangzhou), Johns Hopkins University, The First Affiliated Hospital of Nanjing Medical University, University of California, San Francisco, The Hong Kong University of Science and Technology

针对临床决策中缺乏可追踪的疾病演进预测问题，本文提出首个医疗世界模型MeWM，通过视觉语言策略模型生成治疗方案，利用生成式动力学模型模拟肿瘤在不同治疗下的进展或消退，并引入逆动力学模型对模拟结果进行生存分析以量化疗效。实验表明，该模型合成的治疗后肿瘤影像在放射科医生图灵测试中达到先进水平，且其逆动力学模型在TACE最优方案选择上较医学专用GPT提升F1分数13%。

Surgical Vision World Model

作者信息待提取

University of Aberdeen, UK, Cambridge Research Laboratory, Toshiba Europe Ltd, UK, Nepal Applied Mathematics and Informatics Institute for research (Naamii), Nepal, University of Lausanne, Switzerland

现有手术仿真多基于简化的计算机模拟而缺乏真实感，且现有世界模型方法依赖动作标注，在真实手术场景中获取成本极高。本文提出首个无需动作标注的手术视觉世界模型 SurgWM，利用时空 Transformer 分别构建视频分词器、无监督潜在动作模型与动力学模型，直接从原始手术视频中学习环境与动作动态。在 SurgToolLoc-2022 上的实验表明，该方法能够生成高质量且动作可控的手术视频序列。

MicroVerse: A Preliminary Exploration Toward a Micro-World Simulation

作者信息待提取

The Chinese University of Hong Kong, Shenzhen, Peking Union Medical College Hospital, Shenzhen Loop Area Institute

现有视频生成模型虽擅长宏观场景，却在微观尺度模拟中频繁失效，常违背物理与生物规律。本文提出“微观世界模拟”概念，构建了首个评分基准MicroWorldBench（含459条专家标准）及配套数据集MicroSim-10K（9601条验证样本）。基于Wan2.1微调的MicroVerse在该基准上科学保真度较原模型提升逾2.7分，显著改善了微观动力学的物理合理性与时序一致性，为生物医学仿真与教育可视化作出概念验证。

Social World Models

作者信息待提取

针对AI系统难以处理社会交互中隐含的意图、信念等未观察动态，以及自由文本输入存在信息损失的问题，本文提出社会世界模型（SWMs）及结构化表征形式S3AP，将非结构化叙事显式转换为包含智能体状态、动作与心理状态的时序结构。实验表明，S3AP在五个社会推理基准上显著提升大模型性能，在FANToM上较o1提高51%，且消融实验证实收益主要源于对隐藏心理状态的显式建模；基于S3AP的交互算法在SOTOPIA多轮社会交互中进一步带来18%的性能增益。

Social World Model-Augmented Mechanism Design Policy Learning

作者信息待提取

Institute for Artificial Intelligence, Peking University, State Key Laboratory of General Artificial Intelligence, BIGAI, Beijing, China, State Key Laboratory of General Artificial Intelligence, Peking University, Beijing, China, The Hong Kong University of Science and Technology (Guangzhou), Center for Data Science, Academy for Advanced Interdisciplinary Studies, Peking University

现有机制设计方法难以处理异构智能体的持久潜在特质与复杂多智能体动态，且真实世界交互成本高昂。本文提出SWM-AP框架，通过社会世界模型从无监督交互轨迹中推断智能体隐藏特质，并学习基于特质的动力学模型来预测系统演化；机制设计策略利用该模型进行高效仿真训练，同时在线推断特质以提升样本效率。在税收、团队协调与设施选址等场景中的实验表明，该方法在累积奖励与样本效率上显著优于现有模型基线与无模型RL方法。

SocioVerse: A World Model for Social Simulation Powered by LLM Agents and A Pool of 10 Million Real-World Users

作者信息待提取

Fudan University, University of Rochester, Indiana University, User Label

现有社会模拟在环境、用户、交互与行为层面面临真实世界对齐难题，传统研究方法又受限于成本与样本规模。为此，本文提出 SocioVerse，一种由 LLM 智能体驱动、基于千万级真实用户池的社会模拟世界模型，通过社会环境、用户引擎、场景引擎与行为引擎四个模块实现多维对齐。实验涵盖政治选举、突发新闻与经济调查三类场景，结果表明该框架能够在最小人工干预下有效反映大规模人群动态，并保证模拟结果的多样性与代表性。

Effectively Designing 2-Dimensional Sequence Models for Multivariate Time Series

作者信息待提取

Cornell University, New Jersey Institute of Technology, Google Research, New York University, Cornell University & Google Research

针对Transformer时序因果性弱、线性模型难捕捉跨变量依赖，以及循环模型长期预测误差传播与分布外泛化差等问题，本文提出Typhon框架：将两个一维序列模型分别作用于时间与变量维度，经Dimension Mixer融合以注入二维归纳偏置。进而提出T4（时间维度用测试时训练TTT，变量维度用Transformer）与无注意力循环的GMC（恒定大小多分辨率记忆）。实验表明，二者在长期/短期预测、分类、插补与异常检测等多元任务上均表现领先，验证了二维序列设计的有效性。

A Virtual Reality-Integrated System for Behavioral Analysis in Neurological Decline

作者信息待提取

Tsinghua University

针对现有VR行为分析环境保真度不足、难以复现真实生活动态挑战的问题，本文提出了一个AI增强的高保真虚拟现实系统，通过AI辅助3D建模与真实照片纹理提取构建真实世界数字孪生，并集成动态天气、交通系统及可调节的环境参数，同时与Vicon动作捕捉同步实现毫米级行为记录。实验对100名60至87岁社区老年人开展了日常行走测试，结果表明该系统的多场景动态交互能够有效揭示神经衰退风险个体的行为与运动功能障碍，为AI辅助的行为研究与健康评估提供了可控实验平台。

TwinMarket: A Scalable Behavioral and Social Simulation for Financial Markets

作者信息待提取

TwinMarket: A Scalable Behavioral and Social, The Chinese University of Hong Kong, Shenzhen, Nanjing University, Jiangsu Key Laboratory of Digital Finance

传统基于规则的ABM难以刻画人类非理性行为与社交互动，限制了金融市场涌现现象的研究。本文提出TwinMarket，一个基于LLM的多智能体框架，以BDI认知架构建模投资者，并在嵌入社交媒体的环境中模拟交易与信息传播。实验表明，该框架能复现真实市场的四大典型事实，并揭示个体信念如何通过正反馈形成自我实现预言、信息级联如何引发泡沫与衰退等宏观涌现机制。

Latent Representation Encoding and Multimodal Biomarkers for Post-Stroke Speech Assessment

作者信息待提取

针对中风后语言障碍传统评估主观性强、难以捕捉细微病理变化且不易规模化的问题，该研究构建了一个融合基础模型与临床生物标志物的多模态框架。研究团队基于自建的大规模中风患者语音数据集，在隔离环境中对Whisper进行安全微调以提取深层语音表征，并将其与语言学复杂度、生理声门参数及声学特征结合用于自动评估。实验表明，该框架在中风检测任务上达到92.4%的分类准确率，优于传统特征方法，同时在综合失语症测试（CAT）评分预测中取得0.1299的N-RMSE，SHAP分析进一步证实了各模态的独立贡献。

Reconstructing Dynamics from Steady Spatial Patterns with Partial Observations

作者信息待提取

针对真实场景中往往仅能观测单一组分稳态快照的局限，本文提出从部分观测重建反应扩散系统动力学的两阶段框架：先以CNN状态估计器恢复未观测的稳态隐变量，再通过有限维基函数与物理信息优化联合识别反应项系数及扩散参数，并给出理论可行性保证。数值实验在图灵模式与多重稳定性等经典模型上证实，该方法能从高度有限的数据中有效重建隐藏动力学与系统参数，为辨识未知反应扩散过程提供了新思路。

SP: Learning Physics from Sparse Observations — Three Pitfalls of PDE-Constrained Diffusion Models

作者信息待提取

全文短总结尚未生成。

SP: Continuous Autoregressive Generation with Mixture of Gaussians

作者信息待提取

全文短总结尚未生成。

EquiReg: Symmetry-Driven Regularization for Physically Grounded Diffusion-based Inverse Solvers

作者信息待提取

全文短总结尚未生成。

Neural Modular World Model

作者信息待提取

全文短总结尚未生成。

Bidding for Influence: Auction-Driven Diffusion Image Generation

作者信息待提取

针对生成式AI使单一输出可融合多方偏好的特性，本文将拍卖理论引入扩散模型图像生成，提出首个生成式图像拍卖机制。该机制在反向扩散过程中动态组合出价加权的分数引导，并基于蒙特卡洛采样实现VCG风格的社会福利最大化与支付计算。实验表明该机制满足出价单调性，相比单一赢家基线平均社会福利提升最高6.5%（个别场景达21%），且近似激励相容（偏离真实出价的遗憾低于10%），同时保持图像质量。

PINT: Physics-Informed Neural Time Series Models with Applications to Long-term Inference on WeatherBench 2m-Temperature Data

作者信息待提取

Seoul National University, Department of Statistics, Department of Physics, Chung-Ang University

针对气候长期预测中数据驱动模型难以维持周期规律与物理一致性的问题，本文提出PINT框架，将简谐振子方程嵌入RNN、LSTM和GRU的损失函数以显式约束周期性动力学。仅用前90天观测迭代外推两年ERA5近地表温度数据的结果显示，该物理嵌入显著提升了长期推断的稳健性与可解释性，但在季节性趋势稳定的区域，基于解析解的线性回归基线仍具竞争力。

HEP-JEPA: A foundation model for collider physics

作者信息待提取

Jai Bardhan, Radhikesh Agarwal , Abhiram Potula , Cyrin Neeraj, Subhadip Mitra, Center for Computational Natural Sciences and Bioinformatics, International Institute of Information Technology, Hyderabad

高能物理长期依赖专用监督模型处理对撞机数据，泛化与效率受限。本文将联合嵌入预测架构（JEPA）引入粒子喷注分析，提出HEP-JEPA：通过最远点采样与k近邻划分几何patch，在隐空间自监督预测被掩码目标的嵌入，免去解码器重建。模型经JetClass预训练后，在top夸克标记、轻夸克-胶子区分及少样本分类中展现出良好的迁移能力，虽绝对精度略逊于任务专用SOTA，但其抽象表征为构建高能物理统一世界模型提供了新基础。

Video as the New Language for Real-World Decision Making

作者信息待提取

本文指出，语言模型虽在数字世界取得巨大成功，但自然语言难以完整表达物理世界的丰富细节，而互联网上海量的视频数据尚未被充分用于现实世界决策。作者提出视频生成应成为物理世界的统一接口与表示，类似于语言模型之于数字世界。论文系统论证了条件视频生成可通过文本、图像、动作等条件，充当任务求解器、视觉规划器、策略智能体及环境模拟器，并结合上下文学习、规划与强化学习等技术，在机器人操作、自动驾驶与科学仿真中展现应用潜力。同时，文章深入剖析了视频生成面临的数据覆盖不足、标注稀缺及模型架构异质性等关键挑战。