Veila: Panoramic LiDAR Generation from a Monocular RGB Image Figure 1
ICRA 20262026

Veila: Panoramic LiDAR Generation from a Monocular RGB Image

Youquan Liu, Lingdong Kong, Weidong Yang, Ao Liang, Jianxiong Gao, Yang Wu, Xiang Xu, Xin Li, Linfeng Li, Runnan Chen, Ben Fei

世界模型3D/4D建模视频生成激光雷达生成

Veila面向自动驾驶中高质量LiDAR采集成本高、现有无条件或文本生成缺乏空间可控性的问题,探索用单目RGB约束生成全景LiDAR。其核心在于按局部置信度融合语义与深度线索,并用几何跨模态对齐和全景特征一致性缓解RGB-LiDAR错位及非重叠区域漂移。实验在nuScenes、SemanticKITTI和KITTI-Weather上取得更好的生成保真度与跨模态一致性,并可通过生成数据增强提升LiDAR语义分割。

LiDARCrafter: Dynamic 4D World Modeling from LiDAR Sequences Figure 1
AAAI 20262025-08-05

LiDARCrafter: Dynamic 4D World Modeling from LiDAR Sequences

Ao Liang, Youquan Liu, Yu Yang, Dongyue Lu, Linfeng Li, Lingdong Kong, Huaici Zhao, Wei Tsang Ooi

世界模型3D/4D建模激光雷达生成自动驾驶仿真

面向自动驾驶数据引擎,现有世界模型多依赖视频或占据栅格,难以处理 LiDAR 稀疏不规则点云及动态一致性。LiDARCrafter 将自由文本解析为以自车为中心的场景图,并用三分支扩散生成物体框、轨迹和形状先验,再结合范围图扩散与自回归点云变形/补全生成可编辑 4D LiDAR 序列。nuScenes 实验显示其在单帧保真度、序列连贯性和可控编辑上优于既有方法,并提供了覆盖场景、物体和序列层面的评测套件。

La La LiDAR: Large-Scale Layout Generation from LiDAR Data Figure 1
AAAI 20262025-08-05

La La LiDAR: Large-Scale Layout Generation from LiDAR Data

Youquan Liu, Lingdong Kong, Weidong Yang, Xin Li, Ao Liang, Runnan Chen, Ben Fei, Tongliang Liu

世界模型3D/4D建模激光雷达生成

面向自动驾驶/机器人仿真中稀有场景与安全验证需求,现有 LiDAR 扩散生成虽逼真但难控制前景目标及其空间关系。La La LiDAR 将前景物体建成语义场景图,用关系感知的图扩散生成布局,再通过前景感知控制注入合成完整点云,并构建 Waymo-SG、nuScenes-SG 及布局指标;实验显示其在 LiDAR 生成质量和分割、检测、补全等下游任务上达到领先表现。

Inference-time Physics Alignment of Video Generative Models with Latent World Models Figure 1
arXiv preprint 20262026-01-15

Inference-time Physics Alignment of Video Generative Models with Latent World Models

Jianhao Yuan, Xiaofeng Zhang, Felix Friedrich, Nicolas Beltran-Velez, Melissa Hall, Reyhane Askari-Hemmat, Xiaochuang Han, Nicolas Ballas, Michal Drozdzal, Adriana Romero-Soriano

世界模型3D/4D建模视频生成

针对视频生成模型常出现物体运动、连续性等物理违背的问题,论文将物理合理性改进从训练阶段转为推理时对齐:用潜在世界模型 VJEPA-2 的“惊讶度”构造 WMReward,在多候选采样和去噪引导中搜索更符合物理的视频。该方法无需再训练生成器,在 T2V/I2V/V2V 设置均提升表现,并在 PhysicsIQ 挑战取得 62.64% 第一名,较既有最好结果高 7.42%。

MIND: Benchmarking Memory Consistency and Action Control in World Models Figure 1
arXiv preprint 20262026-02-08

MIND: Benchmarking Memory Consistency and Action Control in World Models

Yixuan Ye, Xuanyu Lu, Yuxin Jiang, Yuchao Gu, Rui Zhao, Qiwei Liang, Jiachun Pan, Fengda Zhang, Weijia Wu, Alex Jinpeng Wang

CSU-JPG, Central South University National University of Singapore, Hong Kong University of Science and Technology (Guangzhou) Nanyang Technological University

世界模型3D/4D建模视频生成评测基准游戏与XR

针对世界模型评测长期偏重画质/物理真实性、缺少对长程记忆与动作可控性的统一检验,MIND构建了基于UE5的开放域闭环重访基准,覆盖第一/第三人称、8类场景和多动作空间,并给出记忆一致性、动作控制与跨动作空间泛化评估及MIND-World基线。实验显示现有模型在长时场景一致性、动作空间变化下的推理和第三人称角色-背景交互上仍明显不足。

Geometry-Aware Rotary Position Embedding for Consistent Video World Model Figure 1
arXiv preprint 20262026-02-08

Geometry-Aware Rotary Position Embedding for Consistent Video World Model

Chendong Xiang, Jiajun Liu, Jintao Zhang, Xiao Yang, Zhengwei Fang, Shizun Wang, Zijun Wang, Yingtian Zou, Hang Su, Jun Zhu

世界模型3D/4D建模视频生成游戏与XR

这篇工作针对相机可控视频世界模型在长轨迹回到旧视角时容易结构漂移、重绘细节的问题,指出根因在于屏幕坐标位置编码与投影几何不匹配。其核心是 ViewRope:把每个 patch 的相机射线方向以旋转位置编码形式注入注意力,并用几何感知稀疏注意力检索共视历史帧。实验在 ViewBench 上显示其降低 loop-closure error,较 GTA 和交互式世界模型基线更稳,同时减少长上下文计算开销。

BridgeV2W: Bridging Video Generation Models to Embodied World Models via Embodiment Masks Figure 1
arXiv preprint 20262026-02-03

BridgeV2W: Bridging Video Generation Models to Embodied World Models via Embodiment Masks

Yixiang Chen, Peiyan Li, Jiabing Yang, Keji He, Xiangnan Wu, Yuan Xu, Kai Wang, Jing Liu, Nianfeng Liu, Yan Huang, Liang Wang

世界模型3D/4D建模视频生成机器人

BridgeV2W针对机器人世界模型中坐标动作与像素视频不对齐、视角变化敏感以及不同本体需定制动作编码的问题,将URDF和相机参数渲染得到的本体运动掩码作为像素级条件,通过ControlNet式分支注入预训练视频生成模型,并用光流运动损失强调机械臂和物体等动态区域。论文在DROID单臂和AgiBot-G1双臂数据上显示其生成质量优于既有方法,并可用于真实任务中的策略评估和目标条件规划。

Imagine a City: CityGenAgent for Procedural 3D City Generation Figure 1
arXiv preprint 20262026-02-05

Imagine a City: CityGenAgent for Procedural 3D City Generation

Zishan Liu, Zecong Tang, RuoCheng Wu, Xinzhe Zheng, Jingyu Hu, Ka-Hei Hui, Haoran Xie, Bo Dai, Zhengzhe Liu

世界模型3D/4D建模数字孪生

面向自动驾驶仿真、VR 与具身智能中可控城市级 3D 场景稀缺的问题,CityGenAgent 用 Block/Building 两级 DSL 程序替代直接生成网格,并以 SFT 保证格式合法、RL 奖励强化空间对齐和视觉一致性,从而支持自然语言生成与编辑。实验显示其在文本对齐、视觉一致性、碰撞控制和网格规整性上优于 CityCraft、Hunyuan3D 等方法,但数据构造与人评细节仍需进一步审视。

MotionCrafter: Dense Geometry and Motion Reconstruction with a 4D VAE Figure 1
arXiv preprint 20262026-02-09

MotionCrafter: Dense Geometry and Motion Reconstruction with a 4D VAE

Ruijie Zhu, Jiahao Lu, Wenbo Hu, Xiaoguang Han, Jianfei Cai, Ying Shan, Chuanxia Zheng

ARC Lab, Tencent PCG, HKUST, Monash University

世界模型3D/4D建模视频生成仿真场景重建

MotionCrafter面向单目动态视频中4D几何与稠密运动难以同时前馈重建的问题,核心是把世界坐标系下的3D点图与场景流统一编码进4D VAE,并借助预训练视频生成器的时空先验;论文还指出不必强行对齐RGB VAE潜空间,采用新的归一化和训练策略反而更好。多数据集实验显示其在几何与运动重建上达到SOTA,分别提升38.64%和25.0%,且无需后优化。

FLAG-4D: Flow-Guided Local-Global Dual-Deformation Model for 4D Reconstruction Figure 1
AAAI 20262026-02-09

FLAG-4D: Flow-Guided Local-Global Dual-Deformation Model for 4D Reconstruction

Guan Yuan Tan, Ngoc Tuan Vu, Arghya Pal, Sailaja Rajanala, Raphael Phan C. -W, Mettu Srinivas, Chee-Ming Ting

世界模型3D/4D建模视频生成仿真场景重建

FLAG-4D针对动态3DGS中单一MLP难以同时兼顾局部细节与全局时序一致性的问题,提出局部IDN与全局GMN紧耦合的双形变框架,并用光流特征和CDA注意力让局部预测检索全局运动上下文。实验显示其在新视角动态重建中获得更高保真度、更稳定的时间一致性和更好的细节保持。

SparseOccVLA: Bridging Occupancy and Vision-Language Models via Sparse Queries for Unified 4D Scene Understanding and Planning Figure 1
arXiv preprint 20262026-01-10

SparseOccVLA: Bridging Occupancy and Vision-Language Models via Sparse Queries for Unified 4D Scene Understanding and Planning

Chenxu Dang, Jie Wang, Guang Li, Zhiwen Hou, Zihan You, Hangjun Ye, Jie Ma, Long Chen, Yan Wang

Huazhong University of Science and Technology, Xiaomi EV Institute for AI Industry Research (AIR), Tsinghua University

世界模型3D/4D建模占用预测规划控制

针对自动驾驶 VLM 难以处理多视角时空 token 爆炸、而稠密占用又难以接入 LLM 的问题,SparseOccVLA 用少量稀疏占用查询作为视觉与语言的唯一桥梁,并结合 LLM 引导的 Anchor-Diffusion 规划器,统一场景理解、未来占用预测与轨迹规划;在 OmniDrive-nuScenes 上 CIDEr 相对提升 7%,Occ3D mIoU 提升约 0.5,并刷新 nuScenes 开环规划指标。

GenieDrive: Towards Physics-Aware Driving World Model with 4D Occupancy Guided Video Generation Figure 1
CVPR 20262025-12-14

GenieDrive: Towards Physics-Aware Driving World Model with 4D Occupancy Guided Video Generation

Zhenya Yang, Zhe Liu, Yuxiang Lu, Liping Hou, Chenxuan Miao, Siyi Peng, Bailan Feng, Xiang Bai, Hengshuang Zhao

The University of Hong Kong, Huawei Noah’s Ark Lab, Huazhong University of Science and Technology

世界模型3D/4D建模视频生成占用预测自动驾驶

GenieDrive针对端到端视频扩散驾驶世界模型缺少物理约束、易受直行数据偏置影响的问题,引入先预测4D占用再生成多视角视频的两阶段框架;其tri-plane VAE压缩高分辨率占用,MCA建模控制对场景演化的影响,归一化多视角注意力稳定利用预训练视频模型。实验显示占用预测mIoU提升7.2%、41 FPS且仅3.47M参数,视频FVD降低20.7%。

UniDrive-WM: Unified Understanding, Planning and Generation World Model For Autonomous Driving Figure 1
arXiv preprint 20262026

UniDrive-WM: Unified Understanding, Planning and Generation World Model For Autonomous Driving

Zhexiao Xiong, Xin Ye, Burhan Yaman, Sheng Cheng, Yiren Lu, Jingru Luo, Nathan Jacobs, Liu Ren

Bosch Research North America & Bosch Center for Artificial Intelligence (BCAI), Washington University in St. Louis Arizona State University Case Western Reserve University

世界模型3D/4D建模视频生成自动驾驶规划控制

针对自动驾驶中感知、预测与规划分离造成的信息瓶颈,UniDrive-WM将多视角时序理解、连续轨迹规划和轨迹条件未来图像生成统一到VLM世界模型中,并比较离散AR与连续AR+扩散两类生成表示。Bench2Drive/nuScenes实验显示,其未来帧质量较高,规划L2误差降低7.3%、碰撞率降低10.4%,说明生成式未来想象可反向辅助规划与场景理解。

Interpreting Physics in Video World Models Figure 1
arXiv preprint 20262026

Interpreting Physics in Video World Models

Sonia Joseph, Quentin Garrido, Randall Balestriero, Matthew Kowal, Thomas Fel, Shahab Bakhtiari, Blake Richards, Mike Rabbat

世界模型3D/4D建模视频生成

本文关注视频世界模型是否真的学到可解释的物理状态,而不只是黑箱通过物理基准。作者对 V-JEPA 2、VideoMAE-v2 等视频编码器做逐层 probing、子空间分析和注意力消融,提出“物理涌现区”这一中层转折点。结果显示速度、加速度等标量较早可读,运动方向和可能/不可能判断在中层共同出现但位于近正交子空间,依赖局部时空注意力;方向以高维圆形群体码表示,支持分布式、任务特定表征而非经典物理引擎式潜变量。

X-Drive: Cross-Modality Consistent Multi-Sensor Data Synthesis for Driving Scenarios Figure 1
ICLR 20252025

X-Drive: Cross-Modality Consistent Multi-Sensor Data Synthesis for Driving Scenarios

Yichen Xie, Chenfeng Xu, Chensheng Peng, Shuqi Zhao, Nhat Ho, Alexander T. Pham, Mingyu Ding, Masayoshi Tomizuka, Wei Zhan

UC Berkeley, UT Austin, Toyota

世界模型3D/4D建模激光雷达生成自动驾驶

X-Drive针对自动驾驶中对齐的LiDAR与多视角相机数据采集昂贵、长尾场景稀缺的问题,提出双分支潜扩散框架联合建模两种传感器分布,并用基于极线的跨模态条件模块在去噪中学习局部对应,支持文本、3D框、图像和点云控制。实验显示其在点云MMD、多视图FID及跨模态一致性上优于单模态生成组合。

WeatherGen: A Unified Diverse Weather Generator for LiDAR Point Clouds via Spider Mamba Diffusion Figure 1
CVPR 20252025

WeatherGen: A Unified Diverse Weather Generator for LiDAR Point Clouds via Spider Mamba Diffusion

Yang Wu, Yun Zhu, Kaihua Zhang, Jianjun Qian, Jin Xie, Jian Yang

PCA Lab, Nanjing University of Science and Technology, Nanjing, China, School of Automation, Southeast University, Nanjing, China, State Key Laboratory for Novel Software Technology, Nanjing University, Nanjing, China, School of Intelligence Science and Technology, Nanjing University, Suzhou, China

世界模型3D/4D建模激光雷达生成

针对恶劣天气 LiDAR 数据采集成本高、传统物理模拟器只能覆盖单一天气且保真度有限的问题,WeatherGen 将可学习的地图式数据生产器与扩散生成结合,并用按激光束环/中心射线扫描的 Spider Mamba 保持点云物理结构,再通过真实特征对齐和 CLIP 监督的对比控制器提升可控性。实验显示其生成质量优于既有方法,构建的 mini-weather 数据还能提升恶劣天气下 3D 检测表现。

UniScene: Unified Occupancy-Centric Driving Scene Generation Figure 1
CVPR 20252025

UniScene: Unified Occupancy-Centric Driving Scene Generation

Bohan Li, Jiazhe Guo, Hongsi Liu, Yingshuang Zou, Yikang Ding, Xiwu Chen, Hu Zhu, Feiyang Tan, Chi Zhang, Tiancai Wang, Shuchang Zhou, Li Zhang, Xiaojuan Qi, Hao Zhao, Mu Yang, Wenjun Zeng, Xin Jin

Shanghai Jiao Tong University, Ningbo Institute of Digital Twin, Eastern Institute of Technology, China, Tsinghua University, MEGVII Technology, Fudan University, University of Hong Kong

世界模型3D/4D建模视频生成占用预测自动驾驶

UniScene针对自动驾驶生成数据常局限于单一模态、且从粗布局直接生成视频或点云难以建模复杂几何与外观的问题,提出以语义占用为中间“元表示”的分层生成框架:先由可控BEV布局生成时序3D占用,再通过Gaussian联合渲染生成多视角视频、用占用先验稀疏建模生成LiDAR。实验显示其在占用、视频和LiDAR生成上优于既有方法,并能提升占用预测、3D检测和BEV分割等下游任务。

Towards Generating Realistic 3D Semantic Training Data for Autonomous Driving Figure 1
TPAMI 20262026

Towards Generating Realistic 3D Semantic Training Data for Autonomous Driving

Lucas Nunes, Rodrigo Marcuzzi, Jens Behley, Cyrill Stachniss

世界模型3D/4D建模激光雷达生成自动驾驶

面向自动驾驶3D语义分割标注昂贵、仿真数据存在域差的问题,本文用DDPM直接在目标分辨率的3D语义场景上生成数据,避免投影表示和多模型粗到细流程带来的信息损失。实验显示其生成场景比既有方法更接近真实分布,并且与真实标注联合训练可提升语义分割性能;但动态小类移除和类别不均衡仍限制生成质量。

SuperPC: A Single Diffusion Model for Point Cloud Completion, Upsampling, Denoising, and Colorization Figure 1
CVPR 20252025

SuperPC: A Single Diffusion Model for Point Cloud Completion, Upsampling, Denoising, and Colorization

Yi Du, Zhipeng Zhao, Shaoshu Su, Sharath Golluri, Haoze Zheng, Runmao Yao, Chen Wang

Spatial AI & Robotics (SAIR) Lab, University at Buffalo

世界模型3D/4D建模激光雷达生成

点云在自动驾驶和三维重建中常同时存在缺失、稀疏、噪声和无颜色,串联单任务模型易累积误差且成本高。SuperPC将四类处理统一为一个扩散生成问题,用原始、局部、全局三层条件和图像-点云空间混合融合来共享几何与纹理信息。实验显示其在补全、上采样、去噪、着色及组合任务上超过专用模型组合,并在场景级与跨域基准上具备更好效率和泛化。

SubjectDrive: Scaling Generative Data in Autonomous Driving via Subject Control Figure 1
AAAI 20252025

SubjectDrive: Scaling Generative Data in Autonomous Driving via Subject Control

Binyuan Huang, Yuqing Wen, Yucheng Zhao, Yaosi Hu, Yingfei Liu, Fan Jia, Weixin Mao, Tiancai Wang, Chi Zhang, Chang Wen Chen, Zhenzhong Chen, Xiangyu Zhang

世界模型3D/4D建模视频生成自动驾驶规划控制

面向自动驾驶 BEV 感知对大规模标注数据的依赖,论文指出现有视频生成数据在扩大规模时因前景主体外观多样性不足甚至会带来性能下降。SubjectDrive 引入主体控制,将外部主体外观注入扩散视频生成,并结合 Subject Prompt/Visual Adapter 与增强时序注意力提升多样性和一致性。在 nuScenes 上,其合成数据随规模增长更有效,并首次使下游感知预训练效果超过使用大规模真实 nuImages 数据的方案。

STAGE: A Stream-Centric Generative World Model for Long-Horizon Driving-Scene Simulation Figure 1
IROS 20252025

STAGE: A Stream-Centric Generative World Model for Long-Horizon Driving-Scene Simulation

Jiamin Wang, Yichen Yao, Xiang Feng, Hang Wu, Yaming Wang, Qingqiu Huang, Yuexin Ma, Xinge Zhu

世界模型3D/4D建模视频生成自动驾驶仿真

面向自动驾驶长时域仿真中视频质量随自回归推理累积退化、跨帧特征不对齐的问题,STAGE采用逐帧流式生成,并提出HTFT在时间过程与去噪过程间分层传递特征,配合三阶段训练模拟自生成输入以减小训练/推理偏差。在NuScenes上其长视频生成优于已有方法,并展示可稳定生成600帧驾驶场景。

SPIRAL: Semantic-Aware Progressive LiDAR Scene Generation and Understanding Figure 1
NeurIPS 20252025

SPIRAL: Semantic-Aware Progressive LiDAR Scene Generation and Understanding

Dekai Zhu, Yixuan Hu, Youquan Liu, Dongyue Lu, Lingdong Kong, Slobodan Ilic

世界模型3D/4D建模激光雷达生成

针对range-view激光雷达生成高效但缺少语义、后接分割又易造成几何-语义不一致的问题,SPIRAL将深度、反射强度与语义图放入同一扩散过程,并用逐步语义预测与置信闭环反馈指导去噪,同时提出语义感知评测指标。SemanticKITTI和nuScenes实验显示其以较小参数量达到SOTA,并可用生成数据增强分割训练、降低标注需求。

RadarGen: Automotive Radar Point Cloud Generation from Cameras Figure 1
arXiv preprint 20252025

RadarGen: Automotive Radar Point Cloud Generation from Cameras

Tomer Borreda, Fangqiang Ding, Sanja Fidler, Shengyu Huang, Or Litany

MIT, NVIDIA, University of Toronto, Vector Institute

世界模型3D/4D建模激光雷达生成

自动驾驶生成式仿真多停留在相机/LiDAR,难以覆盖稀疏、随机且含 RCS/Doppler 的毫米波雷达。RadarGen 将雷达点云转成图像式 BEV 潜空间,用扩散模型从多视角相机生成雷达图,并引入基础模型提取的深度、语义、运动 BEV 先验,再恢复稀疏点云。大规模驾驶数据实验显示其在几何、属性和分布指标上优于基线,并能缩小真实数据训练感知模型的域差距。

PerLDiff: Controllable Street View Synthesis Using Perspective-Layout Diffusion Models Figure 1
ICCV 20252025

PerLDiff: Controllable Street View Synthesis Using Perspective-Layout Diffusion Models

Jinhua Zhang

世界模型3D/4D建模视频生成自动驾驶规划控制

面向自动驾驶数据合成中3D标注昂贵且现有扩散控制难以精确对齐几何布局的问题,PerLDiff将3D标注渲染为透视布局掩码,并在Stable Diffusion中加入PerL控制模块,用几何先验约束跨注意力以实现对象级街景生成控制。在NuScenes与KITTI上,合成图像用于3D检测和BEV分割评测时优于BEVControl、MagicDrive等基线,显示更好的可控性与下游感知有效性。

OLiDM: Object-Aware LiDAR Diffusion Models for Autonomous Driving Figure 1
AAAI 20252025

OLiDM: Object-Aware LiDAR Diffusion Models for Autonomous Driving

Tianyi Yan, Junbo Yin, Xianpeng Lang, Ruigang Yang, Cheng-Zhong Xu, Jianbing Shen

世界模型3D/4D建模激光雷达生成自动驾驶

针对现有 LiDAR 生成方法偏重整场景、前景目标质量低且难以控制的问题,OLiDM 将生成过程拆为“先目标、再场景”,用文本与几何条件生成可控前景,并通过语义子空间对齐缓解前景与背景错配。实验显示其在 KITTI-360 上较 UltraLiDAR 降低 FPD 17.5,稀疏到稠密补全语义 IoU 提升 57.47%,并使 3D 检测 mAP/NDS 分别提升 2.4%/1.9%。

NoiseController: Towards Consistent Multi-View Video Generation via Noise Decomposition and Collaboration Figure 1
ICCV 20252025

NoiseController: Towards Consistent Multi-View Video Generation via Noise Decomposition and Collaboration

Haotian Dong, Xin Wang, Di Lin, Yipeng Wu, Qin Chen, Ruonan Liu, Kairui Yang, Ping Li, Qing Guo

Tianjin University The Hong Kong Polytechnic University Shanghai Jiao Tong University National University of Singapore

世界模型3D/4D建模视频生成多视角生成规划控制

面向多视角视频生成中跨视角与跨时间一致性不足、仅靠注意力或粗粒度改噪声难以兼顾可控性和多样性的问题,NoiseController从初始噪声入手,将其分解为前景/背景及共享/残差层级,并用跨视角时空协作与视内历史影响矩阵联合建模,再以双U-Net分别去噪。实验显示其在公开视频生成基准达到SOTA,并可提升下游目标检测和BEV分割表现。

MagicDrive-V2: High-Resolution Long Video Generation for Autonomous Driving with Adaptive Control Figure 1
ICCV 20252025

MagicDrive-V2: High-Resolution Long Video Generation for Autonomous Driving with Adaptive Control

Ruiyuan Gao, Kai Chen, Bo Xiao, Lanqing Hong, Zhenguo Li, Qiang Xu

HKUST, Huawei Cloud, Huawei Noah’s Ark Lab

世界模型3D/4D建模视频生成自动驾驶规划控制

自动驾驶数据引擎需要可控的高分辨率长时多视角视频,但DiT+3D VAE的时空压缩破坏了逐帧几何条件对齐。MagicDrive-V2通过MVDiT、多视角时空条件编码、视频上下文描述与混合长度/分辨率渐进训练,统一文本、道路语义、3D框和相机轨迹控制;实验显示其可生成最高848×1600×6、241帧视频,相比既有方法显著提升分辨率与帧数。

LidarDM: Generative LiDAR Simulation in a Generated World Figure 1
ICRA 20252025

LidarDM: Generative LiDAR Simulation in a Generated World

Vlas Zyrianov, Henry Che, Zhijian Liu, Shenlong Wang

NVIDIA

世界模型3D/4D建模激光雷达生成仿真

面向自动驾驶中可控、时序一致的 LiDAR 仿真数据稀缺问题,LidarDM 不再依赖人工或重建资产,而是先由语义 BEV 布局生成静态 3D 场景,并组合动态参与者形成 4D 世界,再通过随机光线投射生成 LiDAR 序列。实验显示其在真实感、布局一致性和时间连贯性上优于基线,生成数据还可用于感知模型测试与训练增强。

LiDPM: Rethinking Point Diffusion for Lidar Scene Completion Figure 1
IV 20252025

LiDPM: Rethinking Point Diffusion for Lidar Scene Completion

Tetiana Martyniuk, Gilles Puy, Alexandre Boulch, Renaud Marlet, Raoul de Charette

世界模型3D/4D建模激光雷达生成

LiDPM关注自动驾驶激光雷达单帧稀疏、遮挡导致的场景补全问题,动机是避免体素/表面表示的分辨率限制,并提升跨传感器重采样与数据生成能力。论文指出LiDiff式局部扩散含不必要近似,改用带合适起点与条件输入的原始DDPM做全局点扩散,并将骨干扩展到大规模点云;在SemanticKITTI场景补全上优于局部扩散基线。

LiDAR-EDIT: LiDAR Data Generation by Editing the Object Layouts in Real-World Scenes Figure 1
ICRA 20252025

LiDAR-EDIT: LiDAR Data Generation by Editing the Object Layouts in Real-World Scenes

Shing-Hei Ho, Bao Thach, Minghan Zhu

University of Utah, Salt Lake City, UT 84112, USA, University of Michigan, Ann Arbor, MI 48109, USA, University of Pennsylvania, Philadelphia, PA 19104, USA

世界模型3D/4D建模激光雷达生成

面向自动驾驶中真实长尾数据难采、纯仿真有域差且端到端生成难精确控制的问题,LiDAR-EDIT提出在真实LiDAR扫描上编辑前景物体布局:保留背景,移除/插入指定类别、数量与位姿的物体,并用球面体素化约束雷达投影几何、生成模型补全遮挡区域。实验显示其生成扫描更具真实感,并能为下游任务提供可用标签和实际训练/测试价值。

HERMES: A Unified Self-Driving World Model for Simultaneous 3D Scene Understanding and Generation Figure 1
ICCV 20252025

HERMES: A Unified Self-Driving World Model for Simultaneous 3D Scene Understanding and Generation

Xin Zhou, Dingkang Liang, Sifan Tu, Xiwu Chen, Yikang Ding, Dingyuan Zhang, Feiyang Tan, Hengshuang Zhao

Huazhong University of Science and Technology, MEGVII Technology, The University of Hong Kong

世界模型3D/4D建模激光雷达生成自动驾驶规划控制

HERMES针对现有自动驾驶世界模型只预测未来、缺少场景理解,而驾驶VLM又缺少演化预测的问题,尝试把二者统一到一个框架中。方法以BEV压缩多视角空间信息,并引入world queries通过LLM因果注意力把文本世界知识注入BEV特征,用于同时做3D理解与未来点云生成。在nuScenes和OmniDrive-nuScenes上,生成误差较SOTA降低32.4%,CIDEr提升8.0%。

Glad: A Streaming Scene Generator for Autonomous Driving Figure 1
ICLR 20252025

Glad: A Streaming Scene Generator for Autonomous Driving

Bin Xie, Yingfei Liu, Tiancai Wang, Jiale Cao, Xiangyu Zhang

Tianjin University, MEGVII Technology, StepFun

世界模型3D/4D建模视频生成自动驾驶

面向自动驾驶数据采集昂贵、长尾场景不足以及现有 NeRF/扩散方法难以处理未见街景或长视频的问题,Glad 将 Stable Diffusion 改为逐帧流式生成,并用上一帧潜变量作为当前帧噪声先验以维持时序一致性,配合流式采样训练。nuScenes 实验显示其可生成较高质量的任意长度驾驶视频,并能提升感知、跟踪与高精地图构建任务表现。

Fast LiDAR Data Generation with Rectified Flows Figure 1
ICRA 20252025

Fast LiDAR Data Generation with Rectified Flows

Kazuto Nakashima, Xiaowen Liu, Tomoya Miyawaki, Yumi Iwashita, Ryo Kurazume

世界模型3D/4D建模激光雷达生成自动驾驶仿真

针对扩散式 LiDAR 生成需要大量采样步、难以满足机器人实时与能耗约束的问题,论文提出 R2Flow,用 rectified flow 的确定性直线轨迹替代随机弯曲扩散轨迹,并配合轻量 ViT 处理距离与反射强度图像。在 KITTI-360 无条件生成实验中,方法在少步和多步采样下均优于已有 LiDAR 生成模型,同时降低计算成本和模型规模。

DualDiff: Dual-Branch Diffusion Model for Autonomous Driving with Semantic Fusion Figure 1
ICRA 20252025

DualDiff: Dual-Branch Diffusion Model for Autonomous Driving with Semantic Fusion

Haoteng Li, Zhao Yang, Zezhong Qian, Gongpeng Zhao, Yuqi Huang, Jun Yu, Huazheng Zhou, Longjun Liu

世界模型3D/4D建模视频生成自动驾驶

DualDiff针对自动驾驶场景生成中仅用3D框和二值地图导致控制信息贫乏、跨模态融合弱及小目标细节差的问题,提出前景/背景双分支扩散框架,以ORS占据射线采样结合向量化地图等数值场景表示,并用SFA对齐融合多模态语义,FGM损失强化远处小目标。实验显示其在FID上达到SOTA,并提升下游BEV分割和3D检测表现。

DualDiff+: Dual-Branch Diffusion for High-Fidelity Video Generation with Reward Guidance Figure 1
arXiv preprint 20252025

DualDiff+: Dual-Branch Diffusion for High-Fidelity Video Generation with Reward Guidance

Zhao Yang, Zezhong Qian, Xiaofan Li, Weixiang Xu, Gongpeng Zhao, Ruohong Yu, Lingsi Zhu, Longjun Liu

世界模型3D/4D建模视频生成

面向自动驾驶合成数据,论文针对仅用3D框和BEV地图难以表达复杂场景、视频一致性不足的问题,提出双分支条件扩散:以ORS引入占据射线的语义与几何控制,用FGM强化远距细粒度前景,结合SFA自适应融合多模态条件,并用RGD奖励引导提升视频全局一致性。NuScenes上相较最佳基线FID降4.09%,下游BEV分割车辆/道路mIoU分别升4.50%/1.70%,3D检测前景mAP升1.46%。

DriveX: Omni Scene Modeling for Learning Generalizable World Knowledge in Autonomous Driving Figure 1
ICCV 20252025

DriveX: Omni Scene Modeling for Learning Generalizable World Knowledge in Autonomous Driving

Shaoshuai Shi, Kehua Sheng, Bo Zhang, Li Jiang

The Chinese University of Hong Kong, Shenzhen, Voyager Research, Didi Chuxing

世界模型3D/4D建模激光雷达生成自动驾驶规划控制

DriveX针对自动驾驶中任务专用模型依赖标注、泛化到长尾场景不足的问题,将世界模型置于可复用的BEV潜空间中学习。其核心是Omni Scene Modeling,用点云预测、2D语义与图像生成进行自监督多模态约束,并通过解耦的表征学习/未来解码、动态感知采样和FSA将预测特征接入下游任务。实验显示其在3秒未来点云预测上Chamfer Distance相对降低约6%,并提升占用预测、流估计和端到端驾驶表现。

DriveScape: Towards High-Resolution Controllable Multi-View Driving Video Generation Figure 1
CVPR 20252025

DriveScape: Towards High-Resolution Controllable Multi-View Driving Video Generation

Wei Wu, Xi Guo, Weixuan Tang, Tingxuan Huang, Chiyu Wang, Dongyue Chen, Chenjing Ding

Tsinghua University, Sensetime Research, Northeastern University

世界模型3D/4D建模视频生成自动驾驶多视角生成

面向自动驾驶数据获取与标注成本高、多视角生成难以兼顾3D控制和时空一致性的问题,DriveScape提出端到端的3D条件引导视频生成框架,用统一模型结合BEV、3D框、自车状态等条件,并通过双向调制/条件对齐模块支持稀疏标注下的细粒度控制,可生成1024×576、10Hz多视角视频;在nuScenes上取得FID 8.34、FVD 76.39,并在感知相关评测中优于既有方法。

DriveDreamer-2: LLM-Enhanced World Models for Diverse Driving Video Generation Figure 1
AAAI 20252025

DriveDreamer-2: LLM-Enhanced World Models for Diverse Driving Video Generation

Guosheng Zhao, Xiaofeng Wang, Zheng Zhu, Xinze Chen, Guan Huang, Xiaoyi Bao, Xingang Wang

Institute of Automation, Chinese Academy of Sciences

世界模型3D/4D建模视频生成自动驾驶

针对现有自动驾驶世界模型依赖3D框、HDMap等结构化条件、交互性和长尾场景多样性不足的问题,DriveDreamer-2用微调LLM把文本需求转为车辆轨迹,再以扩散式HDMap生成器补全道路结构,并通过UniMVM提升多视角时空一致性。实验显示其可生成切入等罕见场景,FID/FVD达11.2/55.7,较强基线约提升30%/50%,合成数据还使3D检测和跟踪相对提升约4%和8%。

Diffusion Distillation With Direct Preference Optimization For Efficient 3D LiDAR Scene Completion Figure 1
AAAI 20262026

Diffusion Distillation With Direct Preference Optimization For Efficient 3D LiDAR Scene Completion

An Zhao, Shengyuan Zhang, Ling Yang, Zejian Li, Jiale Wu, Haoran Xu, AnYang Wei, Perry Pengyun GU, Lingyun Sun

Zhejiang University Peking University Zhejiang Green Zhixing Technology co., ltd

世界模型3D/4D建模激光雷达生成

面向3D LiDAR场景补全中扩散模型采样慢、普通分数蒸馏又易降质的问题,论文提出Distillation-DPO:让学生模型用不同噪声生成成对结果,并以IoU、EMD等非可微评测指标构造偏好对,再结合师生模型score差异进行偏好对齐蒸馏。实验显示其相较现有LiDAR补全扩散模型在质量上更优,同时推理速度提升超过5倍。

DiffSSC: Semantic LiDAR Scan Completion using Denoising Diffusion Probabilistic Models Figure 1
IROS 20252025

DiffSSC: Semantic LiDAR Scan Completion using Denoising Diffusion Probabilistic Models

Helin Cao, Sven Behnke

世界模型3D/4D建模激光雷达生成

针对车载 LiDAR 点云稀疏、遮挡区域缺失且缺少语义导致下游理解不完整的问题,DiffSSC 将 DDPM 引入语义场景补全,在点空间与语义空间分别建模加噪/去噪过程,并以语义 LiDAR 点云作条件、用局部和全局正则稳定生成;方法直接处理点云以减少体素化误差和内存开销,在自动驾驶数据集上取得 SSC 任务的最新水平,超过多数既有方法。

DINO-Foresight: Looking into the Future with DINO Figure 1
NeurIPS 20252025

DINO-Foresight: Looking into the Future with DINO

Efstathios Karypidis, Ioannis Kakogeorgiou, Spyros Gidaris, Nikos Komodakis

National Technical University of Athens University of Crete IACM-Forth

世界模型3D/4D建模视频生成

面向自动驾驶和机器人中的未来场景理解,论文指出像素级视频预测既昂贵又易浪费容量在外观细节上。DINO-Foresight 将 DINO 等视觉基础模型特征当作语义潜空间,用自监督 masked feature transformer 预测其时间演化,再接入现成任务头。实验显示单一模型可支持未来语义/实例分割、深度和法线预测,具备较好的鲁棒性与扩展性。

Cosmos-Transfer1: Conditional World Generation with Adaptive Multimodal Control Figure 1
arXiv preprint 20252025

Cosmos-Transfer1: Conditional World Generation with Adaptive Multimodal Control

作者信息待提取

NVIDIA

世界模型3D/4D建模视频生成规划控制

针对仿真到真实的域差及机器人/自动驾驶对可控视频世界模型的需求,Cosmos-Transfer1在Cosmos-Predict1上为分割、深度、边缘等模态加入独立DiT-ControlNet分支,并用时空权重图按位置和时间自适应融合条件。实验显示其能更好保留场景结构并支持细粒度控制,可用于机器人Sim2Real和自动驾驶数据扩增;在GB200 NVL72上还展示了实时生成吞吐。

CoGen: 3D Consistent Video Generation via Adaptive Conditioning for Autonomous Driving Figure 1
arXiv preprint 20252025

CoGen: 3D Consistent Video Generation via Adaptive Conditioning for Autonomous Driving

Yishen Ji, Ziyue Zhu, Zhenxin Zhu, Kaixin Xiong, Ming Lu, Zhiqi Li, Lijun Zhou, Haiyang Sun, Bing Wang, Tong Lu

Nanjing University Xiaomi EV Nankai University Peking University

世界模型3D/4D建模视频生成自动驾驶

面向自动驾驶数据合成,CoGen针对现有HD地图、框等2D条件难以保证多视角视频3D一致性的问题,引入先生成时序3D语义再投影为语义、深度、坐标和MPI等细粒度条件的流程,并用轻量Consistency Adapter融合多条件、增强跨帧连贯性。nuScenes实验显示其在FVD等指标和视觉几何保真度上达到SOTA,但具体增益在多种3D条件间的归因仍需更多消融支撑。

DynamicCity: Large-Scale 4D Occupancy Generation from Dynamic Scenes Figure 1
ICLR 20252025

DynamicCity: Large-Scale 4D Occupancy Generation from Dynamic Scenes

Hengwei Bian, Lingdong Kong, Haozhe Xie, Liang Pan, Yu Qiao, Ziwei Liu

世界模型3D/4D建模占用预测仿真数字孪生

DynamicCity针对现有城市生成多停留在静态单帧、难以刻画自动驾驶长时动态场景的问题,将4D占用压缩为HexPlane,并用带Projection Module与Expansion & Squeeze的VAE提升拟合效率,再通过Padded Rollout适配DiT扩散生成。其在CarlaSC和Waymo上优于已有4D占用生成方法,并报告最高12.56 mIoU拟合增益、2.06倍训练加速和70.84%显存降低。

InfiniCube: Unbounded and Controllable Dynamic 3D Driving Scene Generation with World-Guided Video Models Figure 1
ICCV 20252025

InfiniCube: Unbounded and Controllable Dynamic 3D Driving Scene Generation with World-Guided Video Models

Yifan Lu, Xuanchi Ren, Jiawei Yang, Tianchang Shen, Zhangjie Wu, Jun Gao, Yue Wang, Siheng Chen, Mike Chen, Sanja Fidler, Jiahui Huang

NVIDIA, Shanghai Jiao Tong University, University of Toronto, Vector Institute, University of Southern California

世界模型3D/4D建模视频生成占用预测自动驾驶

面向自动驾驶仿真,现有3D生成缺少细节外观,视频生成又缺少真实3D一致性和长距离可用性。InfiniCube将HD地图、车辆框和文本条件下的体素扩散外延生成,与由体素渲染的guidance buffers约束视频扩散结合,再用双分支前馈重建提升为动态3DGS。实验显示其可生成约10万平方米场景,把高质量视频从25帧扩展到200帧,并支持可控动态车辆与自由驾驶渲染。

Generating Multimodal Driving Scenes via Next-Scene Prediction Figure 1
CVPR 20252025

Generating Multimodal Driving Scenes via Next-Scene Prediction

Yanhao Wu, Haoyang Zhang, Tianwei Lin, Lichao Huang, Shujie Luo, Rui Wu, Congpei Qiu, Wei Ke, Tong Zhang

School of Software Engineering, XJTU, School of Computer and Communication Sciences, EPFL, University of Chinese Academy of Sciences

世界模型3D/4D建模视频生成自动驾驶仿真

面向自动驾驶闭环测试,现有生成方法多只覆盖少数模态,难以同时控制地图、车流与视觉演化。UMGen将自车动作、交通参与者、地图和图像统一离散化,并用TAR/OAR分解时序与帧内自回归,配合AMA保持动作与地图一致。实验显示其可生成最长约60秒的多模态一致场景,并支持如cut-in等用户指定情形。

DrivingSphere: Building A High-Fidelity 4D World for Closed-Loop Simulation Figure 1
CVPR 20252025

DrivingSphere: Building A High-Fidelity 4D World for Closed-Loop Simulation

Tianyi Yan, Dongming Wu, Wencheng Han, Junpeng Jiang, Xia Zhou, Kun Zhan, Cheng-zhong Xu, Jianbing Shen

SKL-IOTSC, Computer and Information Science, University of Macau, School of Computer Science, Beijing Institute of Technology

世界模型3D/4D建模视频生成占用预测自动驾驶

面向自动驾驶评测中开环数据缺少反馈、传统闭环仿真又难接入真实视觉输入的问题,DrivingSphere 用占用式 4D 世界统一建模城市静态背景、动态交通体及其时空位置,并通过几何条件与 ID 感知的视频合成生成多视角连续画面,形成可与端到端驾驶智能体交互的闭环平台。实验显示其在视觉保真度、时序一致性及开闭环评测上优于已有模拟器,但具体收益与模块贡献的拆分仍需结合完整消融判断。

DriveArena: A Closed-Loop Generative Simulation Platform for Autonomous Driving Figure 1
ICCV 20252025

DriveArena: A Closed-Loop Generative Simulation Platform for Autonomous Driving

Xuemeng Yang, Licheng Wen, Yukai Ma, Jianbiao Mei, Xin Li, Tiantian Wei, Wenjie Lei, Daocheng Fu, Pinlong Cai, Min Dou, Botian Shi, Liang He, Yong Liu, Yu Qiao

Shanghai Artificial Intelligence Laboratory, Zhejiang University, Shanghai Jiao Tong University, Technical University of Munich, East China Normal University

世界模型3D/4D建模视频生成自动驾驶仿真

针对自动驾驶开放环数据难以暴露累积误差、他车无法响应且传统仿真存在真实感差距的问题,DriveArena将显式交通流管理器与可条件控制、无限自回归的生成式World Dreamer耦合,形成相机输入智能体可直接接入的闭环仿真。其主要结果是能在任意OSM路网中生成交互交通与逼真环视图像,用于评测和训练视觉驾驶智能体;但具体相对增益和效率代价文中未充分说明。

DiST-4D: Disentangled Spatiotemporal Diffusion with Metric Depth for 4D Driving Scene Generation Figure 1
ICCV 20252025

DiST-4D: Disentangled Spatiotemporal Diffusion with Metric Depth for 4D Driving Scene Generation

Xiaoyang Lyu Feiyang Tan Xiaojuan Qi, Zhiheng Li Hao Zhao, THU MEGVII Mach Drive SJTU HKU

世界模型3D/4D建模视频生成自动驾驶仿真

DiST-4D面向自动驾驶生成中难以同时支持未来时序外推与任意视角合成、且避免逐场景优化的问题,核心洞察是用逐帧度量深度作为连接时间预测和空间NVS的几何表示,并将扩散模型解耦为预测未来RGB-D序列的DiST-T与带自监督循环一致性的DiST-S。实验显示其在时序预测和新视角合成上达到SOTA,并在规划相关评测中保持竞争力。

Decoupled Diffusion Sparks Adaptive Scene Generation Figure 1
ICCV 20252025

Decoupled Diffusion Sparks Adaptive Scene Generation

Yunsong Zhou, Naisheng Ye, William Ljungbergh, Tianyu Li, Jiazhi Yang, Zetong Yang, Hongzi Zhu, Christoffer Petersson, Hongyang Li

Shanghai Jiao Tong University Zhejiang University, Zenseact GAC R&D Center

世界模型3D/4D建模视频生成仿真

面向自动驾驶长尾场景稀缺与仿真需同时具备实时反应、目标可控的问题,论文提出 Nexus,将扩散生成拆成带独立噪声状态的细粒度 token,并用部分噪声遮罩训练与噪声感知调度,在保留目标引导的同时按需更新场景;还构建 540 小时高风险 Nexus-Data。实验显示位移误差降低约 40%,合成数据使闭环规划提升约 20%,但部分增益可能来自数据规模与难例覆盖。

Cosmos-Drive-Dreams: Scalable Synthetic Driving Data Generation with World Foundation Models Figure 1
arXiv preprint 20252025

Cosmos-Drive-Dreams: Scalable Synthetic Driving Data Generation with World Foundation Models

作者信息待提取

NVIDIA

世界模型3D/4D建模视频生成自动驾驶仿真

面向自动驾驶长尾与安全关键场景难以采集、标注昂贵的问题,论文提出 Cosmos-Drive-Dreams,用经驾驶数据后训练的 Cosmos 世界基础模型生成可控、高保真、时序一致的多视角视频与 LiDAR,并通过提示改写和 VLM 过滤形成合成数据闭环。实验显示,这些数据可提升 3D 车道检测、3D 目标检测和驾驶策略学习,尤其改善挑战场景泛化;但增益可能主要来自大规模模型与数据扩增。

Challenger: Affordable Adversarial Driving Video Generation Figure 1
arXiv preprint 20252025

Challenger: Affordable Adversarial Driving Video Generation

Zhiyuan Xu, Bohan Li, Huan-ang Gao, Mingju Gao, Yong Chen, Ming Liu, Chenxu Yan, Hang Zhao, Shuo Feng, Hao Zhao

AIR, Tsinghua UCAS SJTU, EIT, Ningbo Geely Auto IIIS, Tsinghua DA, Tsinghua

世界模型3D/4D建模视频生成自动驾驶仿真

针对自动驾驶评测缺少真实传感器级对抗场景的问题,Challenger 将扩散式轨迹生成、物理约束的多轮轨迹筛选和多视角神经渲染结合,用可渲染的评分函数在真实 nuScenes 场景中生成加塞、跟车、盲区侵入等攻击性视频。实验显示这些视频显著提高 UniAD、VAD、SparseDrive、DiffusionDrive 的碰撞率,且部分对抗行为可跨模型迁移。

WorldExplorer: Towards Generating Fully Navigable 3D Scenes Figure 1
SIGGRAPH Asia 20252025

WorldExplorer: Towards Generating Fully Navigable 3D Scenes

Manuel-Andreas Schneider, Lukas Höllein, Matthias Nießner

Technical University of Munich

世界模型3D/4D建模视频生成游戏与XR

针对现有文本生成3D场景只能在中心或全景附近浏览、远距离运动易出现拉伸和噪声的问题,WorldExplorer用360°全景作脚手架,再通过相机轨迹引导的视频扩散自回归扩展场景,并以场景记忆和碰撞检测维持一致性,最终融合为3D Gaussian Splatting。结果显示其在大幅相机运动下仍能保持较稳定画质,支持更自由的实时探索。

Text2World: Benchmarking Large Language Models for Symbolic World Model Generation Figure 1
Findings of ACL 20252025

Text2World: Benchmarking Large Language Models for Symbolic World Model Generation

Mengkang Hu, Tianxing Chen, Yude Zou, Yuheng Lei, Qiguang Chen, Ming Li, Yao Mu, Hongyuan Zhang, Wenqi Shao, Ping Luo

The University of Hong Kong ♣, Shenzhen University, Harbin Institute of Technology ♢, Shanghai AI Laboratory

世界模型3D/4D建模视频生成评测基准游戏与XR

针对以往LLM生成符号世界模型评测领域少、依赖LLM打分且多用间接规划成功率的问题,Text2World构建了基于PDDL的数百个多样领域,并用结构相似度与组件级、执行式指标直接评估动作前提和效果等要素。对16个LLM的测试显示,强化学习训练的推理模型更强,但最佳模型仍明显受限;错误修正、测试时扩展、微调和轨迹数据训练可带来提升,部分增益可能主要来自scaling / data。

MGVQ: Could VQ-VAE Beat VAE? A Generalizable Tokenizer with Multi-Group Quantization Figure 1
arXiv preprint 20252025

MGVQ: Could VQ-VAE Beat VAE? A Generalizable Tokenizer with Multi-Group Quantization

Mingkai Jia, Wei Yin, Xiaotao Hu, Jiaxin Guo, Xiaoyang Guo, Qian Zhang, Xiao-Xiao Long, Ping Tan

The Hong Kong University of Science and Technology Horizon Robotics, The Chinese University of Hong Kong Nanjing University

世界模型3D/4D建模视频生成游戏与XR

针对 VQ-VAE 离散码本容量受限、盲目增大码本易塌缩且降维会丢失重建信息的问题,MGVQ 保留潜在维度,将 latent 拆成多组子 token 并分别量化到子码本,配合嵌套 mask 训练以扩大组合表示空间。在 ImageNet 256p 与 512p/2k 零样本高清基准上,其重建质量达到 VQ-VAE 系列 SOTA,并以 rFID 0.49 优于 SD-VAE 的 0.91。

HunyuanWorld 1.0: Generating Immersive, Explorable, and Interactive 3D Worlds from Words or Pixels Figure 1
arXiv preprint 20252025

HunyuanWorld 1.0: Generating Immersive, Explorable, and Interactive 3D Worlds from Words or Pixels

作者信息待提取

Tencent Hunyuan

世界模型3D/4D建模视频生成游戏与XR

面向文本或图像到可游玩3D世界的生成难题,HunyuanWorld 1.0试图弥合视频方法缺乏3D一致性、3D方法数据稀缺且交互性弱的矛盾。其核心是以360°全景图作世界代理,结合语义分层的3D网格重建与对象解耦表示,并支持mesh导出和长程探索。实验显示其在一致、可探索、可交互世界生成上优于现有方法,适用于VR、游戏、物理仿真等流程。

Hunyuan-GameCraft: High-dynamic Interactive Game Video Generation with Hybrid History Condition Figure 1
arXiv preprint 20252025

Hunyuan-GameCraft: High-dynamic Interactive Game Video Generation with Hybrid History Condition

Jiaqi Li

Tencent Hunyuan Huazhong University of Science and Technology

世界模型3D/4D建模视频生成游戏与XR

面向现有可控视频模型在游戏场景中动态幅度、长程一致性与推理效率不足的问题,Hunyuan-GameCraft 将键鼠离散输入统一到连续相机表示,并用混合历史条件自回归延展视频、配合蒸馏加速。模型依赖百万级、百余款 AAA 游戏数据及合成标注微调,实验显示在真实感、动作可控性和可玩性上优于现有方法,但部分增益可能主要来自 scaling / data。

FlexWorld: Progressively Expanding 3D Scenes for Flexiable-View Synthesis Figure 1
arXiv preprint 20252025

FlexWorld: Progressively Expanding 3D Scenes for Flexiable-View Synthesis

Luxi Chen, Zihan Zhou, Min Zhao, Yikai Wang, Ge Zhang, Wenhao Huang, Hao Sun, Ji-Rong Wen, Chongxuan Li

世界模型3D/4D建模视频生成游戏与XR

单图生成可自由旋转、缩放的3D场景受遮挡内容缺失和大视角外推不确定性限制。FlexWorld将微调的视频到视频扩散模型与渐进式场景扩展结合,从粗场景渲染的不完整视图补全新视角,再通过几何感知融合并入全局3D表示。实验显示其在多基准的新视角视频和3D场景生成上优于现有方法,尤其改善大相机位姿变化下的画质与可控性。

EvoWorld: Evolving Panoramic World Generation with Explicit 3D Memory Figure 1
arXiv preprint 20252025

EvoWorld: Evolving Panoramic World Generation with Explicit 3D Memory

Jiahao Wang, Luoxin Ye, TaiMing Lu, Junfei Xiao, Jiahan Zhang, Yuxiang Guo, Xijun Liu, Rama Chellappa, Cheng Peng, Alan Yuille, Jieneng Chen

Johns Hopkins University

世界模型3D/4D建模视频生成游戏与XR

针对长时域全景视频生成在回到已访问位置时容易几何漂移、场景前后不一致的问题,EvoWorld在视频扩散生成中显式维护并更新3D点云记忆,用VGGT重建、重投影到目标视角作为空间条件,并用球面Plücker编码控制相机。在Spatial360及循环探索评测中,相比GenEx、ViewCrafter等方法提升FVD、LPIPS、MEt3R和相机重定位精度,显示更好的视觉质量与空间一致性。

BEHAVIOR Robot Suite: Streamlining Real-World Whole-Body Manipulation for Everyday Household Activities Figure 1
CoRL 20252025

BEHAVIOR Robot Suite: Streamlining Real-World Whole-Body Manipulation for Everyday Household Activities

Yunfan Jiang, Ruohan Zhang, Josiah Wong, Chen Wang, Yanjie Ze, Hang Yin, Cem Gokmen, Shuran Song, Jiajun Wu, Li Fei-Fei

Stanford University

世界模型3D/4D建模机器人

面向真实家庭任务中双手协作、精确移动和大范围可达性难以同时满足的问题,论文提出 BRS:结合带 4-DoF 躯干的轮式双臂平台、低成本 JoyLo 全身遥操作采集接口,以及用注意力和自回归动作解码建模全身协调的 WB-VIMA。五个真实家务任务中,WB-VIMA 子任务平均成功率 88%,完整任务最高 93%,显著优于 DP3、RGB-DP 和 ACT。

Perspective-Invariant 3D Object Detection Figure 1
ICCV 20252025

Perspective-Invariant 3D Object Detection

Ao Liang, Lingdong Kong, Dongyue Lu, Youquan Liu, Jian Fang, Huaici Zhao, Wei Tsang Ooi

世界模型3D/4D建模评测基准数据集

现有激光雷达3D检测几乎围绕车载平台,难以支撑无人机、四足等机器人视角和运动差异下的感知泛化。论文提出Pi3DET多平台数据集与基准,含5.15万帧、25万余3D框,并设计Pi3DET-Net,通过平台扰动、虚拟位姿投影和几何感知特征对齐实现跨平台适配。在车到无人机、车到四足任务上分别带来约+11.84%和+12.03% mAP增益。

Extrapolated Urban View Synthesis Benchmark Figure 1
ICCV 20252025

Extrapolated Urban View Synthesis Benchmark

Xiangyu Han, Zhen Jia, Boyi Li, Yan Wang, Boris Ivanovic, Yurong You, Lingjie Liu, Yue Wang, Marco Pavone, Chen Feng, Yiming Li

NVIDIA, USC, Stanford

世界模型3D/4D建模视频生成评测基准数据集

面向自动驾驶/城市机器人仿真的新视角合成,既有评测多停留在训练视角附近插值,难以衡量大位姿偏移下的泛化。EUVS利用nuPlan、Argoverse2和MARS的多次经过、多车、多相机构建90,810帧、345段视频基准,并按平移、旋转及二者组合划分外推评测。实验显示现有3DGS/NeRF方法明显过拟合训练视角,外推时PSNR、SSIM、LPIPS相对训练集约下降28%、22%、50%,加入扩散先验或改进几何仍未根本解决问题。

GaussianCity: Generative Gaussian Splatting for Unbounded 3D City Generation Figure 1
CVPR 20252025

GaussianCity: Generative Gaussian Splatting for Unbounded 3D City Generation

Haozhe Xie, Zhaoxi Chen, Fangzhou Hong, Ziwei Liu

S-Lab, Nanyang Technological University

世界模型3D/4D建模数字孪生场景重建

针对 NeRF 城市生成推理慢、直接把 3D Gaussian Splatting 扩展到 10km² 级无界城市会导致显存和存储爆炸的问题,GaussianCity 用紧凑的 BEV-Point 表示仅保留可见点,并将位置与风格属性解耦,再通过带 Point Serializer 的 BEV-Point Decoder 预测高斯属性。实验显示其在航拍和街景城市生成上优于现有方法,相比 CityDreamer 速度约提升 60 倍(10.72 FPS vs. 0.18 FPS)。

Unraveling the Effects of Synthetic Data on End-to-End Autonomous Driving Humanoid Robots Figure 1
arXiv preprint 20252025

Unraveling the Effects of Synthetic Data on End-to-End Autonomous Driving Humanoid Robots

Jiaqi Su, Yiming Li, Zhejun Zhang, Siheng Chen

Shanghai Jiao Tong University, New York University, ETH Zurich, Shanghai Artificial Intelligence Laboratory

世界模型3D/4D建模视频生成自动驾驶机器人

面向端到端自动驾驶对多样高质量数据的依赖,论文提出基于3D Gaussian Splatting的SceneCrafter,以真实地图驱动交互交通流,并结合自适应运动学、光照阴影与地面高度校正生成更逼真的闭环仿真数据。实验显示其可作为评测平台和数据生成器,加入合成数据后模型泛化提升,Route Completion提高约18%,但具体增益可能主要来自data scaling与交互场景覆盖。

Uni-Gaussians: Unifying Camera and Lidar Simulation with Gaussians for Dynamic Driving Scenarios Figure 1
arXiv preprint 20252025

Uni-Gaussians: Unifying Camera and Lidar Simulation with Gaussians for Dynamic Driving Scenarios

Zikang Yuan, Yuechuan Pu, Hongcheng Luo, Fengtian Lang, Cheng Chi, Teng Li, Yingying Shen, Haiyang Sun, Bing Wang, Xin Yang

世界模型3D/4D建模视频生成激光雷达生成自动驾驶

面向自动驾驶仿真中相机与激光雷达需统一建模但 NeRF 渲染慢、GS 光栅化难匹配 LiDAR 主动成像的问题,Uni-Gaussians 用统一高斯场景图表示动态道路场景,并按传感器特性分流:图像用光栅化、LiDAR 用高斯射线追踪,覆盖车辆、行人、骑行者等动态体。公开数据实验显示其相机/LiDAR 渲染质量达到或超过现有方法,同时保持较高效率。

StreetCrafter: Street View Synthesis with Controllable Video Diffusion Models Figure 1
CVPR 20252025

StreetCrafter: Street View Synthesis with Controllable Video Diffusion Models

Yunzhi Yan, Haotong Lin, Haian Jin, Haoyu Guo, Yida Wang, Kun Zhan, Xianpeng Lang, Hujun Bao, Xiaowei Zhou

Zhejiang University Li Auto Inc. Cornell University

世界模型3D/4D建模视频生成自动驾驶仿真

针对自动驾驶街景重建在偏离采集轨迹时易失真、难以用于可控仿真的问题,StreetCrafter将彩色 LiDAR 点云按目标相机渲染成像素级条件,引导视频扩散模型生成新视角,并可通过修改点云实现局部编辑;再将生成结果蒸馏到动态 3DGS 中以获得实时渲染。在 Waymo 和 PandaSet 上,该方法扩大了可用视角外推范围,图像质量优于现有方法。

SplatAD: Real-Time Lidar and Camera Rendering with 3D Gaussian Splatting for Autonomous Driving Figure 1
CVPR 20252025

SplatAD: Real-Time Lidar and Camera Rendering with 3D Gaussian Splatting for Autonomous Driving

Georg Hess, Carl Lindström, Maryam Fatemi, Christoffer Petersson, Lennart Svensson

Zenseact Chalmers University of Technology

世界模型3D/4D建模视频生成激光雷达生成自动驾驶

面向自动驾驶大规模仿真测试,SplatAD针对NeRF渲染慢、现有3DGS缺少激光雷达建模的问题,提出统一相机与LiDAR的3D Gaussian表示,并用球坐标稀疏点云CUDA光栅化、可学习传感器特征建模rolling shutter、强度和ray dropout。在三个自动驾驶数据集上取得SOTA,NVS最高提升约2 PSNR、重建约3 PSNR,速度较NeRF方法提升一个数量级。

SpaceTimePilot: Generative Rendering of Dynamic Scenes Across Space and Time Figure 1
arXiv preprint 20252025

SpaceTimePilot: Generative Rendering of Dynamic Scenes Across Space and Time

Zhening Huang, Hyeonho Jeong, Xuelin Chen, Yulia Gryaditskaya, Tuanfeng Y. Wang, Joan Lasenby, Chun-Hao Huang

University of Cambridge Adobe Research

世界模型3D/4D建模视频生成仿真场景重建

针对单目动态视频只能改视角、难以同时“重定时”的问题,SpaceTimePilot将相机轨迹与动画时间作为独立条件注入视频扩散模型,并用时间扭曲训练和Cam×Time合成数据弥补缺少成对时空监督的瓶颈。实验显示其在真实与合成场景中能更稳定地分离视角变化和运动进度,较改造基线取得更好的时空可控重渲染效果。

SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior Figure 1
WACV 20252025

SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior

Zhongrui Yu, Haoran Wang, Jinze Yang, Hanzhang Wang, Zeke Xie, Yunfeng Cai, Jiale Cao, Zhong Ji, Mingming Sun

世界模型3D/4D建模视频生成自动驾驶仿真

面向自动驾驶仿真中的街景新视角合成,论文指出车载相机轨迹导致训练视角稀疏,现有 NeRF/3DGS 在偏离车道视角时易模糊和产生伪影。SGD 将相邻帧图像与 LiDAR 深度用于微调扩散模型,并在训练中用其为未见视角正则化 3DGS,从而在保持 3DGS 实时推理的同时,提升宽基线/稀疏视角渲染质量;代价是训练显著变慢。

S-NeRF++: Autonomous Driving Simulation via Neural Reconstruction and Generation Figure 1
TPAMI 20252025

S-NeRF++: Autonomous Driving Simulation via Neural Reconstruction and Generation

Yurui Chen, Junge Zhang, Ziyang Xie, Wenye Li, Feihu Zhang, Jiachen Lu, Li Zhang

University of Oxford

世界模型3D/4D建模视频生成自动驾驶仿真

面向自动驾驶仿真中手工建模难扩展、2D编辑真实感和可控性不足的问题,S-NeRF++以改进NeRF重建大规模街景与动态车辆,结合稀疏/噪声LiDAR的深度补全和可学习置信度抑制外点,并构建可生成、可插入的前景资产库,通过光照、阴影和BEV采样实现前景背景融合。实验表明其合成数据可提升若干感知下游任务表现。

ReconDreamer: Crafting World Models for Driving Scene Reconstruction via Online Restoration Figure 1
CVPR 20252025

ReconDreamer: Crafting World Models for Driving Scene Reconstruction via Online Restoration

Wenjun Mei, Wenkang Qin, Guan Huang, Chen Liu, Yuyin Chen, Yida Wang, Xueyang Zhang, Yifei Zhan, Kun Zhan, Peng Jia, Xianpeng Lang, Xingang Wang

Peking University

世界模型3D/4D建模视频生成自动驾驶仿真

面向自动驾驶闭环仿真,论文针对 NeRF/3DGS 在偏离训练轨迹、尤其多车道大幅机动时易失真的问题,提出 ReconDreamer:不是一次性用世界模型补视角,而是通过 DriveRestorer 在线修复鬼影,并用渐进数据更新逐步注入世界模型知识。实验显示其在新轨迹渲染上较 Street Gaussians 的 NTA-IoU、NTL-IoU、FID 分别提升 24.87%、6.72%、29.97%,大机动下 NTA-IoU 较 DriveDreamer4D+PVG 提升 195.87%。

ReconDreamer++: Harmonizing Generative and Reconstructive Models for Driving Scene Representation Figure 1
ICCV 20252025

ReconDreamer++: Harmonizing Generative and Reconstructive Models for Driving Scene Representation

Guosheng Zhao, Xiaofeng Wang, Chaojun Ni, Zheng Zhu, Wenkang Qin, Guan Huang, Xingang Wang

Institute of Automation, Chinese Academy of Sciences, Peking University

世界模型3D/4D建模视频生成自动驾驶仿真

ReconDreamer++针对自动驾驶闭环仿真中生成视频与真实传感器观测存在域差、且路面等结构化区域易失真的问题,提出用NTDNet学习新轨迹合成视图到真实观测的空间形变,并将地面作为独立3D Gaussian保留几何先验、主要优化外观。在Waymo、nuScenes等数据集上,该方法在原始轨迹接近Street Gaussians,在新轨迹较ReconDreamer提升NTA-IoU 6.1%、FID 23.0%、路面NTL-IoU 4.5%。

RealEngine: Simulating Autonomous Driving in Realistic Context Figure 1
arXiv preprint 20252025

RealEngine: Simulating Autonomous Driving in Realistic Context

Junzhe Jiang, Nan Song, Jingyu Li, Xiatian Zhu, Li Zhang

School of Data Science, Fudan University, University of Surrey

世界模型3D/4D建模视频生成自动驾驶仿真

针对真实驾驶数据只能开环回放、CARLA 等闭环仿真又存在外观域差距的问题,RealEngine 将真实多模态数据驱动的 3D 场景重建与新视角合成结合,并把背景与前景交通参与者解耦建模后灵活组合。由此可渲染相机与 LiDAR,支持自由轨迹闭环、危险场景和多智能体交互,形成覆盖非反应式、安全测试与交互评估的自动驾驶基准。

Pseudo-Simulation for Autonomous Driving Figure 1
arXiv preprint 20252025

Pseudo-Simulation for Autonomous Driving

Wei Cao, Marcel Hallgarten, Tianyu Li, Daniel Dauner, Xunjiang Gu, Caojun Wang, Yakov Miron, Marco Aiello, Hongyang Li, Igor Gilitschenski, Boris Ivanovic, Marco Pavone, Andreas Geiger, Kashyap Chitta

University of Tübingen, Tübingen AI Center, NVIDIA Research, OpenDriveLab at Shanghai Innovation Institute, University of Stuttgart, University of Toronto, Vector Institute, Stanford University

世界模型3D/4D建模视频生成自动驾驶仿真

本文针对自动驾驶评测中真实路测不安全且难复现、闭环仿真昂贵或不够真实、开环指标忽略误差累积的问题,提出 pseudo-simulation:在真实数据上用 3D Gaussian Splatting 预生成不同位置、朝向和速度的反事实观测,并按与车辆可能行为的接近度加权评测。该方法无需交互式仿真即可考察恢复能力,与闭环结果相关性达 R²=0.8,高于最佳开环方法的 0.7,并发布 NAVSIM v2 排行榜。

OmniRe: Omni Urban Scene Reconstruction Figure 1
ICLR 20252025

OmniRe: Omni Urban Scene Reconstruction

Ziyu Chen Jiawei Yang, Jiahui Huang

Shanghai Jiao Tong University, University of Toronto, Stanford University, NVIDIA Research, University of Southern California

世界模型3D/4D建模视频生成仿真数字孪生

OmniRe针对自动驾驶仿真中现有NeRF/3DGS数字孪生多偏重车辆、难以覆盖行人和骑行者等非刚体动态主体的问题,构建基于3DGS的动态场景图:背景与车辆用规范空间高斯和刚体变换表示,行人结合SMPL实现关节级可控,其他无模板主体用共享形变场建模。其在Waymo及另5个驾驶数据集验证泛化性,重建和新视角合成PSNR分别较SOTA提升约1.88和2.38,人体区域增益更明显,并支持约60Hz的人车交互与行人行为仿真。

MuDG: Taming Multi-Modal Diffusion with Gaussian Splatting for Urban Scene Reconstruction Figure 1
arXiv preprint 20252025

MuDG: Taming Multi-Modal Diffusion with Gaussian Splatting for Urban Scene Reconstruction

Yingshuang Zou, Yikang Ding, Chuanrui Zhang, Jiazhe Guo, Bohan Li, Xiaoyang Lyu, Feiyang Tan, Xiaojuan Qi, Haoqian Wang, THU MEGVII Mach Drive, SJTU HKU

世界模型3D/4D建模视频生成仿真数字孪生

MuDG针对自动驾驶城市场景中3DGS/NeRF在偏离采集轨迹视角下易退化、纯扩散生成又缺乏时序一致和精确控制的问题,将多帧聚合LiDAR点云及RGB/几何先验投影为条件,驱动多模态视频扩散生成RGB、深度和语义结果;这些结果既可前馈合成新视角,也作为监督强化3DGS。Open Waymo实验显示其在重建与合成质量上优于现有方法。

GeoDrive: 3D Geometry-Informed Driving World Model with Precise Action Control Figure 1
arXiv preprint 20252025

GeoDrive: 3D Geometry-Informed Driving World Model with Precise Action Control

Anthony Chen, Wenzhao Zheng, Yida Wang, Xueyang Zhang, Kun Zhan, Peng Jia, Kurt Keutzer, Shanghang Zhang

State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University, UC Berkeley

世界模型3D/4D建模视频生成自动驾驶仿真

GeoDrive针对自动驾驶视频世界模型中3D几何不一致、遮挡伪影和动作控制漂移的问题,将单帧恢复的3D结构沿用户指定自车轨迹投影为视觉条件,并用动态编辑模块约束车辆运动,再由级联视频扩散细化生成。实验显示其较Vista将轨迹跟随误差降低42%,并在LPIPS、PSNR、SSIM、FID、FVD及新视角合成上优于多种基线,同时支持物体插入、替换和轨迹控制。

FreeSim: Toward Free-Viewpoint Camera Simulation in Driving Scenes Figure 1
CVPR 20252025

FreeSim: Toward Free-Viewpoint Camera Simulation in Driving Scenes

Lue Fan, Hao Zhang, Qitai Wang, Hongsheng Li, Zhaoxiang Zhang, CASIA MMLab

世界模型3D/4D建模视频生成自动驾驶仿真

FreeSim面向自动驾驶仿真中记录轨迹外视角缺少监督、3DGS渲染易退化的问题,将自由视角生成改写为“退化渲染增强”:用分段Gaussian重建、外推渲染和扰动构造约150万训练对,并以扩散模型结合LiDAR条件增强小偏移视角;随后通过生成—重建交替的渐进视角扩展,把监督逐步推到更远离轨迹的位置。结果显示其可在超过3米偏移下保持较高质量和一致性,优于现有重建式方法。

FlexDrive: Toward Trajectory Flexibility in Driving Scene Reconstruction and Rendering Figure 1
CVPR 20252025

FlexDrive: Toward Trajectory Flexibility in Driving Scene Reconstruction and Rendering

Jingqiu Zhou, Lue Fan, Linjiang Huang, Xiaoyu Shi, Si Liu, Zhaoxiang Zhang, Hongsheng Li

Multimedia Laboratory, The Chinese University of Hong Kong, Centre for Perceptual and Interactive Intelligence, Hong Kong, Institute of Automation, Chinese Academy of Sciences, Beihang University

世界模型3D/4D建模视频生成自动驾驶仿真

FlexDrive针对自动驾驶场景重建在偏离采集轨迹后渲染质量明显下降的问题,指出关键瓶颈是缺少离轨视角监督。方法用逆向视角变换生成规则、完整的伪监督图像,并通过深度自举在线获得稠密深度以缓解LiDAR稀疏和遮挡影响。其在Waymo及基于CARLA构建的离轨评测基准上,同时提升轨迹内与离轨视角渲染表现。

DriveDreamer4D: World Models Are Effective Data Machines for 4D Driving Scene Representation Figure 1
CVPR 20252025

DriveDreamer4D: World Models Are Effective Data Machines for 4D Driving Scene Representation

Xingang Wang, Xueyang Zhang, Yida Wang, Guan Huang, Xinze Chen, Boyuan Wang, Youyi Zhang, Wenjun Mei

Institute of Automation, Chinese Academy of Sciences, Peking University, Technical University o

世界模型3D/4D建模视频生成自动驾驶仿真

面向自动驾驶闭环仿真,论文指出现有 NeRF/3DGS 4D重建受训练轨迹密度限制,难以渲染变道、加减速等新轨迹。DriveDreamer4D 将驾驶世界模型作为“数据机器”,用结构化条件生成时空一致的新轨迹视频,并通过 Cousin Data Training 融合真实与合成数据优化 4DGS。实验显示其在新轨迹视角下相对 PVG、S3 Gaussian、Deformable-GS 的 FID 分别提升 32.1%、46.4%、16.3%,NTA-IoU 也提升 22.6%、43.5%、15.6%。

Dreamland: Controllable World Creation with Simulator and Generative Models Figure 1
arXiv preprint 20252025

Dreamland: Controllable World Creation with Simulator and Generative Models

Sicheng Mo, Ziyang Leng, Leon Liu, Weizhen Wang, Honglin He, Bolei Zhou

University of California, Los Angeles

世界模型3D/4D建模视频生成仿真场景重建

针对视频生成世界模型画面逼真但缺少对象级可控性、难以用于自动驾驶等具身训练的问题,Dreamland用分层世界抽象把物理仿真的几何/语义控制与预训练生成模型连接,并先将Sim-LWA对齐到Real-LWA以降低适配成本。其构建D3Sim配对数据集,在驾驶场景生成中报告图像质量约提升50.8%、可控性提升17.9%,并带来真实测试集VQA约3.9点增益。

DreamDrive: Generative 4D Scene Modeling from Street View Images Figure 1
ICRA 20252025

DreamDrive: Generative 4D Scene Modeling from Street View Images

Marco Pavone Yue Wang

NVIDIA Research, University of Southern California

世界模型3D/4D建模视频生成自动驾驶仿真

DreamDrive针对自动驾驶视频生成中“可泛化但缺乏3D一致性”和“重建一致但依赖标注”的矛盾,将视频扩散生成的街景参考提升为4D场景,并用静态/动态混合Gaussian表示与自监督分解建模,再通过Gaussian splatting按轨迹渲染。实验在nuScenes和野外数据上显示其可生成可控、3D一致的新视角驾驶视频,视觉质量较既有方法约提升30%,并能辅助感知与规划任务。

DeSiRe-GS: 4D Street Gaussians for Static-Dynamic Decomposition and Surface Reconstruction for Urban Driving Scenes Figure 1
CVPR 20252025

DeSiRe-GS: 4D Street Gaussians for Static-Dynamic Decomposition and Surface Reconstruction for Urban Driving Scenes

Chensheng Peng, Chengwei Zhang, Yixiao Wang, Chenfeng Xu, Yichen Xie, Wenzhao Zheng, Kurt Keutzer, Masayoshi Tomizuka, Wei Zhan

UC Berkeley

世界模型3D/4D建模视频生成自动驾驶仿真

面向自动驾驶街景中动态物体导致的3DGS模糊与稀疏视角几何过拟合,DeSiRe-GS利用静态3DGS难以重建运动区域这一洞察,先从外观残差提取2D运动先验,再可微蒸馏到时变高斯空间,并加入表面对齐正则与时序跨视角一致性。实验显示其在无3D框标注下实现更可靠的静动态分解和表面重建,超过既有自监督方法,精度接近依赖3D框的方法。

UniOcc: A Unified Benchmark for Occupancy Forecasting and Prediction in Autonomous Driving Figure 1
ICCV 20252025

UniOcc: A Unified Benchmark for Occupancy Forecasting and Prediction in Autonomous Driving

Yuping Wang, Xiangyu Huang, Xiaokang Sun, Mingxuan Yan, Shuo Xing, Zhengzhong Tu, Jiachen Li

世界模型3D/4D建模占用预测自动驾驶评测基准

自动驾驶占用预测/预报长期受伪标签质量差、数据集割裂和缺少体素级运动信息限制。UniOcc将nuScenes、Waymo及CARLA、OpenCOOD统一为2D/3D占用与前后向体素流基准,并支持协同场景和无需真值的质量评测。实验显示,多源大规模数据与显式flow能提升预测和预报性能,同时暴露现有方法跨域泛化仍不足,部分增益可能主要来自scaling/data。

Temporal Triplane Transformers as Occupancy World Models Figure 1
arXiv preprint 20252025

Temporal Triplane Transformers as Occupancy World Models

Haoran Xu, Peixi Peng, Guang Tan, Yiqian Chang, Yisen Zhao, Yonghong Tian

School of Intelligent Systems Engineering, Shenzhen Campus of Sun Yat-sen University, Shenzhen 518107, China, Peng Cheng Laboratory, Shenzhen 518108, China, School of Electronic and Computer Engineering, Shenzhen Graduate School, Peking University, 518066, China, School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen, 518055, China, School of Computer Science, Peking University, Beijing 100871, China

世界模型3D/4D建模占用预测规划控制

面向自动驾驶占用世界模型,论文针对 BEV/VAE 压缩丢失高度信息、直接预测完整未来占用代价高且易累积误差的问题,提出 DTT:用时序 triplane 保留 3D 结构,并只自回归预测稀疏的平面占用变化,再解码未来占用与自车轨迹。在 nuScenes/Occ3D 上 mIoU 达 30.85,规划平均误差 1.0 m,RTX 4090 上 26 FPS。

Spatiotemporal Decoupling for Efficient Vision-Based Occupancy Forecasting Figure 1
CVPR 20252025

Spatiotemporal Decoupling for Efficient Vision-Based Occupancy Forecasting

Jingyi Xu, Xieyuanli Chen, Junyi Ma, Jiawei Huang, Jintao Xu, Yue Wang, Ling Pei

Zhejiang University

世界模型3D/4D建模占用预测规划控制

针对视觉3D占用预测中空体素占优、静态体素占优导致计算冗余且动态物体细节差的问题,论文提出时空解耦:用BEV占用加高度替代稠密3D体素,并通过预测流做实例级时间关联;EfficientOCF以轻量2D结构完成3D预测,在nuScenes等数据集精度和效率优于基线,单卡推理82.33ms。

Semi-Supervised Vision-Centric 3D Occupancy World Model for Autonomous Driving Figure 1
ICLR 20252025

Semi-Supervised Vision-Centric 3D Occupancy World Model for Autonomous Driving

Xiang Li, Pengfei Li, Yupeng Zheng, Wei Sun, Yan Wang, Yilun Chen

Institute for AI Industry Research (AIR), Tsinghua University

世界模型3D/4D建模占用预测自动驾驶规划控制

面向自动驾驶规划,现有3D占用世界模型依赖昂贵3D标注且视觉输入需反复编码解码,易损失信息。PreWorld用2D监督预训练+3D微调,并通过属性场体渲染和状态条件预测模块端到端预测未来占用与自车轨迹。在nuScenes上,3D占用mIoU达34.69,4D占用预测刷新SOTA,规划表现也与视觉方法相当或更好。

RenderWorld: World Model with Self-Supervised 3D Label Figure 1
ICRA 20252025

RenderWorld: World Model with Self-Supervised 3D Label

Ziyang Yan, Wenzhen Dong, Yihua Shao, Yuhang Lu, Haiyang Liu, Jingwen Liu, Haozhe Wang, Zhe Wang, Yan Wang, Fabio Remondino, Yuexin Ma

世界模型3D/4D建模占用预测规划控制

RenderWorld面向纯视觉自动驾驶中LiDAR成本高、3D占用标注难且世界模型编码易丢细节的问题,提出用Gaussian Splatting自监督Img2Occ从多视角2D深度/语义生成3D占用标签,并用AM-VAE分离编码空气与非空气体素以提升表示粒度和压缩效率。在NuScenes上,其2D监督占用预测mIoU达27.87,4D占用预测和运动规划优于OccWorld等基线,同时降低显存开销。

OmniNWM: Omniscient Driving Navigation World Models Figure 1
arXiv preprint 20252025

OmniNWM: Omniscient Driving Navigation World Models

Bohan Li, Zhuang Ma, Dalong Du, Baorui Peng, Zhujin Liang, Zhenqiang Liu, Chao Ma, Yueming Jin, Hao Zhao, Wenjun Zeng, Xin Jin

Shanghai Jiao Tong University, Eastern Institute of Technology, Ningbo, National University of Singapore, Tsinghua University

世界模型3D/4D建模占用预测自动驾驶规划控制

面向自动驾驶世界模型在状态模态单一、长时序不稳、动作控制粗糙且缺少内生奖励的问题,OmniNWM将全景RGB、语义、度量深度与3D占用联合生成,并用归一化全景Plücker ray-map把轨迹编码为像素级控制信号;同时基于生成占用定义规则密集奖励用于闭环评估。实验显示其在生成质量、控制精度和长时序稳定性上达到SOTA,并具备跨轨迹、跨数据集/相机配置的泛化能力。

OccProphet: Pushing Efficiency Frontier of Camera-Only 4D Occupancy Forecasting with Observer-Forecaster-Refiner Framework Figure 1
ICLR 20252025

OccProphet: Pushing Efficiency Frontier of Camera-Only 4D Occupancy Forecasting with Observer-Forecaster-Refiner Framework

Junliang Chen, Huaiyuan Xu, Yi Wang, Lap-Pui Chau

The Hong Kong Polytechnic University

世界模型3D/4D建模占用预测规划控制

面向自动驾驶中未来3D占用预测的车端部署瓶颈,OccProphet针对Cam4DOcc等相机-only 4D占用预测计算量过高的问题,提出Observer-Forecaster-Refiner轻量框架:用降分辨率4D聚合与三重注意力提取时空特征,再条件预测并细化未来占用。在nuScenes、Lyft-Level5和nuScenes-Occupancy上,相比Cam4DOcc降低58%–78%计算成本、推理提速2.6倍,同时预测精度相对提升4%–18%。

Occ-LLM: Enhancing Autonomous Driving with Occupancy-Based Large Language Models Figure 1
ICRA 20252025

Occ-LLM: Enhancing Autonomous Driving with Occupancy-Based Large Language Models

Tianshuo Xu, Hao Lu, Xu Yan, Yingjie Cai, Bingbing Liu, Yingcong Chen

世界模型3D/4D建模占用预测自动驾驶规划控制

面向自动驾驶中图像式 LLM 缺乏三维空间理解、原始占用栅格又类别极不均衡且难以直接输入的问题,Occ-LLM将 occupancy 作为大模型接口,并用 MS-VAE 先分离动态物体与静态场景以压缩和重构表示。该框架统一支持4D占用预测、自车规划和场景问答;实验中3秒4D预测达32.52% IoU、20.99% mIoU,较SOTA约提升6/4点,规划平均L2误差降至0.28米。

I²-World: Intra-Inter Tokenization for Efficient Dynamic 4D Scene Forecasting Figure 1
ICCV 20252025

I²-World: Intra-Inter Tokenization for Efficient Dynamic 4D Scene Forecasting

Zhimin Liao, Ping Wei, Ruijie Zhang, Shuaijia Chen, Haoxuan Wang, Ziyang Ren

National Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University

世界模型3D/4D建模占用预测规划控制

面向自动驾驶世界模型中4D占用预测的时空建模与计算开销矛盾,I²-World将场景token化拆成帧内多尺度残差量化和帧间历史残差聚合,并用带变换矩阵条件的编码器—解码器自回归生成来保持可控性与时序一致性。在Occ3D-nus上相较既有SOTA平均mIoU提升25.1%、IoU提升36.9%,训练显存约2.9GB,推理达37FPS。

Driving in the Occupancy World: Vision-Centric 4D Occupancy Forecasting and Planning via World Models for Autonomous Driving Figure 1
AAAI 20252025

Driving in the Occupancy World: Vision-Centric 4D Occupancy Forecasting and Planning via World Models for Autonomous Driving

Yu Yang, Jianbiao Mei, Yukai Ma, Siliang Du, Wenqing Chen, Yijie Qian, Yuxiang Feng, Yong Liu

世界模型3D/4D建模占用预测自动驾驶规划控制

针对自动驾驶世界模型多停留在数据生成或预训练、难以直接提升规划安全性的问题,Drive-OccWorld以视觉BEV历史记忆预测未来4D占用与flow,并通过语义/运动条件归一化和速度、转角、轨迹、指令等动作条件实现可控推演,再用占用代价选择轨迹。在nuScenes、nuScenes-Occupancy和Lyft-Level5上提升占用/flow预测指标,并改善端到端规划安全性。

DIO: Decomposable Implicit 4D Occupancy-Flow World Model Figure 1
CVPR 20252025

DIO: Decomposable Implicit 4D Occupancy-Flow World Model

Christopher Diehl, Quinlan Sykora, Ben Agro, Thomas Gilles, Sergio Casas, Raquel Urtasun

TU Dortmund University, Waabi, University of Toronto

世界模型3D/4D建模占用预测规划控制

面向自动驾驶规划中仅有当前补全或BEV占用难以表达实例归属和真实几何的问题,DIO将稀疏LiDAR建模为可查询的隐式4D占用-流场,并用源点提示把场景分解到具体实例,只需无标注点云和3D框监督即可预测实例形状及未来演化。在Argoverse 2上,其在4D占用补全/预测和LiDAR点云预测任务达到SOTA,并在相关挑战中排名第一。

COME: Adding Scene-Centric Forecasting Control to Occupancy World Model Figure 1
arXiv preprint 20252025

COME: Adding Scene-Centric Forecasting Control to Occupancy World Model

Yining Shi, Kun Jiang, Qiang Meng, Ke Wang, Jiabao Wang, Wenchao Sun, Tuopu Wen, Mengmeng Yang, Diange Yang

School of Vehicle and Mobility, Tsinghua University, Beijing, China, State Key Laboratory of Intelligent Green Vehicle and Mobility, Beijing, China

世界模型3D/4D建模占用预测规划控制

COME针对占用世界模型中自车运动导致的视角变化与真实场景演化相互缠绕、损害空间一致性的问题,引入场景中心坐标下的预测分支,先生成与自车无关的未来占用特征,再通过定制ControlNet注入扩散式占用生成模型,实现可控预测。在nuScenes-Occ3D上,方法在GT、相机和融合占用输入及3秒/8秒预测中均优于SOTA,mIoU相对DOME和UniScene分别提升26.3%和23.7%。

X-Scene: Large-Scale Driving Scene Generation with High Fidelity and Flexible Controllability Figure 1
arXiv preprint 20252025

X-Scene: Large-Scale Driving Scene Generation with High Fidelity and Flexible Controllability

Yu Yang, Alan Liang, Jianbiao Mei, Yukai Ma, Yong Liu, Gim Hee Lee

Zhejiang University National University of Singapore

世界模型3D/4D建模占用预测自动驾驶仿真

面向自动驾驶仿真,现有扩散式驾驶生成多强调时间一致视频,难以构建可控且空间连贯的大尺度3D场景。X-Scene将LLM增强文本/BEV布局控制、3D语义占用到多视图图像视频的联合生成、以及一致性感知外延结合,并提升为3DGS场景;实验显示其在生成质量、可控性和大尺度一致性上优于既有占用或布局依赖方法。

Controllable 3D Outdoor Scene Generation via Scene Graphs Figure 1
ICCV 20252025

Controllable 3D Outdoor Scene Generation via Scene Graphs

Yuheng Liu, Xinke Li, Yuning Zhang, Lu Qi, Xin Li, Wenping Wang, Chongshou Li, Xueting Li, Ming-Hsuan Yang

Texas A&M University, City University of Hong Kong, Southwest Jiaotong University, Insta360 Research, NVIDIA

世界模型3D/4D建模占用预测规划控制

面向自动驾驶等场景中户外3D生成难以精确可控的问题,本文将稀疏、可编辑的场景图作为控制接口,通过GNN与Allocation Module把关系约束转为BEV Embedding Map,再条件化3D金字塔离散扩散模型生成语义场景,并构建配对场景图数据集。实验显示其在城市户外场景质量、物体数量和与输入图的空间对齐上优于现有控制方式。

VaViM and VaVAM: Autonomous Driving through Video Generative Modeling Figure 1
arXiv preprint 20252025

VaViM and VaVAM: Autonomous Driving through Video Generative Modeling

Florent Bartoccioni

世界模型3D/4D建模视频生成自动驾驶规划控制

本文针对“视频生成模型学到的世界表征能否真正迁移到自动驾驶决策”这一问题,提出开源自回归视频模型 VaViM,并用其表征通过模仿学习训练 VaVAM 生成驾驶轨迹,形成从相机到动作的管线。实验显示视频预训练含有语义与动态信息,模型/数据 scaling 有利于生成和开环指标,但闭环安全收益不稳定,揭示轨迹拟合与安全决策之间仍存在冲突。

ProphetDWM: A Driving World Model for Rolling Out Future Actions and Videos Figure 1
arXiv preprint 20252025

ProphetDWM: A Driving World Model for Rolling Out Future Actions and Videos

Xiaodong Wang, Peixi Peng

Peking University, Peng Cheng Laboratory

世界模型3D/4D建模视频生成自动驾驶规划控制

针对自动驾驶世界模型多停留在“给定未来动作生成视频”、难以同时建模动作动力学与长时预测的问题,ProphetDWM将驾驶建模为POMDP,引入MLP动作模块学习潜在动作,并用扩散式转移模块联合预测未来视频和低层控制动作。在nuScenes上,其视频一致性和动作预测精度优于已有方法,并可滚动生成较长时域的视频与动作。

PosePilot: Steering Camera Pose for Generative World Models with Self-Supervised Depth Figure 1
IROS 20252025

PosePilot: Steering Camera Pose for Generative World Models with Self-Supervised Depth

Bu Jin, Weize Li, Baihan Yang, Zhenxin Zhu, Junpeng Jiang, Huan-ang Gao, Haiyang Sun, Kun Zhan, Hengtong Hu, Xueyang Zhang, Peng Jia, Hao Zhao

The Hong Kong University of Science and Technology, Institute for AI Industry Research (AIR), Tsinghua University

世界模型3D/4D建模视频生成规划控制

PosePilot面向自动驾驶世界模型中相机位姿难以精确、灵活控制的问题,核心洞察是把相邻帧的位姿控制显式绑定到自监督深度/自运动估计与SfM几何一致性上,通过深度和位姿读出、正反向光度重投影损失及位姿回归约束生成视频。实验显示,该插件式方法可同时用于扩散和自回归模型,在驾驶与通用视频数据上提升位姿准确性、结构一致性和泛化表现。

MiLA: Multi-View Intensive-Fidelity Long-Term Video Generation World Model for Autonomous Driving Figure 1
arXiv preprint 20252025

MiLA: Multi-View Intensive-Fidelity Long-Term Video Generation World Model for Autonomous Driving

Haiguang Wang, Daqi Liu, Hongwei Xie, Haisong Liu, Enhui Ma, Kaicheng Yu, Limin Wang, Bing Wang

Nanjing University, Westlake University

世界模型3D/4D建模视频生成自动驾驶多视角生成

自动驾驶长尾场景数据昂贵,视频世界模型可合成训练序列,但现有自回归长视频易累积误差、动态物体失真且一致性下降。MiLA采用多视角潜扩散的粗到重精细流程,先生成低帧率锚点再插帧,并用JDC修正锚点、TPD增强批内时序约束,仅依赖场景描述或轨迹点等简单控制信号。nuScenes实验显示其在短、长视频生成质量上达到SOTA,可生成最长约一分钟的驾驶视频。

MaskGWM: A Generalizable Driving World Model with Video Mask Reconstruction Figure 1
CVPR 20252025

MaskGWM: A Generalizable Driving World Model with Video Mask Reconstruction

First Author, Institution address, Second Author, First line of institution address

SenseTime Research

世界模型3D/4D建模视频生成自动驾驶场景重建

针对自动驾驶世界模型虽能生成高保真视频、但长时预测和零样本泛化不足的问题,MaskGWM在大规模驾驶视频上采用更可扩展的DiT,并把扩散生成损失与MAE式视频掩码重建结合,设计扩散相关mask token、时空双分支行级掩码及跨视角模块,以增强语义和运动上下文学习。实验在nuScenes生成质量、OpenDV-2K长时rollout和Waymo零样本迁移上优于已有方法;但部分增益可能主要来自scaling / data与架构共同作用。

LongDWM: Cross-Granularity Distillation for Building A Long-Term Driving World Model Figure 1
arXiv preprint 20252025

LongDWM: Cross-Granularity Distillation for Building A Long-Term Driving World Model

Xiaodong Wang, Zhirong Wu, Peixi Peng

Peking University, Peng Cheng Laboratory

世界模型3D/4D建模视频生成自动驾驶规划控制

LongDWM针对自动驾驶世界模型长时滚动预测中的误差累积与短片训练/长视频推理落差,将学习拆成低帧率大运动的Coarse DiT和高帧率连续运动的Fine DiT,并用细粒度视频flow自监督蒸馏粗粒度flow以提升跨片段一致性。NuScenes上生成110帧以上视频时,相比Vista前视模型FVD提升27%,推理时间降低85%。

GEM: A Generalizable Ego-Vision Multimodal World Model for Fine-Grained Ego-Motion, Object Dynamics, and Scene Composition Control Figure 1
CVPR 20252025

GEM: A Generalizable Ego-Vision Multimodal World Model for Fine-Grained Ego-Motion, Object Dynamics, and Scene Composition Control

Mariam Hassan, Sebastian Stapf, Ahmad Rahimi, Pedro M B Rezende, Yasaman Haghighi, David Brüggemann, Isinsu Katircioglu, Lin Zhang, Xiaoran Chen, Suman Saha, Marco Cannici, Elie Aljalbout, Botao Ye, Xi Wang, Aram Davtyan, Mathieu Salzmann, Davide Scaramuzza, Marc Pollefeys, Paolo Favaro, Alexandre Alahi

Swiss Data Science Center, University of Zurich, ETH Zurich

世界模型3D/4D建模视频生成规划控制

GEM针对现有第一视角世界模型多局限于单一场景、只控制自车/自我运动而难以刻画物体交互的问题,提出可跨驾驶、人体活动和无人机场景的多模态视频世界模型。其关键是用自我轨迹、带对象ID的稀疏DINOv2视觉token和人体姿态分别控制相机运动、物体动态与人类动作,并联合生成RGB与深度,配合自回归噪声日程提升长时序稳定性。实验显示其在可控场景生成、长程一致性和物体操控指标COM上优于对比方法,但部分增益可能主要来自大规模数据与伪标注。

GAIA-2: A Controllable Multi-View Generative World Model for Autonomous Driving Figure 1
arXiv preprint 20252025

GAIA-2: A Controllable Multi-View Generative World Model for Autonomous Driving

Lloyd Russell, Jamie Shotton

Wayve

世界模型3D/4D建模视频生成自动驾驶多视角生成

面向自动驾驶仿真中多智能体交互、精细可控和多相机一致性不足的问题,GAIA-2将连续潜空间视频 tokenizer 与潜扩散世界模型结合,统一接入自车动力学、3D agent、道路语义、天气/地域及外部语义嵌入条件。模型可生成最高五路448×960时空一致视频,并支持从零生成、预测、补全和场景编辑;论文主要展示了覆盖常见与长尾场景的可控合成能力,但定量增益来源可能主要来自 scaling / data。

Epona: Autoregressive Diffusion World Model for Autonomous Driving Figure 1
ICCV 20252025

Epona: Autoregressive Diffusion World Model for Autonomous Driving

Kaiwen Zhang, Zhenyu Tang, Xiaotao Hu, Xingang Pan, Xiaoyang Guo, Yuan Liu, Jingwei Huang, Li Yuan, Qian Zhang, Xiao-Xiao Long, Xun Cao, Wei Yin

Horizon Robotics Tsinghua University Peking University, Nanjing University The Hong Kong University of Science and Technology, Nanyang Technological University Tencent Hunyuan

世界模型3D/4D建模视频生成自动驾驶规划控制

Epona针对自动驾驶视频扩散世界模型难以变长长时预测、且难与轨迹规划结合的问题,将因果自回归时序建模与连续扩散生成解耦:用压缩时序latent建模动态,再由两个DiT分别生成下一帧和3秒轨迹,并用chain-of-forward缓解滚动误差。实验在NuScenes上较Vista降低7.4% FVD、可生成超2分钟视频,并在NAVSIM上作为实时规划器超过强端到端方法。

DriVerse: Navigation World Model for Driving Simulation via Multimodal Trajectory Prompting and Motion Alignment Figure 1
ACM MM 20252025

DriVerse: Navigation World Model for Driving Simulation via Multimodal Trajectory Prompting and Motion Alignment

Xiaofan Li, Chenming Wu, Zhao Yang, Zhihao Xu, Dingkang Liang, Yumeng Zhang, Ji Wan, Jun Wang

Baidu Inc

世界模型3D/4D建模视频生成自动驾驶仿真

DriVerse针对自动驾驶世界模型中轨迹/离散控制与2D生成骨干特征对不齐、难以精确评估规划的问题,将未来轨迹同时转为趋势词表文本提示和2D空间运动先验,并用轻量级潜空间运动对齐约束动态目标时序一致性,推理时还用动态窗口缓解急转向失真。在不引入额外数据、训练量较小的设定下,其在nuScenes和Waymo未来视频生成上优于已有专用模型。

WoVoGen: World Volume-Aware Diffusion for Controllable Multi-Camera Driving Scene Generation Figure 1
ECCV 20242025

WoVoGen: World Volume-Aware Diffusion for Controllable Multi-Camera Driving Scene Generation

Jiachen Lu, Ze Huang, Zeyu Yang, Jiahui Zhang, Li Zhang

世界模型3D/4D建模视频生成占用预测自动驾驶

自动驾驶多摄像头视频生成需要既有真实多样性又保持跨视角、跨时间几何一致性,而仅用 HD map/框条件的扩散模型信息过稀。WoVoGen 的核心是把显式 4D 世界体/占用体作为中间世界模型:先按车辆控制预测未来体素时序,再将其投影为各相机条件驱动 ControlNet 生成视频。文中结果显示其可生成更一致、可控的街景多视角视频,并支持场景编辑。

Visual Point Cloud Forecasting enables Scalable Autonomous Driving Figure 1
CVPR 20242024

Visual Point Cloud Forecasting enables Scalable Autonomous Driving

Zetong Yang, Li Chen, Yanan Sun, Hongyang Li

and Shanghai AI Lab

世界模型3D/4D建模激光雷达生成自动驾驶规划控制

本文针对视觉自动驾驶预训练难以同时获得语义、3D几何和时序动态的问题,提出“视觉点云预测”任务:用历史多视角图像预测未来激光点云。ViDAR通过BEV历史编码、Latent Rendering和自回归未来解码,将视觉特征约束到3D时空世界模型中。nuScenes上其预训练提升检测、运动预测和规划,报告约3.1% NDS增益、约10%预测误差下降和约15%碰撞率降低。

Unleashing Generalization of End-to-End Autonomous Driving with Controllable Long Video Generation Figure 1
arXiv preprint 20242024

Unleashing Generalization of End-to-End Autonomous Driving with Controllable Long Video Generation

Enhui Ma, Lijun Zhou, Tao Tang, Zhan Zhang, Dong Han, Junpeng Jiang, Kun Zhan, Peng Jia, Xianpeng Lang, Haiyang Sun, Di Lin, Kaicheng Yu

Westlake University Li Auto Inc. Tianjin University Shenzhen Campus, Sun Yat-sen University, Southeast University Harbin Engineering University Harbin Institute of Technology(Shenzhen)

世界模型3D/4D建模视频生成自动驾驶规划控制

面向端到端自动驾驶中合成数据难以提升规划的问题,论文提出 Delphi:通过多视角共享噪声建模和特征对齐的时序一致模块生成可控长视频,并用 VLM 分析失败案例来定向采样生成数据。在 nuScenes 上,Delphi 可生成最长 40 帧、约 12 秒的多视角视频;仅补充约 4% 训练规模的合成样本,即使 UniAD 碰撞率从 0.34 降至 0.27,规划性能提升约 25%。

UniMLVG: Unified Framework for Multi-View Long Video Generation with Comprehensive Control Capabilities for Autonomous Driving Figure 1
ICCV 20252025

UniMLVG: Unified Framework for Multi-View Long Video Generation with Comprehensive Control Capabilities for Autonomous Driving

Rui Chen, Zehuan Wu, Yichen Liu, Yuxin Guo, Jingcheng Ni, Haifeng Xia, Siyu Xia

School of Automation, Southeast University, China, SenseTime Research

世界模型3D/4D建模视频生成自动驾驶多视角生成

面向自动驾驶数据合成中长时序、环视一致且可控视频难以同时满足的问题,UniMLVG在DiT扩散模型中加入跨帧与跨视角模块,并用多任务、多条件、三阶段训练整合单/多视角数据;其关键洞察是用统一空间中的相机射线显式建模视点,以改善多视角运动过渡一致性。模型支持文本、图像、视频及3D框/HD地图等条件,在相近能力模型上FID提升48.2%、FVD提升35.2%。

Towards Realistic Scene Generation with LiDAR Diffusion Models Figure 1
CVPR 20242024

Towards Realistic Scene Generation with LiDAR Diffusion Models

Haoxi Ran, Vitor Guizilini, Yue Wang

Carnegie Mellon University, Toyota Research Institute, University of Southern California

世界模型3D/4D建模激光雷达生成

面向自动驾驶/机器人仿真,论文指出点空间扩散难以同时保留激光雷达的扫描曲线模式与3D几何,且推理成本高。LiDM将range image压缩到带几何先验的潜空间,通过曲线级压缩、点级坐标监督和patch级编码分别约束扫描模式、场景几何与物体上下文,并支持语义图、相机视图、文本等条件控制。在64线LiDAR生成上取得新的SOTA,相比点式扩散最高加速107倍,但生成结果与真实数据仍有可见差距。

Text2LiDAR: Text-Guided LiDAR Point Cloud Generation via Equirectangular Transformer Figure 1
ECCV 20242025

Text2LiDAR: Text-Guided LiDAR Point Cloud Generation via Equirectangular Transformer

Yang Wu, Kaihua Zhang, Jianjun Qian, Jin Xie, Jian Yang

世界模型3D/4D建模激光雷达生成

针对真实激光雷达采集成本高、极端场景难覆盖且缺少文本可控生成的问题,Text2LiDAR将点云转为等距柱状图,提出适配环形结构的Equirectangular Transformer,并用控制信号注入和频率调制增强文本对齐与高频细节;同时构建nuLiDARtext文本-点云数据集,在KITTI-360与nuScenes的无条件和文本条件生成实验中优于已有方法。

Taming Transformers for Realistic LiDAR Point Cloud Generation Figure 1
arXiv preprint 20242024

Taming Transformers for Realistic LiDAR Point Cloud Generation

作者信息待提取

世界模型3D/4D建模激光雷达生成

面向自动驾驶仿真中的激光雷达数据生成,论文指出扩散模型虽能生成较好几何形状,但其去噪机制难以刻画真实 raydrop 噪声。LidarGRIT 将点云表示为 range image,先用自回归 Transformer 在 VQ-VAE 离散潜空间逐步采样,再分别解码干净距离图和 raydrop mask,并加入 raydrop 损失与几何保持约束。实验在 KITTI-360 和 KITTI odometry 上优于现有生成模型,尤其改善图像域指标 SWD。

SyntheOcc: Synthesize Geometric-Controlled Street View Images through 3D Semantic MPIs Figure 1
arXiv preprint 20242024

SyntheOcc: Synthesize Geometric-Controlled Street View Images through 3D Semantic MPIs

Leheng Li, Weichao Qiu, Yingjie Cai, Xu Yan, Qing Lian, Bingbing Liu, Ying-Cong Chen

HKUST(GZ) HKUST HUAWEI Noah’s Ark Lab

世界模型3D/4D建模视频生成占用预测自动驾驶

面向自动驾驶占用预测中3D体素标注昂贵、稀有场景难获取的问题,SyntheOcc将语义占用体表示为按深度切片的3D semantic MPI,使2D扩散模型获得与图像像素对齐且保留遮挡结构的几何条件,并配合MPI编码器和重加权处理长尾类别/深度。nuScenes实验显示其可生成与占用标签一致的多视角图像/视频,合成数据能作为占用感知模型的有效增强。

Simultaneous Diffusion Sampling for Conditional LiDAR Generation Figure 1
DICTA 20252025

Simultaneous Diffusion Sampling for Conditional LiDAR Generation

Ryan Faulkner, Luke Haub, Simon Ratcliffe, Anh-Dzung Doan, Ian Reid, Tat-Jun Chin

世界模型3D/4D建模激光雷达生成

这篇论文针对单帧 LiDAR 稀疏、遮挡或视野不足时,单视角条件扩散容易累积几何错误的问题,提出同时扩散采样:先将输入扫描重投影到邻近虚拟视角生成多视图条件,再在采样过程中联合约束各视图的一致性。实验显示该方法在补全、增密和新视角生成等基准上显著优于 LiDARGen、R2DM,并能提升下游任务表现。

SimGen: Simulator-Conditioned Driving Scene Generation Figure 1
NeurIPS 20242024

SimGen: Simulator-Conditioned Driving Scene Generation

Yunsong Zhou, Michael Simon, Zhenghao Peng, Sicheng Mo, Hongzi Zhu, Minyi Guo, Bolei Zhou

University of California, Los Angeles, Shanghai Jiao Tong University

世界模型3D/4D建模视频生成自动驾驶仿真

针对现有自动驾驶生成模型依赖小规模真实数据、外观与交通布局多样性不足且易过拟合的问题,SimGen将MetaDrive仿真器的可控布局与真实视频外观结合,采用级联扩散先将仿真深度/语义条件真实化,再融合多模态条件以缓解Sim2Real与条件冲突。配套DIVA数据集覆盖147.5小时真实与仿真驾驶视频;实验显示其在生成质量、多样性和可控性上优于多种基线,并可提升BEV检测、分割的数据增强效果。

Seeing Beyond Views: Multi-View Driving Scene Video Generation with Holistic Attention Figure 1
arXiv preprint 20242024

Seeing Beyond Views: Multi-View Driving Scene Video Generation with Holistic Attention

Hannan Lu, Xiaohe Wu, Shudong Wang, Xiameng Qin, Xinyu Zhang, Junyu Han, Wangmeng Zuo, Ji Tao

Harbin Institute of Technology Changan Automobile The University of Adelaide

世界模型3D/4D建模视频生成自动驾驶多视角生成

面向自动驾驶数据引擎,本文针对多视角视频生成中跨帧与跨相机一致性被解耦建模、快速运动目标易失真的问题,提出 CogDriving:在 DiT 中用 holistic-4D attention 同时关联空间、时间和视角,并以仅约 1.1% ControlNet 参数量的 Micro-Controller 接入 BEV 条件,配合实例重加权训练。其在 nuScenes 上取得 FVD 37.8,并显示合成视频可提升 BEV 分割和 3D 检测模型。

Scaling Diffusion Models to Real-World 3D LiDAR Scene Completion Figure 1
CVPR 20242024

Scaling Diffusion Models to Real-World 3D LiDAR Scene Completion

First Author, Institution address, Second Author, First line of institution address

世界模型3D/4D建模激光雷达生成

判断受限于 PDF 文本抽取质量,当前主要抽到补充材料。论文面向真实自动驾驶场景中稀疏 LiDAR 难以补全完整 3D 结构的问题,将扩散模型扩展到点级场景补全:用 MinkUNet 噪声预测器结合条件编码,并加入细化/上采样网络以减少去噪步数带来的质量下降。实验片段显示,合适的正则权重和条件权重可生成更少噪声、更清晰边界的结构,并与基线做了定性定量比较,但具体增益幅度文中未充分说明。

RangeLDM: Fast Realistic LiDAR Point Cloud Generation Figure 1
ECCV 20242025

RangeLDM: Fast Realistic LiDAR Point Cloud Generation

Qianjiang Hu, Zhimin Zhang, Wei Hu

世界模型3D/4D建模激光雷达生成

RangeLDM面向自动驾驶中真实激光雷达数据昂贵、生成模型慢且不够真实的问题,改用紧凑的range-view表示,并指出准确的点云到range image投影分布对生成学习很关键;方法用Hough voting校正投影参数,在VAE潜空间中做扩散生成,并加入range-guided判别器约束3D结构。KITTI-360和nuScenes实验显示其在生成质量和速度上优于既有方法,并可扩展到补全、上采样等条件生成任务。

Physical Informed Driving World Model Figure 1
arXiv preprint 20242024

Physical Informed Driving World Model

Zhuoran Yang, Xi Guo, Chenjing Ding, Chiyu Wang, Wei Wu

University of Science and Technology of China SenseAuto Tsinghua University

世界模型3D/4D建模视频生成自动驾驶

针对自动驾驶世界模型生成多视角视频时常违背相对/绝对运动、时序一致性和遮挡等物理约束的问题,DrivePhysica 将相机位姿下的坐标系对齐、3D 实例流引导与3D框坐标引导注入视频扩散生成,以显式约束运动、外观传播和空间层级。在 nuScenes 上取得 3.96 FID、38.06 FVD,并提升下游感知验证与数据增强效果。

Panacea: Panoramic and Controllable Video Generation for Autonomous Driving Figure 1
CVPR 20242024

Panacea: Panoramic and Controllable Video Generation for Autonomous Driving

Yuqing Wen, Yucheng Zhao, Yingfei Liu, Fan Jia, Yanhui Wang, Chong Luo, Chi Zhang, Tiancai Wang, Xiaoyan Sun, Xiangyu Zhang

世界模型3D/4D建模视频生成自动驾驶机器人

面向自动驾驶 BEV 感知对大规模带标注多视角视频的需求,Panacea 将生成式模型用作数据引擎:以 BEV 布局和文本控制场景内容,采用两阶段图像到视频流程、ControlNet 注入标注约束,并用分解 4D attention 维持跨相机与时间一致性。在 nuScenes 上生成的视频质量和可控性较好,加入合成样本可提升 StreamPETR 等 BEV 感知训练效果。

Panacea+: Panoramic and Controllable Video Generation for Autonomous Driving Figure 1
CVPR 20242024

Panacea+: Panoramic and Controllable Video Generation for Autonomous Driving

Yuqing Wen, Yucheng Zhao, Yingfei Liu, Binyuan Huang, Fan Jia, Yanhui Wang, Chi Zhang, Tiancai Wang, Xiaoyan Sun, Xiangyu Zhang, Project Page

Information Engineering, Wuhan University, Wuhan, Hubei, 430072, China (

世界模型3D/4D建模视频生成自动驾驶规划控制

面向自动驾驶视频式 BEV 感知对大规模、高一致性标注数据的需求,Panacea+在 Panacea 基础上用两阶段扩散生成、分解 4D 注意力、BEV/文本可控 ControlNet、多视角外观噪声先验和级联超分辨率生成全景多视角驾驶视频。实验在 nuScenes 与 Argoverse 2 上显示,合成数据可提升 3D 跟踪、检测和车道检测,跟踪 AMOTA 42.7、检测 NDS 53.8,达到同类生成增强方法 SOTA。

MagicDrive: Street View Generation with Diverse 3D Geometry Control Figure 1
ICLR 20242024

MagicDrive: Street View Generation with Diverse 3D Geometry Control

Ruiyuan Gao, Kai Chen, Enze Xie, Lanqing Hong, Zhenguo Li, Dit-Yan Yeung, Qiang Xu

The Chinese University of Hong Kong, Hong Kong University of Science and Technology, Huawei Noah’s Ark Lab

世界模型3D/4D建模视频生成自动驾驶规划控制

MagicDrive针对自动驾驶街景合成中过度依赖BEV会丢失高度、深度与遮挡等3D几何的问题,基于Stable Diffusion分别编码道路地图、3D框、相机位姿和文本,并用跨视角注意力增强多摄一致性。实验显示其生成质量和几何可控性优于既有街景生成方法,合成数据还能提升BEV分割与3D目标检测训练效果。

LiDAR Data Synthesis with Denoising Diffusion Probabilistic Models Figure 1
ICRA 20242024

LiDAR Data Synthesis with Denoising Diffusion Probabilistic Models

Kazuto Nakashima, Ryo Kurazume

世界模型3D/4D建模激光雷达生成

面向低线束/稀疏 LiDAR 难以支撑高质量感知与仿真的问题,论文提出 R2DM,将距离与反射强度表示为全景图并用 DDPM 建模;重点不是简单套用扩散模型,而是系统分析表示、损失与空间归纳偏置,发现显式 Fourier 空间偏置显著影响点云保真度。实验在 KITTI-360 与 KITTI-Raw 的生成任务及 KITTI-360 补全/线束上采样中超过既有方法,并声称计算成本低于基线。

LOGen: Toward LiDAR Object Generation by Point Diffusion Figure 1
arXiv preprint 20242024

LOGen: Toward LiDAR Object Generation by Point Diffusion

Ellington Kirby, Mickael Chen, Renaud Marlet, Nermin Samet, Ecole des Ponts, Univ Gustave Eiffel

世界模型3D/4D建模激光雷达生成

LOGen针对自动驾驶中整帧LiDAR生成困难、而物体外观强依赖传感器距离/视角和反射强度的问题,将任务收缩到LiDAR物体级生成。其核心是直接在带强度的3D点上做Transformer扩散,并用类别、观测角、距离等条件控制生成。作者在nuScenes和KITTI-360上以新设计的物体级3D指标及语义分割感知评估比较多种扩散基线,7.5M参数模型取得更好的生成质量,但多类统一建模和大物体内存效率仍有限。

HoloDrive: Holistic 2D-3D Multi-Modal Street Scene Generation for Autonomous Driving Figure 1
arXiv preprint 20242024

HoloDrive: Holistic 2D-3D Multi-Modal Street Scene Generation for Autonomous Driving

Jingcheng Ni, Xiaodong Wang, Yuxin Guo, Rui Chen, Lewei Lu, Jifeng Dai

Sensetime Research, Shanghai Artificial Intelligence Laboratory, Peking University, Tsinghua University

世界模型3D/4D建模视频生成激光雷达生成自动驾驶

自动驾驶生成式世界模型多只生成相机或 LiDAR,难以保证纹理语义与三维几何一致。HoloDrive 将成熟 2D/3D 生成器用 BEV-to-Camera、Camera-to-BEV 模块连接,并在图像分支加入 LiDAR 监督的深度预测以缓解反投影歧义,再通过时序结构和渐进训练扩展到未来预测。在 nuScenes 单帧生成与世界模型基准上,其相机、点云生成指标及 2D-3D 一致性均优于已有方法。

DrivingDiffusion: Layout-Guided Multi-View Driving Scene Video Generation with Latent Diffusion Model Figure 1
ECCV 20242025

DrivingDiffusion: Layout-Guided Multi-View Driving Scene Video Generation with Latent Diffusion Model

Xiaofan Li, Yifu Zhang, Xiaoqing Ye

Baidu Inc

世界模型3D/4D建模视频生成自动驾驶多视角生成

针对自动驾驶多视角视频采集与标注成本高、BEV感知又依赖大规模时序数据的问题,DrivingDiffusion以3D layout控制潜扩散生成,级联多视角首帧、共享单视角时序模型与滑窗后处理,并用跨视角注意力、几何一致性、关键帧控制和局部提示改善视角/时间一致性及实例质量;在nuScenes上取得优于既有视频合成方法的效果,可用于数据增强与场景仿真。

DiVE: DiT-Based Video Generation with Enhanced Control Figure 1
arXiv preprint 20242024

DiVE: DiT-Based Video Generation with Enhanced Control

Junpeng Jiang

Harbin Institute of Technology (Shenzhen), Tsinghua University, Westlake University, National University of Singapore

世界模型3D/4D建模视频生成规划控制

DiVE面向自动驾驶中多视角视频数据昂贵、长时序和极端场景难生成的问题,在OpenSora式DiT上引入无参数空间视角膨胀注意力、文本/BEV实例布局联合交叉注意力与ControlNet-Transformer,以同时约束跨视角一致性和道路/目标布局。nuScenes实验显示其相较MagicDrive生成更可控、更一致的视频;但具体量化增益来源在给定文本中未充分说明。

Copilot4D: Learning Unsupervised World Models for Autonomous Driving via Discrete Diffusion Figure 1
ICLR 20242024

Copilot4D: Learning Unsupervised World Models for Autonomous Driving via Discrete Diffusion

Lunjun Zhang, Yuwen Xiong, Ze Yang, Sergio Casas, Rui Hu, Raquel Urtasun

Waabi University of Toronto

世界模型3D/4D建模激光雷达生成自动驾驶规划控制

针对自动驾驶世界模型难以直接处理复杂非结构化激光雷达观测、且生成未来帧需可扩展并行解码的问题,Copilot4D先用VQVAE将点云离散化为BEV token,再以重释MaskGIT的离散扩散Transformer自回归预测未来。在NuScenes、KITTI和Argoverse2上,1秒点云预测Chamfer距离较SOTA降65%以上,3秒降50%以上。

BEVWorld: A Multimodal World Simulator for Autonomous Driving via Scene-Level BEV Latents Figure 1
arXiv preprint 20242024

BEVWorld: A Multimodal World Simulator for Autonomous Driving via Scene-Level BEV Latents

Yumeng Zhang, Shi Gong, Kaixin Xiong, Xiaoqing Ye, Xiaofan Li, Xiao Tan, Fan Wang, Jizhou Huang, Hua Wu, Haifeng Wang

Baidu Inc., China

世界模型3D/4D建模视频生成激光雷达生成自动驾驶

针对自动驾驶世界模型难以同时刻画2D环视外观、3D几何与未来行为的问题,BEVWorld将相机和激光雷达压缩到统一BEV latent,并用可渲染tokenizer重建多模态观测,再以动作条件的BEV序列扩散模型预测未来。nuScenes和Carla实验显示其在多模态未来生成、视频质量及感知/运动预测下游任务上优于或接近已有方法。

XCube: Large-Scale 3D Generative Modeling using Sparse Voxel Hierarchies Figure 1
CVPR 20242024

XCube: Large-Scale 3D Generative Modeling using Sparse Voxel Hierarchies

Xuanchi Ren, Jiahui Huang, Xiaohui Zeng, Ken Museth, Sanja Fidler, Francis Williams

NVIDIA, University of Toronto, Vector Institute

世界模型3D/4D建模占用预测仿真

针对现有3D生成先验分辨率低、难扩展到自动驾驶等大场景的问题,XCube用稀疏体素层级与逐层条件的潜空间扩散,将粗到细几何建模和VDB高效结构结合,可生成带语义、法线、TSDF等属性的高分辨率占用。实验覆盖ShapeNet、Objaverse、Waymo和Karton City,在无条件、文本/类别条件、单帧激光补全和编辑任务上优于既有方法,并能在30秒内生成最高1024³、百万级体素的物体或100米级场景。

Pyramid Diffusion for Fine 3D Large Scene Generation Figure 1
ECCV 20242025

Pyramid Diffusion for Fine 3D Large Scene Generation

Yuheng Liu, Xinke Li, Xueting Li, Lu Qi, Chongshou Li, Ming-Hsuan Yang

世界模型3D/4D建模占用预测仿真

面向大规模户外3D场景生成,论文指出单一扩散模型受显存、数据稀缺和细节复杂度限制,容易生成不稳定或缺少小物体。其核心是Pyramid Discrete Diffusion:按尺度由粗到细训练多个离散扩散模型,并在最高尺度用场景切分共享模型以控制开销。实验在CarlaSC与SemanticKITTI上显示,相近计算资源下生成质量优于直接扩散/潜空间基线,支持无条件与条件生成,并展示跨数据微调和无限场景扩展能力。

MagicDrive3D: Controllable 3D Generation for Any-View Rendering in Street Scenes Figure 1
WACV 20262026

MagicDrive3D: Controllable 3D Generation for Any-View Rendering in Street Scenes

Ruiyuan Gao, Kai Chen, Zhihao Li, Lanqing Hong, Zhenguo Li, Qiang Xu

HKUST, Huawei Noah’s Ark Lab

世界模型3D/4D建模视频生成自动驾驶仿真

面向自动驾驶仿真,现有3D街景生成依赖密集多视角或静态场景,难以适配nuScenes等常规数据。MagicDrive3D将可控多视角视频生成置于3DGS之前,用道路图、3D框、文本和相对位姿生成重建友好的视图,再以FTGS、单目深度初始化和外观建模缓解生成误差与曝光不一致。实验显示其可生成可控高质量3D街景、支持任意视角渲染,并能提升BEV分割的视角鲁棒性。

DreamForge: Motion-Aware Autoregressive Video Generation for Multi-View Driving Scenes Figure 1
arXiv preprint 20242024

DreamForge: Motion-Aware Autoregressive Video Generation for Multi-View Driving Scenes

Jianbiao Mei, Tao Hu, Xuemeng Yang, Licheng Wen, Yu Yang, Tiantian Wei, Yukai Ma, Min Dou, Botian Shi, Yong Liu

Zhejiang University, Shanghai Artificial Intelligence Laboratory, University of Science and Technology of China, Technical University of Munich

世界模型3D/4D建模视频生成自动驾驶仿真

DreamForge面向自动驾驶世界模型中几何控制不准、长时多视角视频易失去时序一致性的问题,在扩散生成框架中加入透视引导、对象级位置编码和运动感知时序注意力,并用自回归方式延长短序列模型的生成范围。论文报告其可生成超过200帧多视角驾驶视频,在16帧评测中优于基线,并接入DriveArena用于视觉驾驶智能体的开环和闭环仿真评估。

Doe-1: Closed-Loop Autonomous Driving with Large World Model Figure 1
arXiv preprint 20242024

Doe-1: Closed-Loop Autonomous Driving with Large World Model

Wenzhao Zheng

Department of Automation, Tsinghua University, China

世界模型3D/4D建模视频生成自动驾驶仿真

针对端到端自动驾驶多为开环、手工场景表示可扩展性弱且难以建模规划与未来场景交互的问题,Doe-1将驾驶过程统一为多模态token的自回归世界模型:用文本做感知描述、RGB图像token预测未来、位置感知动作token进行规划,形成闭环的感知-规划-预测转移。在nuScenes上,其无需针对任务微调即可完成视觉问答、动作条件视频生成和运动规划;但当前主要使用前视图输入,环视安全性仍未充分覆盖。

RoboDreamer: Learning Compositional World Models for Robot Imagination Figure 1
arXiv preprint 20242024

RoboDreamer: Learning Compositional World Models for Robot Imagination

Siyuan Zhou, Yilun Du, Jiaben Chen, Yandong Li, Dit-Yan Yeung, Chuang Gan

世界模型3D/4D建模视频生成机器人

RoboDreamer针对机器人文本到视频世界模型难以泛化到未见物体—动作组合、且难表达精确空间目标的问题,将指令解析为动作和对象关系等低层原语,并用组合式扩散模型生成视频计划,还可融合目标图像/草图等多模态条件。实验显示其在RT-X未见目标视频合成、仿真机器人执行和人评/检测指标上优于整体式视频生成基线,但真实世界和多相机场景仍受限。

Foundation Models in Robotics: Applications, Challenges, and the Future Figure 1
IJRR 20242025

Foundation Models in Robotics: Applications, Challenges, and the Future

Anirudha Majumdar, Yuke Zhu, Karol Hausman, Danny Driess

世界模型3D/4D建模机器人

机器人学习长期受任务专用小数据集限制,难以泛化到开放环境。本文作为综述,将预训练基础模型在机器人中的作用系统归纳到感知、决策规划与控制三条链路,强调LLM/VLM可带来开放词汇识别、语言条件策略、代码式规划和零样本迁移等能力。主要结果是形成应用版图与问题清单,指出落地瓶颈集中在机器人数据稀缺、实时推理、安全保证、不确定性量化和可复现评测,文中不主张单一新算法增益。

SSCBench: A Large-Scale 3D Semantic Scene Completion Benchmark for Autonomous Driving Figure 1
IROS 20242024

SSCBench: A Large-Scale 3D Semantic Scene Completion Benchmark for Autonomous Driving

Yiming Li, Sihang Li, Xinhao Liu, Moonjun Gong, Kenan Li, Nuo Chen, Zijun Wang, Zhiheng Li, Tao Jiang, Fisher Yu, Yue Wang, Hang Zhao, Zhiding Yu, Chen Feng

New York University, Tsinghua University, ETH Zurich, NVIDIA

世界模型3D/4D建模自动驾驶评测基准数据集

针对户外语义场景补全长期受 SemanticKITTI 规模小、动态物体标注不准限制的问题,SSCBench 将 KITTI-360、nuScenes、Waymo 等驾驶数据统一为兼容格式,并用多帧 LiDAR 聚合与 3D 框校正动态目标,形成约 8 倍于 SemanticKITTI、覆盖六城的基准。论文还统一跨数据集语义标签,评测单目、三目和点云输入,展示传感器覆盖与模态带来的性能差距,但主要贡献可能主要来自 scaling / data。

NAVSIM: Data-Driven Non-Reactive Autonomous Vehicle Simulation and Benchmarking Figure 1
NeurIPS 20242024

NAVSIM: Data-Driven Non-Reactive Autonomous Vehicle Simulation and Benchmarking

Daniel Dauner, Marcel Hallgarten, Tianyu Li, Xinshuo Weng, Zhiyu Huang, Zetong Yang, Hongyang Li, Igor Gilitschenski, Boris Ivanovic, Marco Pavone, Andreas Geiger, Kashyap Chitta

Tübingen AI Center, OpenDriveLab at Shanghai AI Lab, NVIDIA Research, Nanyang Technological University, University of Toronto, Vector Institute, Stanford University

世界模型3D/4D建模自动驾驶评测基准数据集

针对自动驾驶评测中真实数据开环指标难反映闭环表现、仿真闭环又昂贵且有域差的问题,NAVSIM提出基于大规模真实场景的非反应式BEV短时展开评测,用进度、碰撞时间等仿真式指标替代单纯位移误差,并构建超10万挑战场景和公开服务器。实验与CVPR 2024挑战显示,该指标更接近闭环结果,且TransFuser等中等算力方法可匹敌UniAD等大型端到端架构。

DrivingDojo Dataset: Advancing Interactive and Knowledge-Enriched Driving World Model Figure 1
NeurIPS 20242024

DrivingDojo Dataset: Advancing Interactive and Knowledge-Enriched Driving World Model

Yuqi Wang, Ke Cheng, Jiawei He, Qitai Wang, Hengchen Dai, Fei Xia, Zhaoxiang Zhang

New Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences, School of Artificial Intelligence, University of Chinese Academy of Sciences, Meituan Inc. Centre for Artificial Intelligence and Robotics, HKISI, CAS

世界模型3D/4D建模自动驾驶评测基准数据集

现有自动驾驶世界模型受限于感知导向数据集,缺少复杂机动、多车交互和长尾事件,难以支撑动作可控的未来预测。DrivingDojo从大规模真实行车视频中构建面向交互世界模型的数据集,覆盖变道、急刹、掉头、cut-in/cut-off及动物、落物等开放世界知识,并提出动作指令跟随(AIF)基准。实验显示,用该数据训练的基线在驾驶视频生成和动作条件预测上优于对比数据,但模型仍存在幻觉和短时预测限制。

UrbanWorld: An Urban World Model for 3D City Generation Figure 1
arXiv preprint 20242024

UrbanWorld: An Urban World Model for 3D City Generation

Yu Shang, Yuming Lin, Yu Zheng, Hangyu Fan, Jingtao Ding, Jie Feng, Jiansheng Chen, Li Tian, Yong Li

Tsinghua University, University of Science and Technology Beijing

世界模型3D/4D建模数字孪生

面向高保真城市数字孪生仍依赖大量人工建模、且现有生成场景难以支持具身交互的问题,UrbanWorld将OSM/语义高度图布局、城市专用MLLM规划与反馈、渐进式3D扩散纹理渲染串成自动流水线,可由文本或图像条件生成可控城市环境。实验用FID/KID、深度误差、多样性和偏好评分等显示其真实感优于既有3D城市生成方法,并展示了智能体感知与导航,但交互能力更多是案例验证。

VDG: Vision-Only Dynamic Gaussian for Driving Simulation Figure 1
RA-L 20252025

VDG: Vision-Only Dynamic Gaussian for Driving Simulation

Hao Li, Jingfeng Li, Dingwen Zhang, Chenming Wu, Jieqi Shi, Chen Zhao, Haocheng Feng, Errui Ding, Jingdong Wang, Junwei Han

The School of Automation, Northwestern Polytechnical University, Department of Computer Vision Technology (VIS), Baidu Inc, HKUST Aerial Robotics Group, Hong Kong University of Science and Technology, HKSAR, China

世界模型3D/4D建模视频生成自动驾驶仿真

面向自动驾驶仿真中动态城市场景重建依赖 SfM 位姿、LiDAR/RGB-D 或标注监督的问题,VDG 将自监督视觉里程计引入 pose-free 动态 3D Gaussian,用估计位姿与同尺度稠密深度初始化高斯,并用 VO 生成的运动掩码监督静动态分解。实验在 Waymo 与 KITTI 上显示其渲染质量和动静分解优于现有动态视图合成方法,且更适合仅 RGB 输入的大场景构建;但文中也提示精确几何重建能力仍有限。

UniGaussian: Driving Scene Reconstruction from Multiple Camera Models via Unified Gaussian Representations Figure 1
3DV 20262026

UniGaussian: Driving Scene Reconstruction from Multiple Camera Models via Unified Gaussian Representations

Yuan Ren, Guile Wu, Runhao Li, Zheyuan Yang, Yibo Liu, Xingxin Chen, Tongtong Cao, Bingbing Liu

Huawei Noah’s Ark Lab University of Toronto York University

世界模型3D/4D建模视频生成自动驾驶仿真

UniGaussian面向自动驾驶仿真中鱼眼相机难以被现有3DGS高质量建模的问题,将鱼眼光线畸变转化为对3D高斯的平移、旋转与拉伸等仿射变形,并在统一框架中联合针孔/鱼眼相机及深度、语义、法线、LiDAR监督学习共享高斯表示。实验显示其在驾驶场景重建中提升渲染质量,同时保持快速、近实时渲染。

Stag-1: Towards Realistic 4D Driving Simulation with Video Generation Model Figure 1
arXiv preprint 20242024

Stag-1: Towards Realistic 4D Driving Simulation with Video Generation Model

First Author, Institution address, Second Author, First line of institution address, Lening Wang

Beihang University, Tsinghua University PhiGent Robotics Peking University

世界模型3D/4D建模视频生成自动驾驶仿真

面向自动驾驶仿真中真实路测成本高、传统3D建模与纯视频生成难以同时保证视角变换和时序一致的问题,Stag-1用环视数据构建连续4D点云,并将自车/相机运动、稀疏点云补全与跨视角扩散视频生成结合,显式解耦空间与时间控制。实验在NuScenes、Waymo等数据上显示,其在新视角合成、冻结时间视角移动和固定视角时间演化中优于多种NeRF/3DGS及生成式基线,背景连贯性和多视角一致性更好。

SCube: Instant Large-Scale Scene Reconstruction using VoxSplats Figure 1
NeurIPS 20242024

SCube: Instant Large-Scale Scene Reconstruction using VoxSplats

Mike Chen, Sanja Fidler, Jiahui Huang, Hanxue Liang, Huan Ling, Yifan Lu, Xuanchi Ren, Francis Williams, Zhangjie Wu

NVIDIA, University of Toronto, Vector Institute, Shanghai Jiao Tong University, University of Cambridge, National University of Singapore

世界模型3D/4D建模视频生成仿真场景重建

SCube针对NeRF/3DGS类方法需逐场景优化、稀疏视角下难外推且大场景开销高的问题,提出VoxSplat表示:在高分辨率稀疏体素层级上承载3D高斯,并用图像条件的层级体素潜扩散先生成几何/语义,再前馈预测体素内高斯外观和天空盒。论文在Waymo稀疏、低重叠输入上优于既有方法,少至3张图可在约20秒内重建百米级1024³场景,并展示新视角、LiDAR仿真和文本到场景应用。

S3Gaussian: Self-Supervised Street Gaussians for Autonomous Driving Figure 1
arXiv preprint 20242024

S3Gaussian: Self-Supervised Street Gaussians for Autonomous Driving

Nan Huang

UC Berkeley, Peking University, Tsinghua University

世界模型3D/4D建模视频生成自动驾驶仿真

面向自动驾驶闭环仿真,街景重建需要在无昂贵3D框/轨迹标注下处理动态车辆与静态背景。S3Gaussian以3D Gaussian保持显式高效表示,并引入多分辨率Hexplane时空场与多头Gaussian解码器,从4D一致性自监督分解动静元素、预测高斯形变。在Waymo/NOTR等实验中,其无3D监督设置下获得更好的场景分解、重建与新视角合成质量,但高速运动物体仍较难建模。

OccScene: Semantic Occupancy-Based Cross-Task Mutual Learning for 3D Scene Generation Figure 1
TPAMI 20252025

OccScene: Semantic Occupancy-Based Cross-Task Mutual Learning for 3D Scene Generation

Bohan Li, Xin Jin, Jianan Wang, Yukai Shi, Yasheng Sun, Xiaofeng Wang, Zhuang Ma, Baao Xie, Chao Ma, Xiaokang Yang, Wenjun Zeng

世界模型3D/4D建模视频生成占用预测仿真

针对3D场景生成与语义占用感知长期割裂、依赖昂贵GT先验且合成数据未必服务下游任务的问题,OccScene将文本驱动扩散生成与占用预测放入联合互学习框架,并用Mamba式双重对齐把语义/几何占用先验注入扩散潜空间。实验显示其能生成室内外一致的RGB-Occupancy场景,同时提升语义占用预测性能。

HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting Figure 1
CVPR 20242024

HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting

Andreas Geiger

{}^{4} start_FLOATSUPERSCRIPT 4 end_FLOATSUPERSCRIPT Tübingen AI Center

世界模型3D/4D建模视频生成仿真数字孪生

HUGS面向自动驾驶仿真中仅用有位姿RGB图像重建动态城市数字孪生的需求,避免依赖LiDAR或精确3D框。其核心是用静态/动态3D Gaussian联合优化外观、几何、语义与运动,并用单车模型等物理约束稳定噪声3D轨迹,同时引入语义、光流和曝光建模。实验在KITTI、KITTI-360和Virtual KITTI 2上实现实时新视角渲染,并在外观/语义合成与3D语义重建上达到SOTA。

Dynamic 3D Gaussian Fields for Urban Areas Figure 1
NeurIPS 20242024

Dynamic 3D Gaussian Fields for Urban Areas

Tobias Fischer, Jonas Kulhanek, Samuel Rota Bulò, Lorenzo Porzi, Marc Pollefeys, Peter Kontschieder

Meta Reality Labs

世界模型3D/4D建模视频生成仿真数字孪生

面向自动驾驶闭环仿真、AR/VR 和城市数字孪生,论文针对大规模动态城市场景在天气、季节、光照与运动物体下难以高质量实时重建的问题,提出 4DGF:以 3D Gaussian 作高效几何骨架,用固定规模神经场建模外观与瞬态变化,并通过场景图和局部形变处理动态对象。实验在四个户外动态基准上较 SOTA 提升超过 3 dB PSNR,渲染速度快 200 倍以上。

DrivingRecon: Large 4D Gaussian Reconstruction Model For Autonomous Driving Figure 1
arXiv preprint 20242024

DrivingRecon: Large 4D Gaussian Reconstruction Model For Autonomous Driving

Hao LU, Tianshuo XU, Wenzhao ZHENG, Yunpeng ZHANG, Wei ZHAN, Dalong DU, Masayoshi Tomizuka, Kurt Keutzer, Yingcong CHEN

The Hong Kong University of Science & Technology (Guangzhou), The Hong Kong University of Science & Technology, University of California, Berkeley

世界模型3D/4D建模视频生成自动驾驶仿真

面向自动驾驶闭环仿真中动态街景重建慢、难泛化的问题,DrivingRecon用前馈模型从环视视频直接预测4D Gaussian。其关键在PD-Block去除相邻视角重复与背景冗余点,并通过时序注意力和动静解耦缓解稀疏视角监督。实验显示其在重建质量、新视角合成和跨场景泛化上优于现有迭代式方法,并展示了预训练、车辆适配与场景编辑用途。

UnO: Unsupervised Occupancy Fields for Perception and Forecasting Figure 1
CVPR 20242024

UnO: Unsupervised Occupancy Fields for Perception and Forecasting

Ben Agro

Waabi 1 , University of Toronto

世界模型3D/4D建模占用预测规划控制

UnO针对自动驾驶世界模型依赖昂贵、类别受限标注的问题,利用未标注LiDAR自监督学习可连续查询的4D时空占用场,并将占用建模与点云渲染解耦,以分类式隐式表示减少体素量化和深度回归限制。该表示可迁移到点云预测和BEV语义占用预测,在Argoverse 2、nuScenes、KITTI达到SOTA,并在少标注场景优于全监督方法。

Self-Supervised Multi-Future Occupancy Forecasting for Autonomous Driving Figure 1
RSS 20252025

Self-Supervised Multi-Future Occupancy Forecasting for Autonomous Driving

Bernard Lange, Masha Itkina, Jiachen Li, Mykel Kochenderfer

Stanford University, University of California, Riverside

世界模型3D/4D建模占用预测自动驾驶规划控制

针对传统占用栅格预测在网格空间做确定性外推、易模糊且难表达多种未来的问题,本文提出 LOPR:在生成模型潜空间中用变分与确定性 Transformer 自回归预测 L-OGM,并可融合相机、地图和规划轨迹;单步解码支持实时,扩散批量解码改善时序一致性。nuScenes 与 Waymo 实验显示其在定量和定性上优于既有方法,并能生成多样未来、推断遮挡目标。

OccWorld: Learning A 3D Occupancy World Model for Autonomous Driving Figure 1
ECCV 20242025

OccWorld: Learning A 3D Occupancy World Model for Autonomous Driving

Wenzhao Zheng

Department of Automation, Tsinghua University, China, Department of Electronic Engineering, Tsinghua University, China

世界模型3D/4D建模占用预测自动驾驶规划控制

面向自动驾驶中仅预测目标框难以刻画细粒度场景演化、且依赖实例与地图标注的问题,OccWorld将世界模型建在3D语义占用空间:先用VQ-VAE把占用场景离散化为token,再以类GPT的时空生成Transformer自回归预测未来占用与自车轨迹。在nuScenes上,给定2秒历史预测3秒未来达到26.63 IoU、17.13 mIoU,并在无实例和地图监督下取得1.16的规划L2误差。

OccSora: 4D Occupancy Generation Models as World Simulators for Autonomous Driving Figure 1
TIP 20262026

OccSora: 4D Occupancy Generation Models as World Simulators for Autonomous Driving

Lening Wang

State Key Lab of Intelligent Transportation System, Beihang University, China, EECS, UC Berkeley, United States Department of Automation, Tsinghua University, China

世界模型3D/4D建模占用预测自动驾驶仿真

面向自动驾驶中长期场景演化建模,OccSora针对自回归占用预测难以高效生成长时序的问题,将4D占用表示离散化为紧凑时空token,并在其上训练可由自车轨迹条件控制的扩散Transformer。论文在nuScenes/Occ3D上展示其可生成16秒4D占用序列,具备较一致的3D布局与时间连续性,但细粒度运动物体一致性仍受体素粒度和数据规模限制。

OccLLaMA: An Occupancy-Language-Action Generative World Model for Autonomous Driving Figure 1
arXiv preprint 20242024

OccLLaMA: An Occupancy-Language-Action Generative World Model for Autonomous Driving

Julong Wei, Shanshuai Yuan, Pengfei Li, Qingda Hu, Zhongxue Gan, Wenchao Ding

世界模型3D/4D建模占用预测自动驾驶规划控制

针对现有自动驾驶 MLLM 多从感知直接映射到动作、缺少对场景演化与动作影响的建模,OccLLaMA 将语义占用作为统一 3D 表征,用 VQVAE 式稀疏场景 tokenizer 离散化占用,并把视觉、语言、动作纳入 LLaMA 自回归词表中做预测。实验显示其在 4D 占用预测、运动规划和视觉问答上达到有竞争力的表现,但跨任务增益中 scaling / data 的贡献仍未充分说明。

GaussianAD: Gaussian-Centric End-to-End Autonomous Driving Figure 1
arXiv preprint 20242024

GaussianAD: Gaussian-Centric End-to-End Autonomous Driving

Wenzhao Zheng

Tsinghua University Li Auto Peking University

世界模型3D/4D建模占用预测自动驾驶场景重建

针对BEV等稠密表示计算重、实例框等稀疏表示信息不足的问题,GaussianAD将多视角图像逐步优化为3D语义高斯,用稀疏卷积完成感知,并为动态高斯预测3D flow以联合未来场景预测和自车规划。nuScenes实验显示其在端到端运动规划、3D占用预测和4D占用预测上有效且效率较高,但新出现区域的演化预测仍受限。

FSF-Net: Enhance 4D Occupancy Forecasting with Coarse BEV Scene Flow for Autonomous Driving Figure 1
Pattern Recognition2026

FSF-Net: Enhance 4D Occupancy Forecasting with Coarse BEV Scene Flow for Autonomous Driving

Erxin Guo, Pei An, You Yang, Qiong Liu, An-An Liu

1. School of Electronic, Huazhong University of Science and Technology, Wuhan 430074, China, 2. School of Electrical and Information Engineering, Tianjin University,Tianjin 300072, China

世界模型3D/4D建模占用预测自动驾驶规划控制

面向自动驾驶中难以高效学习4D占用时空演化、精确3D场景流又代价高的问题,FSF-Net提出用易获得的粗粒度BEV场景流近似运动趋势,并结合VQ-Mamba提取时空结构特征、U-Net质量融合生成细粒度预测。在Occ3D上,相比SOTA的IoU和mIoU分别提升9.56%和10.87%。

DriveWorld: 4D Pre-Trained Scene Understanding via World Models for Autonomous Driving Figure 1
CVPR 20242024

DriveWorld: 4D Pre-Trained Scene Understanding via World Models for Autonomous Driving

Chen Min, Jian Zhao, Xinli Xu, Zheng Zhu, Lei Jin, Jianshu Li, Yulan Guo, Junliang Xing, Liping Jing, Yiming Nie, Bin Dai

School of Computer Science, Peking University, Unmanned Systems Technology Research Center, Defense Innovation Institute, China Telecom Institute of AI & NPU, HKUST, Ant Group

世界模型3D/4D建模占用预测自动驾驶规划控制

DriveWorld针对视觉自动驾驶预训练多停留在2D/3D、缺少时间建模的问题,将多相机视频作为4D场景理解来学习世界模型。其核心是Memory State-Space Model,用动态记忆预测未来变化、静态传播补全空间上下文,并用Task Prompt适配不同任务。在OpenScene预训练后,3D检测mAP、在线地图IoU、跟踪AMOTA、占用IoU和规划L2等多项指标均有提升。

DOME: Taming Diffusion Model into High-Fidelity Controllable Occupancy World Model Figure 1
arXiv preprint 20242024

DOME: Taming Diffusion Model into High-Fidelity Controllable Occupancy World Model

Songen Gu, Wei Yin, Bu Jin, Xiaoyang Guo, Junming Wang, Haodong Li, Qian Zhang, Horizon Robotics

Institute of Software Chinese Academy of Sciences, University of Chinese Academy of Sciences, Institute of Automation Chinese Academy of Sciences, The University of Hong Kong, University of Pennsylvania, HKUST(GZ), HKUST

世界模型3D/4D建模占用预测规划控制

DOME面向自动驾驶中需预测环境演化以支持规划的问题,针对占用世界模型离散token损失细节、时空建模弱和轨迹可控性不足,采用连续潜空间Occ-VAE与时空扩散Transformer,并用轨迹重采样增强细粒度控制。在nuScenes上,其3D重建与4D占用预测均超过基线,4D预测mIoU提升36.0%、IoU提升24.6%。

Cam4DOcc: Benchmark for Camera-Only 4D Occupancy Forecasting in Autonomous Driving Applications Figure 1
CVPR 20242024

Cam4DOcc: Benchmark for Camera-Only 4D Occupancy Forecasting in Autonomous Driving Applications

Junyi Ma, Xieyuanli Chen, Jiawei Huang, Jingyi Xu, Zhen Luo, Jintao Xu, Weihao Gu, Rui Ai, Hesheng Wang

世界模型3D/4D建模占用预测自动驾驶评测基准

面向自动驾驶中仅凭相机不仅要感知当前占用、还要预测近未来动态场景的需求,Cam4DOcc构建了首个camera-only 4D占用预测基准,整合nuScenes等数据生成时序语义/实例占用与3D反向向心流,并给出四类基线及标准评测。实验显示端到端OCFNet优于静态、点云预测体素化和2D-3D实例预测基线;膨胀GMO标注与额外flow监督有益,但长时域多目标预测仍具挑战。

An Efficient Occupancy World Model via Decoupled Dynamic Flow and Image-Assisted Training Figure 1
arXiv preprint 20242024

An Efficient Occupancy World Model via Decoupled Dynamic Flow and Image-Assisted Training

Haiming Zhang, Ying Xue, Jiacheng Zhang, Weichao Qiu, Dongfeng Bai, Bingbing Liu, Shuguang Cui, Zhen Li

Huawei Noah’s Ark Lab

世界模型3D/4D建模占用预测自动驾驶规划控制

面向自动驾驶中既要理解当前3D场景又要预测未来演化的需求,DFIT-OccWorld针对OccWorld两阶段训练低效、忽略显式结构与图像线索的问题,将4D占用预测改写为动静态解耦的体素扭曲:动态体素由预测voxel flow传播,静态体素通过位姿变换获得,并用可微体渲染深度与光度一致性进行图像辅助训练。在nuScenes和OpenScene上,其在4D占用预测、端到端规划和点云预测中达到SOTA,同时计算开销低于既有3D世界模型。

Urban Scene Diffusion through Semantic Occupancy Map Figure 1
arXiv preprint 20242024

Urban Scene Diffusion through Semantic Occupancy Map

Junge Zhang

世界模型3D/4D建模占用预测数字孪生

面向自动驾驶仿真中仅生成图像难以保留可交互几何与语义的问题,UrbanDiffusion将城市世界建模为BEV条件下的语义占用图生成,在潜空间训练3D扩散去噪器,并用可扩展表示拼接多帧以合成任意尺度场景。实验表明其能在nuScenes BEV布局上生成多样城市结构,并可泛化到MetaDrive合成地图,还可作为场景补全、外扩和图像合成的几何语义先验。

SemCity: Semantic Scene Generation with Triplane Diffusion Figure 1
CVPR 20242024

SemCity: Semantic Scene Generation with Triplane Diffusion

Jumin Lee, Sebin Lee, Changho Jo, Woobin Im, Juhyeong Seon, Sung-Eui Yoon

KAIST

世界模型3D/4D建模占用预测仿真数字孪生

SemCity针对真实户外场景生成中体素空间大、空区域多且传感器遮挡导致分布难学的问题,将语义占用场景压缩为三平面表示,并在该潜空间训练扩散模型;其三平面操控可统一支持补全细化、外推扩展和局部编辑。SemanticKITTI实验显示,相比既有方法生成质量更好,并能无缝增删改物体、扩展到城市尺度,同时提升语义场景补全网络预测。

Vista: A Generalizable Driving World Model with High Fidelity and Versatile Controllability Figure 1
NeurIPS 20242024

Vista: A Generalizable Driving World Model with High Fidelity and Versatile Controllability

Shenyuan Gao, Jiazhi Yang, Li Chen, Kashyap Chitta, Yihang Qiu, Andreas Geiger, Jun Zhang, Hongyang Li

Hong Kong University of Science and Technology, OpenDriveLab at Shanghai AI Lab, Tübingen AI Center, University of Hong Kong

世界模型3D/4D建模视频生成自动驾驶规划控制

Vista 针对自动驾驶世界模型在未见场景泛化、关键细节保真和动作控制形式单一上的不足,基于大规模全球驾驶视频训练扩散式预测模型,并用运动实例/结构损失、历史 latent 替换和统一动作接口支持从指令到轨迹、转角、速度的控制。实验显示其在多数比较中优于通用视频生成器,并相对既有驾驶世界模型显著降低 FID/FVD,还可作为无需真值动作的动作评估奖励。

InfinityDrive: Breaking Time Limits in Driving World Models Figure 1
arXiv preprint 20242024

InfinityDrive: Breaking Time Limits in Driving World Models

Xi Guo, Chenjing Ding, Haoxuan Dou, Xin Zhang, Weixuan Tang, Wei Wu

SenseAuto Tsinghua University

世界模型3D/4D建模视频生成自动驾驶规划控制

InfinityDrive针对自动驾驶世界模型缺少长时、多样且高分辨率仿真数据的问题,提出高效时空协同建模、逐步扩展到128帧的时域训练,以及记忆注入/保持和自适应记忆曲线损失来抑制自回归漂移,并结合I2V/T2V与文本增强提升场景多样性。实验显示其可生成576×1024、超过1500帧的分钟级一致驾驶视频,在保真度、时序一致性和多样性上优于既有方法。

DrivingWorld: Constructing World Model for Autonomous Driving via Video GPT Figure 1
arXiv preprint 20242024

DrivingWorld: Constructing World Model for Autonomous Driving via Video GPT

Xiaotao Hu, Wei Yin, Mingkai Jia, Junyuan Deng, Xiaoyang Guo, Qian Zhang, Xiaoxiao Long, Ping Tan

The Hong Kong University of Science and Technology

世界模型3D/4D建模视频生成自动驾驶规划控制

针对传统 GPT 将驾驶视频压成一维 token 后难以同时建模空间结构与长时序一致性的问题,DrivingWorld 采用时序感知 tokenizer、先预测下一状态再预测帧内 token 的混合自回归策略,并用随机 token dropout 与均衡注意力缓解长时漂移。实验显示其可生成超过 40 秒、可控性更好的驾驶视频,时长约为已有驾驶世界模型的两倍以上,并在视觉质量和轨迹预测上优于对比方法。

DrivingGPT: Unifying Driving World Modeling and Planning with Multi-Modal Autoregressive Transformers Figure 1
ICCV 20252025

DrivingGPT: Unifying Driving World Modeling and Planning with Multi-Modal Autoregressive Transformers

Yuntao Chen, Yuqi Wang, Zhaoxiang Zhang

New Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences, School of Artificial Intelligence, University of Chinese Academy of Sciences, Centre for Artificial Intelligence and Robotics, HKISI, CAS

世界模型3D/4D建模视频生成自动驾驶规划控制

针对扩散式驾驶世界模型难以灵活接入动作并与规划端到端统一的问题,DrivingGPT将视频帧经VQ-VAE离散化、轨迹动作量化为token,构造图像与动作交织的多模态驾驶语言,用Llama式自回归Transformer做下一token预测,同时学习未来视频生成和轨迹规划。在nuPlan与NAVSIM上,其动作条件视频生成FID/FVD优于SVD,规划得分也超过视觉编码器加MLP解码器基线。

Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving Figure 1
CVPR 20242024

Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving

Zhaoxiang Zhang

世界模型3D/4D建模视频生成自动驾驶多视角生成

针对端到端自动驾驶规划在分布外偏移下易失效的问题,Drive-WM将潜在视频扩散扩展为多视角时序世界模型,并通过视角因子化提升跨相机一致性,统一接入图像、文本、3D布局和自车动作等条件。模型可按不同机动生成多个未来并用图像奖励选择轨迹;在nuScenes上生成质量、可控性和多视角一致性领先,并提升规划合理性与OOD鲁棒性。

DriveDreamer: Towards Real-World-Driven World Models for Autonomous Driving Figure 1
ECCV 20242025

DriveDreamer: Towards Real-World-Driven World Models for Autonomous Driving

Xiaofeng Wang, Zheng Zhu, Guan Huang, Xinze Chen, Jiagang Zhu, Jiwen Lu

Tsinghua University

世界模型3D/4D建模视频生成自动驾驶规划控制

针对自动驾驶世界模型多依赖仿真、难以刻画真实交通长尾与交互的问题,DriveDreamer用真实驾驶视频和人类行为训练扩散式Auto-DM,并以两阶段流程先学习HDMap、3D框等结构约束,再通过动作更新未来条件来做视频预测和策略生成。在nuScenes上,它能按文本、交通约束和驾驶动作生成更一致的驾驶视频,并在开放环规划评测中得到有竞争力结果。

Generative Range Imaging for Learning Scene Priors of 3D LiDAR Data Figure 1
WACV 20232023

Generative Range Imaging for Learning Scene Priors of 3D LiDAR Data

Kazuto Nakashima, Yumi Iwashita, Ryo Kurazume

Kyushu University, Fukuoka, Japan, Jet Propulsion Laboratory, California Institute of Technology, Pasadena, CA, USA

世界模型3D/4D建模激光雷达生成

本文针对 LiDAR 感知在不同传感器角分辨率与真实 ray-drop 缺失下的域差问题,提出基于隐式图像表示的 range image GAN,并把可微 ray-drop 损失测量过程纳入生成建模,从而同时学习连续射线采样和场景相关缺失先验。实验显示其生成保真度/多样性在多数图像与点云指标上优于点式和图像式生成基线,并可用于后验上采样、稀疏深度修复;作为 Sim2Real 语义分割的噪声模拟器时,也产生更真实的 ray-drop 并超过既有方法。

BEVControl: Accurately Controlling Street-View Elements with Multi-Perspective Consistency via BEV Sketch Layout Figure 1
arXiv preprint 20232023

BEVControl: Accurately Controlling Street-View Elements with Multi-Perspective Consistency via BEV Sketch Layout

Kairui Yang

Tianjin University, IHPC and CFAR, Agency for Science, Technology and Research, Singapore, Tsinghua University, Westlake University

世界模型3D/4D建模视频生成自动驾驶规划控制

针对自动驾驶多视角生成中,BEV 语义布局虽能生成逼真街景却难编辑且常在车辆朝向、道路细节等目标级几何上失控的问题,BEVControl改用可编辑的BEV草图,并以Controller分离前景/背景几何控制、Coordinator用跨视角跨元素注意力保持外观一致。实验显示其前景分割mIoU较BEVGen由5.89提升至26.80,用合成数据训练感知模型平均带来1.29 NDS增益。

UniSim: A Neural Closed-Loop Sensor Simulator Figure 1
CVPR 20232023

UniSim: A Neural Closed-Loop Sensor Simulator

Ze Yang, Yun Chen, Jingkang Wang, Sivabalan Manivasagam, Wei-Chiu Ma, Anqi Joyce Yang, Raquel Urtasun

Waabi, University of Toronto, Massachusetts Institute of Technology

世界模型3D/4D建模自动驾驶仿真

UniSim针对自动驾驶仅靠日志回放无法闭环交互、实车采集危险场景又不安全且不可扩展的问题,从单次真实传感器日志构建可编辑数字孪生。其核心是用多分辨率稀疏神经特征网格分别表示静态背景与动态体,并通过可学习物体先验和CNN补全外推视角,统一生成相机与LiDAR数据。实验显示其新视角仿真更逼真,下游检测、预测、规划的域差更小,并可用于安全关键场景的闭环评测。

Visual Language Maps for Robot Navigation Figure 1
ICRA 20232023

Visual Language Maps for Robot Navigation

Oier Mees, Andy Zeng, Wolfram Burgard

世界模型3D/4D建模机器人

这篇论文针对现有视觉语言导航只把 VLM 当作图像匹配器、缺少几何地图空间精度的问题,提出 VLMaps:将像素级视觉语言特征融合进 3D 重建/俯视栅格地图,使自然语言可直接索引物体与“在两者之间”“向右三米”等空间目标,并可按机器人形态生成开放词汇障碍图。仿真和真实实验表明,它比 CoW、LM-Nav 更适合长程多目标与空间化零样本导航。

Robo3D: Towards Robust and Reliable 3D Perception against Corruptions Figure 1
ICCV 20232023

Robo3D: Towards Robust and Reliable 3D Perception against Corruptions

Lingdong Kong, Youquan Liu, Xin Li, Runnan Chen, Wenwei Zhang, Jiawei Ren, Liang Pan, Kai Chen, Ziwei Liu

Shanghai AI Laboratory, National University of Singapore, East China Normal University, The University of Hong Kong, 7S-Lab, Nanyang Technological University

世界模型3D/4D建模评测基准数据集

Robo3D针对自动驾驶3D感知在干净数据集上高分但部署中易受天气、扰动和传感器故障影响的问题,构建了首个系统化LiDAR鲁棒性基准:在KITTI、SemanticKITTI、nuScenes、Waymo验证集上模拟8类腐蚀、3档强度,并评测34个检测/分割模型。结果显示SOTA在腐蚀下明显脆弱,传感器配置、数据表示和增强策略显著影响鲁棒性;体素/点体素方法优于投影视图,作者进一步提出密度不敏感训练和灵活体素化以提升稳定性。

OpenOccupancy: A Large Scale Benchmark for Surrounding Semantic Occupancy Perception Figure 1
ICCV 20232023

OpenOccupancy: A Large Scale Benchmark for Surrounding Semantic Occupancy Perception

Xiaofeng Wang, Zheng Zhu, Wenbo Xu, Yunpeng Zhang, Yi Wei, Xu Chi, Yun Ye, Dalong Du, Jiwen Lu, Xingang Wang

Institute of Automation, Chinese Academy of Sciences, University of Chinese Academy of Sciences, Tsinghua University

世界模型3D/4D建模占用预测评测基准数据集

面向自动驾驶的占用预测需要完整环视且细粒度的3D语义结构,但既有基准多为室内或仅前视、规模和多样性不足。OpenOccupancy在nuScenes上构建nuScenes-Occupancy,通过AAP流程结合多帧LiDAR、伪标签与人工净化,将标注密度约提升2倍,并提供相机、LiDAR、多模态基线及粗到细CONet。实验显示多模态相对单模态提升47%/29%,CONet在较小延迟开销下相对提升约30%。

Occ3D: A Large-Scale 3D Occupancy Prediction Benchmark for Autonomous Driving Figure 1
NeurIPS 20232023

Occ3D: A Large-Scale 3D Occupancy Prediction Benchmark for Autonomous Driving

Tao Jiang, Hang Zhao

\phantom{}{}^{1} start_FLOATSUPERSCRIPT 1 end_FLOATSUPERSCRIPT IIIS, Tsinghua University, \phantom{}{}^{3} start_FLOATSUPERSCRIPT 3 end_FLOATSUPERSCRIPT Shanghai AI Lab, \phantom{}{}^{4} start_FLOATSUPERSCRIPT 4 end_FLOATSUPERSCRIPT Shanghai Qi Zhi Institute

世界模型3D/4D建模占用预测自动驾驶评测基准

Occ3D针对自动驾驶中3D框难以表达细粒度几何、开放类别物体易被忽略的问题,将感知转向逐体素的占用与语义预测。论文的核心贡献是构建可见性-aware的自动标注流程,通过体素增密、遮挡推理和图像引导细化生成高分辨率占用标签,并在Waymo与nuScenes上发布基准;同时给出CTF-Occ粗到细模型,在该基准上优于复现的占用预测基线。

UniWorld: Autonomous Driving Pre-Training via World Models Figure 1
arXiv preprint 20232023

UniWorld: Autonomous Driving Pre-Training via World Models

Chen Min

Peking University

世界模型3D/4D建模占用预测自动驾驶规划控制

针对自动驾驶多相机模型仍依赖单目 ImageNet/深度预训练、难以利用时空相关和海量未标注图像-LiDAR数据的问题,UniWorld将4D几何占用预测作为世界模型预训练任务,用多帧点云融合生成占用监督,预训练后丢弃解码器并迁移到下游BEV任务。在nuScenes上,相比单目预训练,运动预测IoU约提升1.5%,3D检测mAP/NDS各提升2.0%,语义场景补全mIoU提升约3%,并声称可减少25% 3D标注成本。

Point Cloud Forecasting as a Proxy for 4D Occupancy Forecasting Figure 1
CVPR 20232023

Point Cloud Forecasting as a Proxy for 4D Occupancy Forecasting

Tarasha Khurana, Peiyun Hu, David Held, Deva Ramanan

Carnegie Mellon University

世界模型3D/4D建模占用预测激光雷达生成规划控制

面向自动驾驶规划,论文指出传统点云预测把自车运动和激光雷达采样模式也作为学习目标,偏离了真正需要预测的世界动态。作者将任务重写为未来时空4D几何占用预测,并用已知外参/内参可微渲染回未来点云,从而用无标注LiDAR序列自监督训练与评测。实验在nuScenes、KITTI-O等上显著优于点云预测SOTA,L1误差最多降低3.26m,并展示了跨传感器零样本泛化能力。

Diffusion Probabilistic Models for Scene-Scale 3D Categorical Data Figure 1
arXiv preprint 20232023

Diffusion Probabilistic Models for Scene-Scale 3D Categorical Data

Jumin Lee, Woobin Im

Korea Advanced Institute of Science and Technology (KAIST)

世界模型3D/4D建模占用预测

本文针对既有3D扩散多聚焦单物体、难以建模含多类别物体场景的问题,将场景表示为体素级离散语义类别,扩展离散扩散到场景尺度3D categorical 数据,并验证VQ-VAE式潜空间扩散可降低计算量;同时把稀疏点云作为条件用于语义场景补全。CarlaSC实验显示模型能生成较合理的多物体语义场景,SSC上优于同架构判别式基线。

GAIA-1: A Generative World Model for Autonomous Driving Figure 1
arXiv preprint 20232023

GAIA-1: A Generative World Model for Autonomous Driving

Anthony Hu, Lloyd Russell

Wayve

世界模型3D/4D建模视频生成自动驾驶规划控制

面向自动驾驶中“自车动作会导致哪些未来场景”的预测难题,GAIA-1将视频、文本和动作统一离散化为token,用自回归Transformer学习高层动态,再由多任务视频扩散解码器渲染高分辨率视频。基于4700小时伦敦驾驶数据,模型可做视频续写、文本/动作条件生成和无条件生成,表现出场景结构、交通参与者反应、几何与越界泛化等能力;但许多效果偏定性展示,增益可能主要来自数据规模与模型scaling。

ADriver-I: A General World Model for Autonomous Driving Figure 1
arXiv preprint 20232023

ADriver-I: A General World Model for Autonomous Driving

Fan Jia, Weixin Mao

MEGVII Technology, Waseda University, University of Science and Technology of China

世界模型3D/4D建模视频生成自动驾驶规划控制

ADriver-I针对自动驾驶感知、预测、规划、控制流水线冗余的问题,尝试用“视觉-动作”交错表示把图像特征与速度、转角等控制信号统一起来,并结合MLLM做当前动作自回归预测、VDM按动作生成未来帧,形成可在自生成世界中循环驾驶的模型。在nuScenes和私有数据上,三帧历史输入下速度/转角L1误差为0.072 m/s、0.091 rad,四帧生成FID/FVD为5.52/97,但闭环部署能力和端到端训练收益文中仍未充分说明。

Learning to Generate Realistic LiDAR Point Clouds Figure 1
ECCV 20222022

Learning to Generate Realistic LiDAR Point Clouds

Vlas Zyrianov, Xiyue Zhu, Shenlong Wang

University of Illinois at Urbana-Champaign, IL, USA

世界模型3D/4D建模激光雷达生成

针对真实 LiDAR 数据采集昂贵、长尾场景难覆盖,而传统仿真依赖资产且现实差距大的问题,论文提出 LiDARGen:将旋转 LiDAR 扫描表示为等距柱状的深度/反射强度图,并用 score-matching 扩散式去噪生成,兼顾物理可行性和可控条件采样。作者在 KITTI-360 与 NuScenes 上显示其生成质量优于 VAE/GAN 等基线,并可在无需重训下用于点云补密。

PandaSet: Advanced Sensor Suite Dataset for Autonomous Driving Figure 1
ITSC 20222021

PandaSet: Advanced Sensor Suite Dataset for Autonomous Driving

Pengchuan Xiao, Zhenlei Shao, Steven Hao, Zishuo Zhang, Xiaolin Chai, Judy Jiao, Zesong Li, Jian Wu, Kai Sun, Kun Jiang, Yunlong Wang, Diange Yang

世界模型3D/4D建模自动驾驶评测基准数据集

自动驾驶感知依赖高精度、多样且准确标注的真实数据,而疫情等因素加剧了开放路测数据缺口。PandaSet的核心在于用360°机械式激光雷达、前向长距激光雷达和6相机构成免费商用许可的数据集,并通过多传感器融合提供28类3D框与37类点云语义标签。文中给出数据统计与LiDAR检测、融合检测、点云分割基线,显示其在远距目标、夜间和复杂城市场景覆盖上优于多项既有数据集。

OPV2V: An Open Benchmark Dataset and Fusion Pipeline for Perception with Vehicle-to-Vehicle Communication Figure 1
ICRA 20222022

OPV2V: An Open Benchmark Dataset and Fusion Pipeline for Perception with Vehicle-to-Vehicle Communication

Runsheng Xu, Hao Xiang, Xin Xia, Xu Han, Jinlong Li, Jiaqi Ma

世界模型3D/4D建模自动驾驶评测基准数据集

针对V2V协同感知缺少公开大规模基准、单车在遮挡和盲区下检测易失效的问题,OPV2V基于CARLA/OpenCDA构建含73个场景、1.1万帧和23万余3D框的仿真数据集,并系统评测早期、后期与中间融合,提出注意力式中间融合管线;实验显示其可接入现有LiDAR检测器,在高压缩率下仍优于其他融合策略。

MotionSC: Data Set and Network for Real-Time Semantic Mapping in Dynamic Environments Figure 1
RA-L 20222022

MotionSC: Data Set and Network for Real-Time Semantic Mapping in Dynamic Environments

Joey Wilson, Jingyu Song, Yuewei Fu, Arthur Zhang, Andrew Capodieci, Paramsothy Jayakumar, Kira Barton, Maani Ghaffari

世界模型3D/4D建模评测基准数据集

针对动态户外场景中语义场景补全缺少无遮挡、无运动残影真值的问题,MotionSC构建了基于随机多视角采样的 CarlaSC 数据集,并将时间序列 LiDAR 信息引入实时稠密局部语义建图网络。实验显示,时间堆叠能提升几何与语义补全表现,在 CarlaSC 上优于 SSCNet、LMSCNet,并在 SemanticKITTI 单帧设置下保持较低延迟和更高 mIoU。

KITTI-360: A Novel Dataset and Benchmarks for Urban Scene Understanding in 2D and 3D Figure 1
TPAMI 20222023

KITTI-360: A Novel Dataset and Benchmarks for Urban Scene Understanding in 2D and 3D

Yiyi Liao, Jun Xie, Andreas Geiger

世界模型3D/4D建模评测基准数据集数字孪生

针对原 KITTI 缺少稠密一致的 2D/3D语义实例标注、360°感知和高精定位,KITTI-360构建了面向自动驾驶的郊区多模态数据集。核心做法是在3D中用简单几何体高效标注静动态对象,并用非局部多场CRF将粗3D标签一致转移到图像和点云。最终发布30万余图像、8万激光扫描、超15万标注图像和10亿3D点,并建立语义理解、新视角合成与语义SLAM基准,结果显示3D语义分割、场景补全和高IoU 3D检测仍具挑战。

Capturing, Reconstructing, and Simulating: the UrbanScene3D Datase Figure 1
ECCV 20222022

Capturing, Reconstructing, and Simulating: the UrbanScene3D Datase

Liqiang Lin, Yilin Liu, Yue Hu, Xingguang Yan, Ke Xie, Hui Huang

Shenzhen University

世界模型3D/4D建模数字孪生场景重建

面向室外城市数据获取受视角、路线和真实细节限制,UrbanScene3D构建了包含真实重建与合成城市的数字孪生数据平台:16个场景、约136平方公里、12.8万余张高分辨率航拍图,配套LiDAR/真值模型、建筑实例标注及Unreal/AirSim仿真。其主要贡献不是新算法,而是提供多种无人机航线观测、MVS重建结果及点级完整性/精度评测,用于系统比较航迹规划和三维重建,并支持车辆/无人机在不同光照天气下仿真。

Differentiable Raycasting for Self-supervised Occupancy Forecasting Figure 1
ECCV 20222022

Differentiable Raycasting for Self-supervised Occupancy Forecasting

Tarasha Khurana, Peiyun Hu, Achal Dave, Jason Ziglar, David Held, Deva Ramanan

Carnegie Mellon University, Amazon

世界模型3D/4D建模占用预测规划控制

本文针对自动驾驶中自监督 freespace 预测把自车运动与场景运动混在一起、难以服务规划的问题,提出用世界坐标下的“涌现占用”表示,并通过可微 raycasting 将预测占用渲染成未来 LiDAR 扫描,以未标注日志监督训练。实验在 nuScenes/ONCE 上使 raycast 后的 LiDAR/freespace 预测最多提升约 15 个 F1 点,规划碰撞率相对 freespace 方法最多降低 17%。

Learning to Drop Points for LiDAR Scan Synthesis Figure 1
IROS 20212021

Learning to Drop Points for LiDAR Scan Synthesis

Kazuto Nakashima, Ryo Kurazume

世界模型3D/4D建模激光雷达生成

针对低成本或恶劣条件下 LiDAR 扫描存在缺点、噪声而难以直接生成和修复的问题,论文提出 DUSty:将扫描表示为柱面逆深度图,并在 GAN 生成过程中显式分解完整形状与可测性图,用可微采样学习数据相关的点丢失噪声。该方法仅用含缺失的真实数据训练,在 KITTI 和 MPO 上提升了 LiDAR 合成质量,并可用于未见扫描的重建及多种腐蚀恢复。

Habitat 2.0: Training Home Assistants to Rearrange Their Habitat Figure 1
arXiv preprint 20212021

Habitat 2.0: Training Home Assistants to Rearrange Their Habitat

Andrew Szot, Alex Clegg, Eric Undersander, Erik Wijmans, Yili Zhao, John Turner

Facebook AI Research, Georgia Tech, Intel Research, Simon Fraser University UC Berkeley

世界模型3D/4D建模机器人

论文针对真实家用机器人训练昂贵、难复现且缺少可交互家庭环境的问题,提出 Habitat 2.0 研究栈:包含可重配置、带铰接物体的 ReplicaCAD 数据集,高速刚体物理仿真器,以及整理房间、备餐、摆桌等 HAB 长时程重排任务。实验显示,大规模 RL 中扁平端到端策略难以串联技能,分层策略更有效但存在交接问题;经典感知-规划-执行管线在新物体、容器和布局上更脆弱。

nuPlan: A Closed-Loop ML-Based Planning Benchmark for Autonomous Vehicles Figure 1
CVPR 20212021

nuPlan: A Closed-Loop ML-Based Planning Benchmark for Autonomous Vehicles

Holger Caesar, Juraj Kabzan

世界模型3D/4D建模自动驾驶评测基准数据集

针对自动驾驶规划长期缺少适合训练与公平评测的数据、目标信息和闭环指标,nuPlan 将问题从短期轨迹预测转向自车规划评测,提出包含 1500 小时、4 城市真实驾驶数据与传感器信息的数据集,配套轻量闭环仿真、反应式交通参与者及面向交通规则、动力学、目标达成和场景的指标。主要结果是建立首个基于真实数据的公开闭环 ML 规划基准,相比既有预测数据集更适合评估长期交互式规划。

One Thousand and One Hours: Self-Driving Motion Prediction Dataset Figure 1
CoRL 20212021

One Thousand and One Hours: Self-Driving Motion Prediction Dataset

One Thousand, One Hours

世界模型3D/4D建模自动驾驶评测基准数据集

这篇论文针对自动驾驶中运动预测与规划缺少大规模开放行为数据的问题,发布了 Lyft Level 5 在帕洛阿尔托固定通勤路线采集的 1118 小时数据集,包含 17 万个 25 秒场景、精细 HD 语义地图和航拍图,并配套 L5Kit 与基线任务。核心洞察是聚焦高需求固定路线能以更密集数据支持可部署场景建模;实验显示预测和规划性能随训练数据规模显著提升,增益可能主要来自 scaling / data。

Argoverse 2: Next Generation Datasets for Self-Driving Perception and Forecasting Figure 1
NeurIPS 20212021

Argoverse 2: Next Generation Datasets for Self-Driving Perception and Forecasting

Benjamin Wilson, William Qi, Tanmay Agarwal, John Lambert, Jagjeet Singh

Georgia Tech, UBC, MIT, CMU

世界模型3D/4D建模自动驾驶评测基准数据集

面向自动驾驶感知与预测中长尾类别、城市/季节多样性和高难交互不足的问题,Argoverse 2构建了三套带HD地图的数据:多模态传感器、超大规模未标注激光雷达和25万运动预测场景,并强化3D车道/人行横道几何与稀有类别覆盖。基线结果显示,点云预测随训练数据增加稳定提升,而运动预测中常速度等简单假设明显失效,WIMP等利用地图与社会交互的模型更强但仍有较高漏检率,说明该基准主要通过更难、更丰富的数据暴露现有方法瓶颈。

nuScenes: A Multimodal Dataset for Autonomous Driving Figure 1
CVPR 20202020

nuScenes: A Multimodal Dataset for Autonomous Driving

Holger Caesar, Varun Bankiti, Alex H. Lang, Sourabh Vora, Venice Erin Liong, Qiang Xu, Anush Krishnan, Yu Pan, Giancarlo Baldan, Oscar Beijbom

世界模型3D/4D建模自动驾驶评测基准数据集

针对自动驾驶感知缺少同时覆盖相机、激光雷达与雷达的真实多模态基准这一问题,nuScenes构建了1000个20秒场景,提供360°传感器数据、3D框、属性、语义地图及夜晚/雨天样本,并提出面向3D检测与跟踪的新指标和基线。结果显示其规模与复杂度显著超过KITTI,推动后续检测、跟踪、预测和雷达融合研究,但性能增益可能主要来自更丰富的数据与基准标准化。

Virtual KITTI 2 Figure 1
arXiv preprint 20202020

Virtual KITTI 2

A PREPRINT, Yohann Cabon, Naila Murray, Martin Humenberger

NAVER LABS Europe, A PREPRINT Yohann Cabon, Naila Murray, Martin Humenberger NAVER LABS Europe Meylan, France

世界模型3D/4D建模评测基准数据集

面向自动驾驶模型训练与评测中真实标注昂贵、合成到真实迁移需验证的问题,Virtual KITTI 2在原KITTI克隆序列上升级Unity HDRP渲染,加入双目相机、光流/场景流及天气和相机扰动等多模态标注。实验显示其多目标跟踪MOTA与真实KITTI接近,并可支持立体匹配、深度、位姿和语义分割评测,但对雾雨等极端条件仍明显退化。

Seeing Through Fog Without Seeing Fog: Deep Multimodal Sensor Fusion in Unseen Adverse Weather Figure 1
CVPR 20202020

Seeing Through Fog Without Seeing Fog: Deep Multimodal Sensor Fusion in Unseen Adverse Weather

Mario Bijelic, Tobias Gruber, Fahim Mannan, Florian Kraus, Werner Ritter, Klaus Dietmayer, Felix Heide

Ulm University, Princeton University

世界模型3D/4D建模评测基准数据集

面向自动驾驶在雾、雪、雨等少见恶劣天气下多传感器失真不一致的问题,论文发布覆盖相机、激光雷达、雷达、门控近红外和远红外的北欧万公里数据集,并提出由测量熵驱动的单阶段深度早期融合网络,使模型仅用干净数据训练也能适应未见天气。实验显示其在困难场景中较已有融合方法提升超过 8% AP,且可实时运行。

Scalability in Perception for Autonomous Driving: Waymo Open Dataset Figure 1
CVPR 20202019-12-10

Scalability in Perception for Autonomous Driving: Waymo Open Dataset

Pei Sun, Henrik Kretzschmar, Xerxes Dotiwalla, Aurelien Chouard, Vijaysai Patnaik, Paul Tsui, James Guo, Yin Zhou, Yuning Chai, Benjamin Caine, Vijay Vasudevan, Wei Han, Jiquan Ngiam, Hang Zhao, Aleksei Timofeev, Scott Ettinger, Maxim Krivokon, Amy Gao, Aditya Joshi, Sheng Zhao, Shuyang Cheng, Yu Zhang, Jonathon Shlens, Zhifeng Chen, Dragomir Anguelov

Waymo LLC, Google LLC

世界模型3D/4D建模自动驾驶评测基准数据集

针对自动驾驶研究缺少覆盖真实地域差异的大规模多模态数据,Waymo Open Dataset发布1150段20秒同步标定的5路LiDAR与5路相机数据,并提供约千万级2D/3D框和跨帧ID。论文的关键洞察是地理多样性会形成明显域差距,因此用留出地域测试泛化;结果显示其覆盖面积和标注规模显著超过KITTI、nuScenes等,并给出检测与跟踪基线及公开榜单。

SemanticKITTI: A Dataset for Semantic Scene Understanding of LiDAR Sequences Figure 1
ICCV 20192019

SemanticKITTI: A Dataset for Semantic Scene Understanding of LiDAR Sequences

Jens Behley, Martin Garbade, Andres Milioto, Jan Quenzel, Sven Behnke, Cyrill Stachniss, Jurgen Gall

University of Bonn, Germany

世界模型3D/4D建模激光雷达生成评测基准数据集

面向自动驾驶中缺少大规模车载 LiDAR 点级语义数据的问题,SemanticKITTI 将 KITTI 里程计 22 段序列完整标注为 360°逐点语义,覆盖 4.3 万余帧、28 类,并进一步定义单帧分割、多帧分割与语义场景补全三类基准。实验评测多种当时方法,显示序列信息和未来场景推断仍难以充分利用,性能瓶颈明显,数据集的主要价值来自规模、时序性和细粒度标注。

CARLA: An Open Urban Driving Simulator Figure 1
CoRL 20172017

CARLA: An Open Urban Driving Simulator

German Ros, Felipe Codevilla, Vladlen Koltun

Intel Labs, Toyota Research Institute, Computer Vision Center, Barcelona

世界模型3D/4D建模自动驾驶评测基准数据集

针对真实城市自动驾驶采集与危险场景验证成本高、现有赛车/商业仿真器难以定制和评测的问题,CARLA提出开源城市驾驶仿真平台,并同时开放城市场景、车辆、行人等3D资产,支持可配置传感器、天气、交通和违规指标。论文用其构造逐级困难导航任务,比较模块化管线、模仿学习和强化学习端到端方法,结果展示了不同方法在路线复杂度、交通和天气变化下的性能差异,证明该平台可作为训练与基准评测工具。