May, 2024

MagicDrive3D: 街景中任意视角渲染的可控 3D 生成

PDF
TL;DR我们引入了 MagicDrive3D，这是一种创新的管道，用于可控的 3D 街道场景生成，支持多条件控制，包括 BEV 地图、3D 对象和文本描述。与先前的方法不同的是，MagicDrive3D 首先训练视频生成模型，然后再进行重建，从而实现了易于控制的生成和静态场景获取，从而实现了高质量的场景重建。通过对 nuScenes 数据集的验证，MagicDrive3D 生成了多样化、高质量的 3D 驾驶场景，支持任意视角渲染，并增强了诸如 BEV 分割之类的下游任务。我们的结果展示了该框架卓越的性能，展示了它在自动驾驶仿真及其他领域的变革潜力。
发现论文，激发创造
  • MagicDrive: 带有多样化三维几何控制的街景生成

    MagicDrive 是一种新颖的街景生成框架，通过定制的编码策略实现了包括相机姿态、道路地图和三维边界框在内的多样化三维几何控制，并采用交叉视图注意模块确保多个相机视图之间的一致性，从而实现了高保真的街景综合，捕捉了细腻的三维几何和各种场景描述，增强了 BEV 分割和三维物体检测等任务。

    Oct, 2023

  • SimGen：基于模拟器的驾驶场景生成

    通过混合模拟器和现实世界的数据，SimGen 模型能够学习生成具有多样性的驾驶场景，通过新颖的级联扩散管道解决了模拟到真实世界之间的差距和多条件冲突，并在保持可控性的基础上，获得卓越的生成质量和多样性。

    Jun, 2024

  • 基于布局导向的多视角驾驶场景视频生成与潜在扩散模型

    通过 DrivingDiffusion 框架，在复杂的城市场景中生成大规模、逼真的多相机自动驾驶视频，无需额外成本。

    Oct, 2023

  • 从无约束图像集合中学习 GET3D--

    GET3D-- 是第一个通过未知姿态和尺度的 2D 图像直接生成贴图的 3D 形状的方法，它能够精确适应 6D 相机姿态分布，并在合成和真实无约束数据集上生成高质量的形状。

    Jul, 2023

  • DriveSceneGen: 从零开始生成多样且逼真的驾驶场景

    大规模多样化的真实交通场景对于自动驾驶系统的开发和验证至关重要。本研究引入了 DriveSceneGen，一种数据驱动的驾驶场景生成方法，从真实世界的驾驶数据集中学习并生成完整的动态驾驶场景。与真实世界的数据集相比，DriveSceneGen 能够以高保真度和多样性生成与实际数据分布相吻合的新型驾驶场景。与真实世界数据集相比，5,000 个生成场景的实验结果突出了生成质量、多样性和可扩展性。据我们所知，DriveSceneGen 是首个能够从头开始生成涉及静态地图元素和动态交通参与者的新型驾驶场景的技术。

    Sep, 2023

  • Magic-Boost：使用多视图条件扩散提升 3D 生成

    通过 Magic-Boost，使用多视角条件扩散模型可以通过短时间的 SDS 优化显著优化粗糙的生成结果，生成具有丰富几何和纹理细节的高质量 3D 模型。

    Apr, 2024

  • L-MAGIC: 具有连贯性的语言模型辅助图像生成

    基于大型语言模型的 L-MAGIC 方法能够生成全景场景，提高了场景布局和视角渲染质量，并且通过超分辨率和多视角融合技术进一步增强输出质量。

    Jun, 2024

  • MaGRITTe: 图像、鸟瞰与文本的操控和生成 3D 实现

    使用部分图像、顶视图的布局信息和文本提示来控制和生成多模态条件下的 3D 场景，通过预训练的文本到图像模型微调，以及布局条件的深度估计和神经辐射场（NeRF），实现从给定条件生成 2D 图像和从 2D 图像生成 3D 场景，避免创建庞大的数据集，得到了定性和定量的实验结果，证明了该方法能够根据多模态条件生成多领域的 3D 场景。

    Mar, 2024

  • DriveDreamer-2: 增强型世界模型用于多样化驾驶视频生成

    DriveDreamer-2 是第一个使用大型语言模型生成定制驾驶视频的世界模型，它可以以用户友好的方式生成不常见的驾驶视频，并通过生成的视频提高驾驶感知方法的训练效果，视频生成质量超过其他最先进的方法，相对改进幅度达 30% 和 50%。

    Mar, 2024

  • OneTo3D: 一张图像转为可重新编辑的动态 3D 模型与视频生成

    使用一张单独图片生成可编辑的 3D 模型和目标语义连续时间无限制的 3D 视频的方法和理论研究。

    May, 2024