Mar, 2024

语义占用地图中的城市场景扩散

PDF
TL;DR利用 Bird's-Eye View 地图条件的 3D 扩散模型 UrbanDiffusion 生成具有几何和语义的城市场景，并通过训练实际驾驶数据集，该模型能够生成多样性的城市场景，进一步将生成的场景扩展到任意规模，并通过预训练的图像生成器实现场景图像合成的应用。
unbounded 3d scenesurban scenesgeometry and semanticsbird's-eye viewimage synthesis
发现论文，激发创造
  • Sat2Scene: 基于扩散的卫星图像三维城市场景生成

    利用扩散模型与神经渲染技术，提出了一种新颖的直接生成三维场景的方法，该方法能够从卫星图像中生成逼真的街景图像序列和跨视角城市场景。

    Jan, 2024

  • SemCity: 带三层扩散的语义场景生成

    我们提出了一种用于在现实世界的室外环境中生成语义场景的 3D 扩散模型 “SemCity”。通过在现实世界的室外数据集上学习扩散模型，我们集中于生成真实室外场景。我们利用三面板表示作为我们扩散模型要学习的场景分布的代理形式，并提出了与我们的三面板扩散模型无缝集成的三面板操作。我们的实验结果表明，与现有的工作相比，我们的三面板扩散模型在真实室外数据集 SemanticKITTI 中展示了有意义的生成结果。同时，我们的三面板操作使得能够在场景中添加、删除或修改对象，并且还能将场景扩展到城市级别。最后，我们通过学习场景分布，评估我们的方法在语义场景补全的完善上的作用。

    Mar, 2024

  • 场景作为占用

    通过提出一种新的 3D Occupancy 表示法 (OccNet)，并在 nuScenes 数据集上建立了 OpenOcc，我们方法能够有效地为多个驾驶任务提供有力的支持，并取得了显著的性能收益，例如运动规划可以实现 15％-58％的碰撞率降低。

    Jun, 2023

  • 城市建筑师：带有布局先验的可操控的三维城市场景生成

    通过引入一种组合式 3D 布局表示方法到文本转 3D 范式中的本文，克服了在大规模城市范围内扩展这一方法的局限性，并且成功地将文本转 3D 技术应用于覆盖超过 1000m 行驶距离的大尺度城市场景，同时展示了可调控城市场景生成的强大能力。

    Apr, 2024

  • 基于混合二维语义场景生成的 LiDAR 三维物体检测

    本研究提出了一种将三维环境的语义和几何以二维形式编码的场景表示法，并使用辅助网络预测显式和隐式语义概率的组合作为更好的 BEV 特征学习的密集监督信号，实验证明该设计可以轻松集成到大多数先进的三维物体检测器中，并始终改善基线模型。

    Apr, 2023

  • 基于布局导向的多视角驾驶场景视频生成与潜在扩散模型

    通过 DrivingDiffusion 框架，在复杂的城市场景中生成大规模、逼真的多相机自动驾驶视频，无需额外成本。

    Oct, 2023

  • 利用扩散生成驾驶场景

    本文描述了一种基于学习的交通场景生成方法，旨在模拟自动驾驶汽车的感知系统输出。通过在传输中聚合物体检测，我们的 “场景扩散” 系统直接创建真实而物理上可行的代理离散边界框组合。我们展示了我们的场景生成模型能够适应美国不同地区，从而产生捕捉每个地区细节的场景。

    May, 2023

  • 将车辆映射到鸟瞰图中的学习

    本文提出了一种语义感知变换的方法，将仪表板摄像机视图中的检测结果映射到场景的更广泛、俯视的占用图中，通过大量的合成数据和深度神经网络的训练实现，结果表明该模型能够在真实世界的数据上进行泛化。

    Jun, 2017

  • 城市景观语义理解数据集

    为解决现有数据集不能很好地捕捉真实城市场景的复杂性，我们引入了 Cityscapes—— 一个基准套件和大规模数据集，用于像素级和实例级语义标注的方法的训练和测试。

    Apr, 2016

  • LetsMap：无监督语义 BEV 地图的表示学习

    该研究提出了一种无监督学习方法，从单眼正视图像生成语义鸟瞰地图，以在自动驾驶的各种决策任务中提供强大的遮挡推理能力，其使用了 1% 的标注数据和无额外标记数据，在 KITTI-360 和 nuScenes 数据集上表现与现有最先进的方法相当。

    May, 2024