Oct, 2023

MagicDrive: 带有多样化三维几何控制的街景生成

PDF
TL;DRMagicDrive 是一种新颖的街景生成框架，通过定制的编码策略实现了包括相机姿态、道路地图和三维边界框在内的多样化三维几何控制，并采用交叉视图注意模块确保多个相机视图之间的一致性，从而实现了高保真的街景综合，捕捉了细腻的三维几何和各种场景描述，增强了 BEV 分割和三维物体检测等任务。
diffusion models3d controlstreet view generationgeometry controlmagicdrive
发现论文，激发创造
  • MagicDrive3D: 街景中任意视角渲染的可控 3D 生成

    我们引入了 MagicDrive3D，这是一种创新的管道，用于可控的 3D 街道场景生成，支持多条件控制，包括 BEV 地图、3D 对象和文本描述。与先前的方法不同的是，MagicDrive3D 首先训练视频生成模型，然后再进行重建，从而实现了易于控制的生成和静态场景获取，从而实现了高质量的场景重建。通过对 nuScenes 数据集的验证，MagicDrive3D 生成了多样化、高质量的 3D 驾驶场景，支持任意视角渲染，并增强了诸如 BEV 分割之类的下游任务。我们的结果展示了该框架卓越的性能，展示了它在自动驾驶仿真及其他领域的变革潜力。

    May, 2024

  • BEVControl: 通过 BEV 草图布局实现多透视一致性准确控制街景元素

    使用合成图像来提升感知模型的性能是计算机视觉中长期存在的研究挑战，在多视角摄像头的视觉为中心的自动驾驶系统中变得更加突出，由于一些长尾场景无法收集。在 BEV 分割布局的指导下，现有的生成网络似乎在仅根据场景级度量进行评估时能够合成逼真的街景图像。然而，一旦放大，它们通常无法生成准确的前景和背景细节，如航向。为此，我们提出了一种名为 BEVControl 的两阶段生成方法，可以生成准确的前景和背景内容。与类似分割的输入不同，它还支持手绘风格的输入，这对人类进行编辑更加灵活。此外，我们提出了一个全面的多级评估协议，以公平比较生成的场景、前景对象和背景几何的质量。我们广泛的实验表明，我们的 BEVControl 在前景分割 mIoU 上比现有方法 BEVGen 有显着提升，从 5.89 到 26.80。此外，我们还证明了使用 BEVControl 生成的图像来训练下游感知模型，平均 NDS 分数提高了 1.29。

    Aug, 2023

  • 从鸟瞰感知的恶魔深入探索：综述、评估与方法

    本文综述了关于 Bird's-eye-view（BEV）感知的最新研究工作，探讨了多传感器融合、BEV 视角下物体检测与定位等关键问题，并介绍了一系列实用的指南和工具来提高 BEV 任务的性能，最后指出了该领域未来的研究方向。

    Sep, 2022

  • RoadBEV：鸟瞰视角下的道路表面重建

    本研究提出了两种简单而有效的模型（RoadBEV-mono 和 RoadBEV-stereo），分别使用单目和立体图像估计道路高程，在 Bird's-Eye-View 感知中实现对道路的可靠和准确重建。经实验证明，RoadBEV-mono 和 RoadBEV-stereo 的高程误差分别为 1.83cm 和 0.56cm，在单目图像的基础上，估计性能提高了 50％，这些模型在自动驾驶中具有实际应用的潜力，并为基于视觉的 Bird's-Eye-View 感知提供了有价值的参考。

    Apr, 2024

  • M-BEV：面罩 BEV 感知用于稳健自动驾驶

    提出了一种能够在自动驾驶中改善鲁棒性和准确感知的 M-BEV 感知框架，通过随机遮挡和重建相机视图进行端到端训练，从而有效解决一个或多个视图摄像头无法工作的现实场景问题。

    Dec, 2023

  • 使用几何和语义点云进行鸟瞰图语义分割

    本文介绍了使用车载摄像头拍摄的 RGB 图像进行鸟瞰视角像素级别的物体语义分割的方法，为了解决这个问题，提出了一种新的两阶段感知管道，它明确预测像素深度，并将它们与像素语义结合起来进行有效的推断，同时，使用抽象的高层几何特征进行转移学习，方法能够提高 24% 的 mIoU。

    Jun, 2020

  • MapVision: CVPR 2024 自主大挑战无地图驾驶技术报告

    自动驾驶无需高清地图，但需要更高水平的场景理解能力。在这项竞赛中，使用多角度相机图像和标清地图来探索场景推理能力的边界。通过加入地图编码预训练和使用 YOLOX 等算法，我们对交通要素进行了更精准的检测，最终实现了 0.58 的 OLUS 评分。

    Jun, 2024

  • 基于布局导向的多视角驾驶场景视频生成与潜在扩散模型

    通过 DrivingDiffusion 框架，在复杂的城市场景中生成大规模、逼真的多相机自动驾驶视频，无需额外成本。

    Oct, 2023

  • 语义占用地图中的城市场景扩散

    利用 Bird's-Eye View 地图条件的 3D 扩散模型 UrbanDiffusion 生成具有几何和语义的城市场景，并通过训练实际驾驶数据集，该模型能够生成多样性的城市场景，进一步将生成的场景扩展到任意规模，并通过预训练的图像生成器实现场景图像合成的应用。

    Mar, 2024

  • SG-BEV：卫星导航 BEV 融合用于跨视图语义分割

    该论文介绍了一种用于卫星和街景图像对的细粒度建筑属性分割的新方法，通过引入鸟瞰图方法解决了传统方法中建筑物立面特征获取的局限性，并通过新的卫星引导的投影模块优化了传统方法中特征分布不均匀的问题。该方法在来自多个城市的四个跨视图数据集上取得了显著的改进，与最先进的基于卫星和跨视图的方法相比，平均 mIOU 提高了 10.13% 和 5.21%。

    Apr, 2024