Apr, 2024

LidarDM：生成世界中的 LiDAR 仿真

PDF
TL;DRLidarDM 是一种新颖的 LiDAR 生成模型，能够生成逼真、具有布局意识、物理合理和时间连贯的 LiDAR 视频。该模型具有两个前所未有的能力：根据驾驶场景进行 LiDAR 生成，为自动驾驶模拟提供了重要潜力，并且能够生成 4D LiDAR 点云，实现逼真且时间连贯的序列。我们的实验表明，我们的方法在逼真性、时间连贯性和布局一致性方面优于竞争算法。此外，我们还展示了 LidarDM 可用作生成世界模型的模拟器，用于训练和测试感知模型。
发现论文，激发创造
  • LiDARsim: 通过利用现实世界，实现逼真的激光雷达模拟

    本文提出了一种名为 LiDARsim 的模拟器，利用真实数据生成 3D 场景，通过物理模拟和深度神经网络相结合来生成 LiDAR 点云，用于测试感知算法和评估安全场景。

    Jun, 2020

  • RangeLDM：快速逼真的 LiDAR 点云生成

    通过引入 RangeLDM，我们提出了一种快速生成高质量 LiDAR 点云的新方法，通过深度生成模型、变分自编码器和扩散模型来解决传统方法中的限制，从而在自动驾驶中获得稳健的表现和快速生成速度。

    Mar, 2024

  • 利用激光雷达扩散模型实现逼真场景生成

    提出了一种基于曲线模式和几何真实性的 LiDAR 扩散模型 (LiDMs)，用于生成与 LiDAR 场景更真实的场景，实现了在无条件和有条件下 LiDAR 生成的竞争性性能，并比基于点的 DMs 高效 (快达 107 倍)。

    Mar, 2024

  • 利用去噪扩散概率模型合成 LiDAR 数据

    通过使用 R2DM 模型和 DDPMs 方法，本研究提出了一种新的用于生成 LiDAR 数据的生成模型，该模型可以基于图像表示生成多样性和高保真度的 3D 场景点云，有效地优化了 KITTI-360 和 KITTI-Raw 数据集的生成任务以及 KITTI-360 数据集的上采样任务。

    Sep, 2023

  • 基于深度生成模型的激光雷达数据建模

    本文提出利用深度生成模型解决 Lidar 数据的合成问题，并通过以 2D 坐标点图表示的方法，成功地生成高质量的样本，同时为数据学习了有意义的潜在表示。提出的数据表示方案将 2D 信号与绝对位置信息相结合，对噪声和缺失数据有较好的鲁棒性，有效地恢复出激光雷达扫描图。

    Dec, 2018

  • 基于 GAN 的激光雷达强度模拟

    开发自动驾驶中，真实车辆传感器模拟是重要的因素。我们提出利用基于数据的方法，使用来自实际测试驾驶的相机图像和 LiDAR 扫描数据训练生成对抗网络，实现相互翻译。通过添加分割数据和密集深度图像的相机图像，以及通过测试真实与合成点云之间物体检测网络的泛化效果评估 LiDAR 模拟性能，我们结合这两种方法，模拟并展示了真实的 LiDAR 点云。

    Nov, 2023

  • 学习生成真实感 LiDAR 点云

    LiDARGen 是一种新颖的、有效的、可控制的生成模型，可以通过去噪声处理流程以及将点云生成过程作为随机去噪声过程表述，为我们提供多样化且高质量的点云样本，同时具有较强的物理可行性和可控性。实验证明，与其他生成模型相比，LiDARGen 可以生成更加逼真的样本，而且可以根据输入对点云进行条件采样，因此可以直接用于加密测距雷达 (point cloud)。

    Sep, 2022

  • 自动驾驶中基于 GAN 的 LiDAR 传感器建模和数据增强

    通过 CycleGANs 从未配对的数据中进行图像转换，以实现从模拟 LiDAR 到真实 LiDAR（sim2real）的传感器建模，从低分辨率到高分辨率的真实 LiDAR（real2real）的生成以及使用鸟瞰图和极坐标 2D 表示法处理 LiDAR 3D 点云。实验结果表明，该方法具有很高的潜力。

    May, 2019

  • GenMM: 视频与 LiDAR 的几何和时间一致的多模态数据生成

    多模态合成数据生成对于自动驾驶、机器人、增强 / 虚拟现实和零售等领域至关重要。我们提出了一种新颖的方法 GenMM，通过插入时间和几何一致的 3D 对象来联合编辑 RGB 视频和 LiDAR 扫描。我们的方法使用参考图像和三维边界框将新对象无缝地插入和融入目标视频。我们使用基于扩散的视频修复模型修复与三维框一致的 2D 感兴趣区域。然后，我们使用最先进的语义分割和单目深度估计技术计算对象的语义边界并估计其表面深度。随后，我们使用基于几何的优化算法恢复对象表面的 3D 形状，确保其准确适应三维边界框。最后，与新对象表面相交的 LiDAR 光线被更新以反映与其几何形状一致的深度。我们的实验证明了 GenMM 在视频和 LiDAR 模态中插入各种 3D 对象的有效性。

    Jun, 2024

  • LDM3D：3D 的潜在扩散模型

    本研究提出了一种潜在扩散模型用于 3D (LDM3D)，可以从给定的文本提示生成图像和深度图像数据，使用生成的 RGB 和深度图像可以创建令人沉浸的和交互性 360 度视图体验，有潜力革新娱乐、游戏、建筑和设计等行业。

    May, 2023