LiDARsim: 通过利用现实世界,实现逼真的激光雷达模拟
开发自动驾驶中,真实车辆传感器模拟是重要的因素。我们提出利用基于数据的方法,使用来自实际测试驾驶的相机图像和 LiDAR 扫描数据训练生成对抗网络,实现相互翻译。通过添加分割数据和密集深度图像的相机图像,以及通过测试真实与合成点云之间物体检测网络的泛化效果评估 LiDAR 模拟性能,我们结合这两种方法,模拟并展示了真实的 LiDAR 点云。
Nov, 2023
本文提出一种新的 LiDAR 模拟器,可有效解决困扰自动驾驶车辆的障碍物检测问题。该模拟器通过添加合成障碍物并在背景点云基础上生成注释点云,可以自动为检测器提供训练数据,使其在深度学习中表现出色,并可以实现大规模工业应用。
Nov, 2018
LidarDM 是一种新颖的 LiDAR 生成模型,能够生成逼真、具有布局意识、物理合理和时间连贯的 LiDAR 视频。该模型具有两个前所未有的能力:根据驾驶场景进行 LiDAR 生成,为自动驾驶模拟提供了重要潜力,并且能够生成 4D LiDAR 点云,实现逼真且时间连贯的序列。我们的实验表明,我们的方法在逼真性、时间连贯性和布局一致性方面优于竞争算法。此外,我们还展示了 LidarDM 可用作生成世界模型的模拟器,用于训练和测试感知模型。
Apr, 2024
利用实际数据和图像,我们提出了一种新的 LiDAR 模拟方法 NeRF-LiDAR 用于生成真实的 LiDAR 点云,以便更有效地训练和验证自动驾驶算法,并可以通过预训练来提高准确性。
Apr, 2023
通过 CycleGANs 从未配对的数据中进行图像转换,以实现从模拟 LiDAR 到真实 LiDAR(sim2real)的传感器建模,从低分辨率到高分辨率的真实 LiDAR(real2real)的生成以及使用鸟瞰图和极坐标 2D 表示法处理 LiDAR 3D 点云。实验结果表明,该方法具有很高的潜力。
May, 2019
本文提出了一个从电脑游戏中快速生成带有准确点级别标签的点云的框架,可用于深度学习算法的训练和神经网络的鲁棒性测试并提出了自动标定方法,实验表明将生成的合成数据与训练数据集相结合可显著提高点云分割的准确性 (+9%),通过从用户配置场景的点云进行神经网络的测试和重新训练,可以修复神经网络的弱点 / 盲点。
Mar, 2018
提出了 FPA raycasting 和 surrogate model raydrop 方法来解决 LiDAR 模拟器数据中的噪声和几何限制问题,并使用 SMPL 数据集对虚拟现实行人进行了仿真,利用这个方法进行目标检测模型的训练可以达到与实际数据训练模型类似的结果。
Oct, 2022
该研究论文探讨了基于学习的模型在模拟环境中将 Lidar 点云数据转换成高质量真实数据的 Sim-to-Real 映射方法,并与图像转换方法进行了广泛的评估,结果表明基于对比学习的 CLS2R 框架在几乎所有度量指标上表现出优越性能。
Dec, 2023
实现安全可靠的自动驾驶车辆开发的关键是逼真的模拟。传感器模拟是其中的核心组成部分,可以在模拟中测试整个自主系统。然而,目前的基于传感器数据的自动重建方法在野外数据的稀疏性和噪声方面存在问题。为了解决这些问题,我们提出了 CADSim 方法,它通过小量 CAD 模型的部件感知目标类别先验和可微分渲染来自动重建包括有良好真实感的车辆几何形状,包括关节轮。我们的实验证明,与现有方法相比,我们的方法可以更准确地从稀疏数据中恢复形状,并且训练和渲染效率高。我们在几个应用中展示了我们重建的车辆,包括对自主感知系统的准确测试。
Nov, 2023
本论文介绍了一种利用提升式激光雷达(LiDAR)传感器的能力,通过转变交通场景中的三维物体检测和分析的框架来改善在城市环境中的三维物体检测能力。利用模拟器生成三维点云数据集,通过训练和评估三维物体检测模型,准确识别和监测模拟城市交通环境中的车辆和行人。针对由模拟交通生成的大量点云数据,优化了基于点体素区域的卷积神经网络(PV-RCNN)架构,提升了其处理和理解能力。实验结果表明所提出的解决方案在准确检测交通场景中的物体方面的有效性,并强调了激光雷达对提升城市安全和推动智能交通系统的作用。
May, 2024