一种简单高效的用于 3D 目标检测和道路理解的多任务网络
本文介绍了一种基于 LiDAR 的多任务网络 LidarMultiNet,它将 LiDAR 的三个主要感知任务:3D 物体检测,语义分割和全景分割统一起来。通过使用全局上下文汇聚(GCP)模块提取全局上下文特征,任务特定的头被添加到网络的顶部执行三种任务。LidarMultiNet 在 Waymo Open Dataset 和 nuScenes 数据集 上进行了广泛的测试,表明主要 LiDAR 感知任务可以在单个强网络中统一,并在既有 API 上取得最佳结果。
Sep, 2022
LiDAR 在自动驾驶中具有重要作用,本文提出了一种基于 LiDAR 的实时多任务卷积神经网络,用于对象检测、语义分割和运动分割,并在汽车级嵌入式平台上实现了 3ms 延迟,取得了语义分割和运动分割的最新成果以及 3D 物体检测的接近最新成果。
Jul, 2023
该论文研究了自动驾驶场景下高精度的 3D 物体检测问题。其提出了 Multi-View 3D networks(MV3D)框架,该框架采用多传感器融合技术,将 LIDAR 点云和 RGB 图像作为输入,并预测有方向的 3D 界限框。实验表明,该方法在 3D 定位和 3D 检测任务方面的表现优于现有技术约 25%和 30%,在 2D 检测中也表现出显著的技术优势。
Nov, 2016
LidarMultiNet 利用深度神经网络,将 3D 语义分割、物体检测和全景分割等核心 LiDAR 感知任务统一在单一框架中,实现了最佳表现。
Jun, 2022
本文介绍了一种使用多视角 LiDAR 点云的双阶段深度神经网络,用于多类目标检测和行驶空间分割,通过两个阶段的处理,能够在挑战性的场景中使用单个 LiDAR 扫描作为输入同时检测和分类物体,同时确定驾驶空间,该系统在配备于自动驾驶汽车的嵌入式 GPU 上能够高效运行,并展示了在 KITTI 数据集和更大型的内部数据集上的测试结果。
Jun, 2020
自主驾驶的关键要求是高精度、轻量化和实时响应,本文提出了一种自适应、实时和轻量化的多任务模型,能够同时处理目标检测、行驶区域分割和车道检测任务,并且无需特定定制结构或损失函数。该模型在 BDD100k 数据集上取得了竞争性的结果,尤其在可视化输出方面。此外,通过引入真实道路数据集评估了模型在真实场景中的性能,表现出超出竞争对手的优越性能,证明了模型不仅具备竞争性能,而且更加灵活快速。
Oct, 2023
本文介绍了一种新的基础设施传感器的多模 3D 物体检测器 InfraDet3D,有效结合了两个 LiDAR 和单目相机数据,通过早期融合方法提高检测效果,并将 HD 地图应用于单目 3D 检测模块,以提升其最终的感知结果;该系统在德国慕尼黑的 A9 测试区域进行了实际部署和评估,得到了 68.48 的 mAP 测试结果,同时数据集和代码也提供给研究社区进行进一步的研究。
Apr, 2023
本文介绍了一种新的实时多任务网络,包括单目三维物体检测、语义分割和密集深度估计,通过引入任务自适应注意力生成器来解决多任务学习中普遍存在的负迁移问题,并利用硬参数共享方法提高效率,能够同时处理多个任务,尤其是三维物体检测,并保持实时处理速度。经过在 Cityscapes-3D 数据集上的严格优化和深入剖析研究,我们的网络始终优于各种基准模型。
Mar, 2024
该研究提出了一种成本效益高且精确的道路分割解决方案,通过在多任务学习架构中整合来自多个传感器的数据,利用多模态系统比单模态系统能够产生更可靠的结果,使用原始传感器输入而非高预处理成本的架构,同时将 RGB 和 LiDAR 深度图像作为网络的输入,与 IMU/GNSS 惯性导航系统数据进行聚合,实验证明该方法在 KITTI 数据集和 Cityscapes 数据集上都取得了快速且高性能的解决方案,可以与不同的传感器模态一起使用,推理时间非常适合实时实验。
Aug, 2023
本文提出了一种利用多个相关任务进行准确多传感器 3D 目标检测的方法,并展示了一种全面的可学习体系结构,用于推理 2D 和 3D 目标检测以及地面估计和深度完成,在各个层面上融合信息有助于学习更好的表示。 实验表明,所有这些任务是互补的,可以在保持实时性的同时,在 2D、3D 和 BEV 目标检测方面领先 KITTI 基准。
Dec, 2020