LiDAR-BEVMTN:用于自动驾驶的实时激光雷达鸟瞰式多任务感知网络
本文提出了一种基于 LiDAR 传感器和多任务网络的感知系统,用于自主驾驶中的目标检测和道路识别,取得了良好的实验效果和在线定位能力。
Mar, 2021
通过提出一种高效的多任务学习框架 LiSD,将分割和检测任务集成在一起,以优化整体性能, 它是一种基于体素的编码器 - 解码器框架,包含分层特征协作和整体信息聚合模块,以及利用跨任务信息的实例感知细化模块。我们在 nuScenes 数据集和 Waymo Open 数据集上进行了实验验证,结果表明我们提出的模型的有效性,尤其是在只使用 lidar 的方法中,LiSD 在 nuScenes 分割基准测试中达到了 83.3%的 mIoU,领先于其他方法。
Jun, 2024
本文介绍了一种基于 LiDAR 的多任务网络 LidarMultiNet,它将 LiDAR 的三个主要感知任务:3D 物体检测,语义分割和全景分割统一起来。通过使用全局上下文汇聚(GCP)模块提取全局上下文特征,任务特定的头被添加到网络的顶部执行三种任务。LidarMultiNet 在 Waymo Open Dataset 和 nuScenes 数据集 上进行了广泛的测试,表明主要 LiDAR 感知任务可以在单个强网络中统一,并在既有 API 上取得最佳结果。
Sep, 2022
本文介绍了一种使用多视角 LiDAR 点云的双阶段深度神经网络,用于多类目标检测和行驶空间分割,通过两个阶段的处理,能够在挑战性的场景中使用单个 LiDAR 扫描作为输入同时检测和分类物体,同时确定驾驶空间,该系统在配备于自动驾驶汽车的嵌入式 GPU 上能够高效运行,并展示了在 KITTI 数据集和更大型的内部数据集上的测试结果。
Jun, 2020
本研究提出了一种利用分割信息指导检测过程的多任务框架,该框架联合执行三维物体检测和全景分割,可利用多视角信息解决每个投影视图的缺陷,并通过前景语义信息和中心密度热力图来提示物体的可能框中心位置。在 nuScenes 数据集上进行的大量实验表明,该方法提供了显著的性能提升,基于单级 CenterPoint 3D 物体检测网络的所提出方法在 nuScenes 3D 检测基准上取得了 67.3 NDS 的最新性能。
Mar, 2022
本文介绍了一种新的实时多任务网络,包括单目三维物体检测、语义分割和密集深度估计,通过引入任务自适应注意力生成器来解决多任务学习中普遍存在的负迁移问题,并利用硬参数共享方法提高效率,能够同时处理多个任务,尤其是三维物体检测,并保持实时处理速度。经过在 Cityscapes-3D 数据集上的严格优化和深入剖析研究,我们的网络始终优于各种基准模型。
Mar, 2024
无人驾驶车辆中的目标检测与跟踪任务主要依靠相机和 LiDAR 等多种传感器,本研究在使用 LiDAR 点云的新编码方式基础上,通过推断自动驾驶车辆附近不同类别物体的位置,实现了对场景中物体位置和方向的预测。
Dec, 2023
本文提出了一种利用多视角 LiDAR 返回和摄像头图像的终端到终端物体检测和轨迹预测方法,使用 Bird's-Eye View (BEV) 网络的状态 -of-the-art 融合历史 LiDAR 数据和高清地图的体素化特征来执行检测和预测任务。在此基础上,我们使用 LiDAR Range-View (RV)功能扩展了此模型,使用 LiDAR 原始信息的非量化表示。RV 特征图被投影到 BEV 中,并与计算自 LiDAR 和高清地图的 BEV 特征融合。最终输出检测和轨迹,这是一个单一的可训练终端到终端网络。在实际的无人驾驶车辆数据和公共 nuScenes 数据集上,所提出的多视角融合方法的表现都优于最先进的技术,并且增加了较少的计算成本。
Aug, 2020
本文旨在研究基于传感器融合技术的三维语义分割,将 RGB 图像转化为 LiDAR 所使用的极坐标网格映射表示,并设计了早期和中期融合架构,同时提出了融合两种算法的混合融合结构。在 KITTI 数据集中评估了所提出算法的效果,并相对于仅使用 LiDAR 的基线模型,在两种最先进的算法 SqueezeSeg 和 PointSeg 上分别提高了 10% 的分割精度。
Jun, 2019
本研究提出 BEVFusion,这是一种有效和通用的多任务多传感器融合框架,通过在共享的鸟瞰图表示空间中统一多模态特征,从根本上支持不同的 3D 感知任务,并在 nuScenes 上创立了新的技术水平
May, 2022