Aug, 2020

自动驾驶中多视角传感器数据融合提升感知和预测

PDF
TL;DR本文提出了一种利用多视角 LiDAR 返回和摄像头图像的终端到终端物体检测和轨迹预测方法，使用 Bird's-Eye View (BEV) 网络的状态 -of-the-art 融合历史 LiDAR 数据和高清地图的体素化特征来执行检测和预测任务。在此基础上，我们使用 LiDAR Range-View （RV）功能扩展了此模型，使用 LiDAR 原始信息的非量化表示。RV 特征图被投影到 BEV 中，并与计算自 LiDAR 和高清地图的 BEV 特征融合。最终输出检测和轨迹，这是一个单一的可训练终端到终端网络。在实际的无人驾驶车辆数据和公共 nuScenes 数据集上，所提出的多视角融合方法的表现都优于最先进的技术，并且增加了较少的计算成本。
object detectiontrajectory predictionmulti-view representationslidarcamera images
发现论文，激发创造
  • BEVFusion: 多任务多传感器融合及其基于统一俯视图的表示

    本研究提出 BEVFusion，这是一种有效和通用的多任务多传感器融合框架，通过在共享的鸟瞰图表示空间中统一多模态特征，从根本上支持不同的 3D 感知任务，并在 nuScenes 上创立了新的技术水平

    May, 2022

  • MVFuseNet: 通过多视角融合 LiDAR 数据，提高端到端对象检测和运动预测的性能

    提出了一种名为 MVFuseNet 的方法，在利用脉冲激光雷达（LiDAR）数据时，通过多视图联合学习以及多尺度特征提取的方式，实现了目标检测和运动预测，取得了最新的技术成果，并且验证了该方法在大范围的自动驾驶数据集上可以很好地拓展并保持实时性能。

    Apr, 2021

  • CoBEVFusion：基于合作感知的激光雷达 - 相机鸟瞰融合

    通过利用多传感器融合的方法，我们提出了一种名为 CoBEVFusion 的框架，将 LiDAR 和相机数据融合为鸟瞰图（BEV）表示，以改善协同感知在自动驾驶车辆中的安全性和可靠性。我们的 DWCA LiDAR-camera fusion 模型在 BEV 语义分割和 3D 物体检测任务中表现优于单模态数据和最先进的 BEV 融合模型。同时，CoBEVFusion 整体协同感知架构的性能与其他协同感知模型相当。

    Oct, 2023

  • 基于全景分割引导的 LiDAR 多视角三维物体检测通用框架

    本研究提出了一种利用分割信息指导检测过程的多任务框架，该框架联合执行三维物体检测和全景分割，可利用多视角信息解决每个投影视图的缺陷，并通过前景语义信息和中心密度热力图来提示物体的可能框中心位置。在 nuScenes 数据集上进行的大量实验表明，该方法提供了显著的性能提升，基于单级 CenterPoint 3D 物体检测网络的所提出方法在 nuScenes 3D 检测基准上取得了 67.3 NDS 的最新性能。

    Mar, 2022

  • 自动驾驶中基于深度学习的雷达和视觉融合的三维物体检测综述

    自主驾驶中基于雷达与视觉融合的深度学习方法对于三维目标检测起到重要作用，本文综述了雷达 - 视觉融合的综合研究，特别关注了区域兴趣融合和端到端融合策略，并介绍了最新的四维雷达技术及其在自动驾驶中的应用。

    Jun, 2024

  • 用于自动驾驶的多视角三维物体检测网络

    该论文研究了自动驾驶场景下高精度的 3D 物体检测问题。其提出了 Multi-View 3D networks（MV3D）框架，该框架采用多传感器融合技术，将 LIDAR 点云和 RGB 图像作为输入，并预测有方向的 3D 界限框。实验表明，该方法在 3D 定位和 3D 检测任务方面的表现优于现有技术约 25％和 30％，在 2D 检测中也表现出显著的技术优势。

    Nov, 2016

  • 3D-CVF：使用跨视角空间特征融合生成联合相机和激光雷达特征进行 3D 物体检测

    提出了一种新的深度架构，用于将相机和 LiDAR 传感器融合以进行 3D 物体检测，该方法称为 3D-CVF，通过交叉视图空间特征融合策略，使用自动校准投影将相机和 LiDAR 特征组合，该方法在 KITTI 基准测试中实现了最先进的性能。

    Apr, 2020

  • BroadBEV: 广览鸟瞰式地图构建的 LiDAR 与相机融合

    提出了一种空间同步的跨模态方法，通过点散射将 LiDAR BEV 分布散布到相机深度分布，增强相机 BEV 估计和精确定位，同时改善整个 BEV 空间中 LiDAR 的稀疏性，实现了广视野 BEV 感知。

    Sep, 2023

  • LiDAR 点云 3D 物体检测的端到端多视角融合

    本文提出了一种新颖的多视角融合算法 (MVF)，它能够从鸟瞰视角和透视视角有效地学习利用互补信息，其中采用了动态体素化方法。在 Waymo 开放数据集和 KITTI 数据集上的评估表明，MVF 模型显著提高了检测精度。

    Oct, 2019

  • 多视图自适应融合网络用于三维物体检测

    本文提出了一种基于多视角融合的 3D 目标检测网络，结合了激光雷达鸟瞰视角、激光雷达距离视角和相机视角图像，使用注意力机制和额外任务优化点特征和结构信息，有效地实现了多视角特征的适应性融合，该网络在 KITTI 3D 目标检测数据集上的表现令人满意。

    Nov, 2020