Feb, 2024

AYDIV: 可适应的基于集成上下文的视觉 Transformer 的三维物体检测

PDF
TL;DR融合激光雷达和摄像头数据在自动驾驶系统中提高近距离物体检测的潜力，但由于激光雷达稀疏数据和摄像头高分辨率图像之间的对比度差异，融合在远距离检测上遇到困难，该研究引入 AYDIV 框架，通过全局上下文融合对齐变换器（GCFAT）、稀疏融合特征注意力（SFFA）和体积网格注意力（VGA）来改进融合方法，实验结果在 Waymo Open 数据集和 Argoverse2 数据集上表现优于其他现有的基于融合的方法，对于 mAPH 值（L2 难度）有 1.24% 的提升和 AP 值有 7.40% 的提升，我们的代码可公开获取于该 https URL。
发现论文，激发创造
  • 多视图自适应融合网络用于三维物体检测

    本文提出了一种基于多视角融合的 3D 目标检测网络，结合了激光雷达鸟瞰视角、激光雷达距离视角和相机视角图像，使用注意力机制和额外任务优化点特征和结构信息，有效地实现了多视角特征的适应性融合，该网络在 KITTI 3D 目标检测数据集上的表现令人满意。

    Nov, 2020

  • DAIR-V2X: 用于车路协作三维物体检测的大规模数据集

    发布了第一个用于车路协同自动驾驶的真实场景多模态多视角数据集 DAIR-V2X，其中包括 71254 帧 LiDAR 和摄像头帧，是解决车路协同 3D 物体检测问题的一个基准，并提出了延迟融合框架 TCLF。

    Apr, 2022

  • Ada3D：自适应推断利用空间冗余以实现高效的三维物体检测

    Ada3D 是一种自适应的推断框架，利用轻量级的重要性预测器和点云的独特特性去除冗余输入，减少计算和记忆成本，并通过引入 Sparsity Preserving Batch Normalization 进一步降低了密集特征映射的密度。

    Jul, 2023

  • 用于自动驾驶的多视角三维物体检测网络

    该论文研究了自动驾驶场景下高精度的 3D 物体检测问题。其提出了 Multi-View 3D networks（MV3D）框架，该框架采用多传感器融合技术，将 LIDAR 点云和 RGB 图像作为输入，并预测有方向的 3D 界限框。实验表明，该方法在 3D 定位和 3D 检测任务方面的表现优于现有技术约 25％和 30％，在 2D 检测中也表现出显著的技术优势。

    Nov, 2016

  • DeepFusion: 基于 Lidar 和相机的深度融合技术用于多模态 3D 物体检测

    本文介绍了一种通过将 lidar 特征与摄像头特征融合的方法来提高自动驾驶 3D 检测性能。基于 InverseAug 和 LearnableAlign，提出了一系列被称为 DeepFusion 的通用多模态 3D 检测模型，实现了对 PointPillars、CenterPoint 和 3D-MAN 基线的有效改进，表现出对输入异常和数据偏移的强大鲁棒性和最先进的性能，可公开获取代码

    Mar, 2022

  • 上下文融合：基于上下文的恶劣工况下三维物体检测的多传感器融合

    我们提出了一种称为 ContextualFusion 的简单而有效的技术，用于将摄像头和激光雷达在各种光照和天气条件下的行为领域知识融入到三维物体检测模型中，显著提高在不利气象条件下的自主车状态的感知性能。

    Apr, 2024

  • SparseLIF：高性能稀疏激光雷达与相机融合的三维目标检测

    稀疏 3D 检测器通过增强两种模态的丰富表示的认知度，如透视先验、RoI 特征采样和不确定性感知融合，来弥合与密集检测器之间的性能差距，在 nuScenes 数据集上实现了领先的性能表现，并且超过所有最先进的 3D 对象检测器。

    Mar, 2024

  • DeepFusion: 适用于激光雷达、相机和雷达的强健模块化三维物体检测器

    DeepFusion 提出了一种模块化的多模态架构，用于融合 lidar，相机和雷达以进行 3D 物体检测，实验结果证明了其灵活性和有效性，并探讨了远距离汽车检测和所需的激光点密度对 3D 物体检测的影响。

    Sep, 2022

  • FADet：一种基于本地突出特征的多传感器三维物体检测网络

    基于多传感器融合和局部特征注意力模块，本文提出了 FADet，一种用于自动驾驶任务的多传感器 3D 检测网络，能够在相机、LiDAR 和雷达输入下的长尾和复杂场景中实现有效的目标检测结果，并在 LiDAR - 相机和雷达 - 相机目标检测任务上达到了最先进的性能。

    May, 2024

  • UADA3D：基于稀疏 LiDAR 和大域差异的无监督敌对领域自适应三维物体检测

    我们在这项研究中填补现有无监督领域自适应方法的空白，这些方法主要集中于适应已经建立的高密度自动驾驶数据集。我们专注于稀疏的点云，从不同的角度捕捉场景，不仅来自道路上的车辆，还来自人行道上的移动机器人，遇到显著不同的环境条件和传感器配置。我们引入了无监督对抗领域自适应三维物体检测（UADA3D），不依赖于预训练源模型和师生架构，而是使用对抗性方法直接学习域不变特征。我们在各种适应场景中证明了其功效，在自动驾驶汽车和移动机器人领域都取得了显著的改进。我们的代码是开源的，即将推出。

    Mar, 2024