Jun, 2021

自动驾驶中的多模态 3D 物体检测：一项综述

PDF
TL;DR本文介绍了自动驾驶所使用的流行传感器、它们的数据性质以及相应的目标检测算法。还讨论了用于评估多模态 3D 目标检测算法的现有数据集。接着对基于多模态融合的 3D 检测网络进行了回顾，并介绍了它们的融合阶段、融合输入和融合粒度以及这些设计选择如何随着时间和技术而演变。最后讨论了面临的挑战以及可能的解决方案。希望本文能帮助研究人员了解多模态 3D 目标检测领域并进行相关研究。
self-drivingsensorsobject detectionmulti-modal3d detection networks
发现论文，激发创造
  • 自主驾驶的深度多模态物体检测和语义分割：数据集、方法和挑战

    本文介绍了最近在深度学习领域取得的自主驾驶感知技术。对于实现强大而准确的场景理解，自动驾驶车辆通常配备多种传感器 (例如相机、激光雷达、雷达)，并且可以将多种感知模式融合以利用它们的互补性。然而，网络架构设计方面缺乏通用指导方针，关于 “何时融合” 和 “如何融合” 等问题仍然存在争议。本文系统地总结了方法学和讨论了自主驾驶中深度多模式对象检测和语义分割的挑战。

    Feb, 2019

  • 自动驾驶的 3D 物体检测综述

    本文旨在填补 3D 对象检测在自动驾驶中的知识空白，综述了相关领域的传感器、数据集、性能度量以及最新的检测方法，分析了其优劣，并进行了定量比较和案例研究，最后总结了研究成果和未来发展方向。

    Jun, 2021

  • 面向自动驾驶的图像三维物体检测综述

    本文综述了自 2015 年至 2021 年期间针对基于图像的三维物体检测问题的 200 多个研究，并提出了两个新的分类体系来组织现有的最先进的方法，并深入分析了它们的各个组成部分。同时，本文探讨了这个领域的挑战和未来方向。

    Feb, 2022

  • 自动驾驶感知的多模态传感器融合技术综述

    本文针对自动驾驶感知任务中存在的多模态融合问题进行文献综述，分析超过 50 篇包括 LiDAR 和相机在内的感知传感器解决目标检测和语义分割任务的方法，并提出一种更合理的分类方法。

    Feb, 2022

  • 自动驾驶中的三维物体检测：综述与新展望

    本文综述了自动驾驶技术中感知系统中重要的一环 - 三维物体检测的研究进展以及应用，包括基于激光雷达和基于相机的方法，并分析了各自的优缺点和潜在的应用场景。

    Jun, 2022

  • mmFUSION: 三维物体检测的多模态融合

    提出一种新的中级多模态融合（mmFUSION）方法，通过分别计算每种模态的特征并通过交叉模态和多模态注意机制进行融合，实现了精确的自动驾驶系统中的三维目标检测。

    Nov, 2023

  • 自主驾驶的概率三维多模态、多目标跟踪

    通过融合 2D 图像与 3D LiDAR 点云的特征，学习度量，以及在无匹配目标检测时初始化跟踪，提出了一种概率、多模态、多对象跟踪系统，实现了比现有技术更鲁棒、数据驱动的多对象跟踪。

    Dec, 2020

  • 自动驾驶中的鲁棒性感知 3D 物体检测：综述与展望

    在现代自动驾驶领域中，感知系统是不可或缺的，它可以准确评估周围环境的状态，从而实现知情预测和规划。本研究重点研究了感知系统的鲁棒性、准确性和延迟性在实际情况下的评估，通过对基于摄像头、LiDAR 和多模态的 3D 物体检测算法进行全面评估，特别是在 KITTI-C 和 nuScenes-C 等数据集上进行公平比较，发现多模态的 3D 检测方法表现出更强的鲁棒性，并引入了一个新的分类系统以提高文献的清晰度。本调查旨在为当前三维物体检测算法在实际应用中的能力和限制提供更实用的视角，从而引导未来的研究朝向鲁棒性为中心的发展。

    Jan, 2024

  • 用于自动驾驶的多视角三维物体检测网络

    该论文研究了自动驾驶场景下高精度的 3D 物体检测问题。其提出了 Multi-View 3D networks（MV3D）框架，该框架采用多传感器融合技术，将 LIDAR 点云和 RGB 图像作为输入，并预测有方向的 3D 界限框。实验表明，该方法在 3D 定位和 3D 检测任务方面的表现优于现有技术约 25％和 30％，在 2D 检测中也表现出显著的技术优势。

    Nov, 2016

  • 多模态虚拟点 3D 检测

    通过无缝融合 RGB 传感器到 Lidar 的 3D 识别中，我们提出了一个简单而有效的多模态检测器，该方法利用一组 2D 检测生成密集的虚拟 3D 点，能够增强原来稀疏的 3D 点云，实验结果在大规模 nuScenes 数据集上取得了显着的改进，并超过了竞争融合方法。

    Nov, 2021