Nov, 2023

Sparse4D v3：推进端到端三维检测与跟踪

PDF
TL;DR该研究论文提出了在自动驾驶感知系统中进行 3D 检测和跟踪的两个基本任务，并引入了两个辅助训练任务（时间实例去噪和质量估计）以及提出了解耦的注意力机制来进行结构上的改进，从而显著提高了检测性能。此外，我们还使用一种直接的方法将检测器扩展为跟踪器，在推断过程中分配实例 ID，进一步突显了基于查询的算法的优势。在 nuScenes 基准测试上进行了大量实验，验证了所提出改进的有效性。在以 ResNet50 为主干网络的情况下，我们观察到 mAP、NDS 和 AMOTA 分别提高了 3.0％、2.2％和 7.6％，分别达到了 46.9％、56.1％和 49.0％。我们的最佳模型在 nuScenes 测试集上达到了 71.9％的 NDS 和 67.7％的 AMOTA。代码将在 https://github.com/linxuewu/Sparse4D 上发布。
autonomous driving perception systems3d detectiontrackingsparse4d frameworkquery-based algorithms
发现论文，激发创造
  • SRCN3D: 自主驾驶稀疏 R-CNN 3D 环视摄像头物体检测与跟踪

    本文介绍了 Sparse R-CNN 3D（SRCN3D），这是一种基于稀疏查询、稀疏注意力和稀疏预测的二阶段全稀疏探测器，用于环绕视图相机检测和跟踪。 SRCN3D 具有有效、快速和轻量级的特点，并在多目标跟踪中实现了综合利用运动特征、提议特征和 RoI 特征，与 2022.08.09 之前的最佳方法相比，在仅使用相机的多目标跟踪中，AMOTA 指标超过 10 个点。

    Jun, 2022

  • SparseDet：朝向端到端的 3D 物体检测

    本文提出了 SparseDet 这一端到端的基于点云的三维物体检测算法，通过固定数量的可学习建议来代表潜在候选框，并使用堆叠的 transformers 直接进行三维物体的分类和定位，且无需后处理步骤，相比传统方法具有更高的效率和准确率。

    Jun, 2022

  • Sparse4D v2：带稀疏模型的循环时间融合

    本文提出了 Sparse4Dv2 算法，通过在时间融合模块中实现一种递归形式的多帧特征采样来提高性能，并达到了 nuScenes 3D 检测基准的最佳结果。

    May, 2023

  • SAFDNet：一种简单有效的全稀疏 3D 物体检测网络

    通过设计自适应特征扩散策略，提出了一种用于完全稀疏的三维目标检测的高效架构 SAFDNet，并在长距离检测场景中证明了其有效性。

    Mar, 2024

  • VoxelNeXt：3D 物体检测与跟踪的全稀疏 VoxelNet

    本文提出了一种名为 VoxelNext 的基于稀疏体素特征的完全稀疏 3D 目标检测方法，通过少量的推断即可检测和跟踪 3D 目标，它具有良好的速度 - 精度折衷，且不需后续的稀疏转密集转换或 NMS 后处理。实验证明，该方法能够在 nuScenes、Waymo 和 Argoverse2 基准上显著提高检测效果。

    Mar, 2023

  • SparseDet: 一种简单而有效的基于全稀疏 LiDAR 的 3D 物体检测框架

    提出了一种基于稀疏查询的 SparseDet 稀疏三维物体检测方法，通过局部多尺度特征聚合模块和全局特征聚合模块，完整地捕捉了上下文信息，提高了代理物体表达能力。实验结果在 nuScenes 和 KITTI 上验证了该方法的有效性。

    Jun, 2024

  • 通过 3D 到 2D 查询从多视角图像中进行 3D 物体检测

    提出了一种基于多摄像头的 3D 对象检测框架，使用基于上下文注意力的网络，直接在 3D 空间中进行边界框的预测，实现了全球最佳性能。

    Oct, 2021

  • 全稀疏三维物体检测

    通过稀疏编码器与稀疏实例识别（SIR）模块，提出了一种全稀疏三维目标检测器（FSD），该方法可以在自动驾驶的远距离感知任务中实现高效的检测，具有状态 - of-the-art 性能并且比密集对应物快 2.4 倍。

    Jul, 2022

  • DeNet：利用指向性稀疏采样实现可扩展实时物体检测

    该论文提出了一种基于终端到终端的 CNN 模型，其使用稀疏的分布估计方案 —— 定向稀疏采样，并对模型进行了场景自适应优化，具有实时评估率和较高的精度，尤其针对细粒度对象具有更大的 regions-of-interest 集合。

    Mar, 2017

  • DSPDet3D：面向 3D 小目标检测的动态空间修剪

    本文介绍了一种名为 DSPDet3D 的高分辨率多层检测器，通过动态空间修剪和迭代上采样从大到小检测物体，实现了在小物体检测方面的高准确性和计算效率优化。

    May, 2023