Oct, 2022

SWFormer：用于点云三维物体检测的稀疏窗口变换器

HTML
PDF
TL;DR本文提出了一种针对3D目标检测的模型Sparse Window Transformer（SWFormer），它能够充分利用点云数据的稀疏性，并通过“桶”技术对不同长度的稀疏窗口有效地进行处理。在Multi-scale特征融合和窗口偏移操作的基础上，作者还引入了新的体素扩散技术。最终，在Waymo Open Dataset上的实验结果表明，SWFormer相比于所有先前的单阶段和两阶段模型，取得了最新的73.36 L2 mAPH表现，同时更加高效。
发现论文，激发创造
  • 用于3D物体检测的Voxel Transformer

    本文介绍了Voxel Transformer( VoTr)，这是一种用于3D目标检测的新型有效的基于体素的Transformer骨干网络。我们通过引入基于Transformer的体系结构来解决仅使用体素的3D卷积骨干不能有效地捕获大的上下文信息的问题，并且我们提出的VoTr在KITTI议会和Waymo开放数据集上展现了良好的性能。

    Sep, 2021

  • 利用稀疏变换器的单步3D物体检测器

    本文研究在自动驾驶中基于LiDAR的三维物体检测问题，发现传统的下采样操作可能对信息造成不可避免的损失，提出了一种称作Single-stride Sparse Transformer (SST)的新方法，该方法利用transformers避免了单步架构中接受域不足的问题，有效处理了点云的稀疏性并显著提升了检测性能，验证集上Level-1 AP值达到了83.8，小物体（行人）检测表现尤为突出。

    Dec, 2021

  • DSVT：具有旋转集的动态稀疏体素变换器

    本文介绍了动态稀疏体素变换器（DSVT），它是一个用于室外3D感知的单步幅基于体素的转换器骨干。为了有效处理稀疏点云，我们提出了动态稀疏窗口注意力，这将每个窗口中的一系列局部区域根据其稀疏性划分，并以完全并行的方式计算所有区域的特征。在本文中，我们的模型实现了具有广泛3D感知任务的最先进的性能，并且可以轻松通过TensorRT进行实时推理速度（27Hz）的部署。

    Jan, 2023

  • FlatFormer: 压缩窗口注意力的高效点云Transformer

    FlatFormer是一种3D点云变压器网络，通过交换计算负荷和提取局部特征以实现节省计算时间的效果，在边缘GPU上实现了实时性能，并在大规模基准测试上达到与或甚至更好的准确性。

    Jan, 2023

  • VoxelNeXt：3D物体检测与跟踪的全稀疏VoxelNet

    本文提出了一种名为VoxelNext的基于稀疏体素特征的完全稀疏3D目标检测方法，通过少量的推断即可检测和跟踪3D目标，它具有良好的速度-精度折衷，且不需后续的稀疏转密集转换或NMS后处理。实验证明，该方法能够在nuScenes、Waymo和Argoverse2基准上显著提高检测效果。

    Mar, 2023

  • MS23D：一种使用多尺度语义特征点构建3D特征层的三维目标检测方法

    MS$^{2}$3D是一个两阶段的三维检测框架，利用小尺寸的体素提取细粒度的局部特征和大尺寸的体素捕捉长程局部特征，通过多尺度语义特征点构建三维特征层并计算特征点与目标质心的偏移，以提高特征聚合的效率，在KITTI数据集和ONCE数据集上验证了该方法的有效性。

    Aug, 2023

  • VoxelNextFusion：一个简单、统一且有效的多模态三维物体检测体素融合框架

    VoxelNextFusion是一种多模态的三维物体检测框架，通过有效地融合稀疏点云和密集图像之间的信息，解决了现有基于体素方法在稀疏和密集特征融合上的问题，从而在KITTI和nuScenes数据集上实现了3D物体检测的显著改进。

    Jan, 2024

  • MsSVT++: 混合尺度稀疏体素变换与中心投票用于3D物体检测

    3D 目标检测中的突出问题是大规模室外场景下对象尺度的变化，需要同时获取远距离和细粒度信息的特征。为了解决这一问题，我们提出了MsSVT++，一种创新的混合尺度稀疏体素变换器，通过分治方法同时捕捉两类信息。使用棋盘采样策略和哈希映射在3D体素空间中进行稀疏的体素采样和聚集操作，以减轻基于窗口的变换器的计算复杂性。同时，引入了中心投票模块，将混合尺度上下文信息丰富的新体素朝着对象中心进行集成，从而提高了精确的对象定位。广泛的实验证明，我们的单阶段检测器在MsSVT++的基础上，对不同的数据集始终表现出优异的性能。

    Jan, 2024

  • PVTransformer：用于可扩展的三维物体检测的点对体素变换器

    信息瓶颈限制了3D物体检测的准确性和可扩展性，因此我们提出了基于Transformer的PVTransformer架构，通过用注意模块替换PointNet池化操作来改善点到体的聚合函数，从而在广泛使用的Waymo Open Dataset上实现了卓越的表现。

    May, 2024

  • SparseDet:一种简单而有效的基于全稀疏LiDAR的3D物体检测框架

    提出了一种基于稀疏查询的SparseDet稀疏三维物体检测方法，通过局部多尺度特征聚合模块和全局特征聚合模块，完整地捕捉了上下文信息，提高了代理物体表达能力。实验结果在nuScenes和KITTI上验证了该方法的有效性。

    Jun, 2024