ECCVSep, 2022

CenterFormer：基于中心点的 Transformer 用于 3D 物体检测

PDF
TL;DR本文提出了一种基于中心点的变换网络 ——CenterFormer，它使用查询嵌入来聚合中心候选点的特征向量，并设计了一种通过交叉注意力来融合多帧特征的方法。在 Waymo Open 数据集上，CenterFormer 在单个模型上实现了先进水平，取得了 73.7% 的验证集和 75.6% 的测试集 mAPH, 显著优于以前所有已发表的基于 CNN 和 transformer 的方法。
query-based transformercenterformer3d object detectiontransformer structurewaymo open dataset
发现论文，激发创造
  • Pointformer 进行的 3D 物体检测

    本文提出了一种 3D 点云特征学习模型 Pointformer，其中使用局部和全局 Transformer 模块对点云数据进行建模，结合了多尺度特征，以及使用坐标调整模块改善物体提议生成，成功地应用于室内和室外场景下目标检测任务，并取得了显著的性能提升。

    Dec, 2020

  • OctFormer: 三维点云的基于八叉树的 Transformer 模型

    OctFormer 使用基于八叉树的关注机制进行分割和检测，这种关注机制具有高效性和灵活性，且在多个基准测试中表现出优异的性能。

    May, 2023

  • FlatFormer: 压缩窗口注意力的高效点云 Transformer

    FlatFormer 是一种 3D 点云变压器网络，通过交换计算负荷和提取局部特征以实现节省计算时间的效果，在边缘 GPU 上实现了实时性能，并在大规模基准测试上达到与或甚至更好的准确性。

    Jan, 2023

  • 用于 3D 点云分析的收集和分配变换器

    本研究提出了 CDFormer，一种新的利用收集和分布机制的 Transformer 架构，可对点云的局部和全局结构进行有效学习，并在四个流行的点云数据集上取得了新的最佳分类和分割结果。

    Jun, 2023

  • 基于 Transformer 的 3D 物体跟踪

    本文提出了一种基于 transformer 架构的特征融合网络，以解决 3D 目标跟踪中的关键问题。该网络利用自注意机制捕捉点云中不同区域之间的相互关系，并使用交叉注意力将目标提示信息融入特征中，从而提高相似度计算的效率。在 KITTI 数据集上的实验结果表明，该方法取得了最新的最佳表现。

    Oct, 2021

  • SWFormer：用于点云三维物体检测的稀疏窗口变换器

    本文提出了一种针对 3D 目标检测的模型 Sparse Window Transformer（SWFormer），它能够充分利用点云数据的稀疏性，并通过 “桶” 技术对不同长度的稀疏窗口有效地进行处理。在 Multi-scale 特征融合和窗口偏移操作的基础上，作者还引入了新的体素扩散技术。最终，在 Waymo Open Dataset 上的实验结果表明，SWFormer 相比于所有先前的单阶段和两阶段模型，取得了最新的 73.36 L2 mAPH 表现，同时更加高效。

    Oct, 2022

  • 3DMOTFormer：在线三维多目标跟踪的图形转换器

    基于 Transformer 架构构建的学习几何 3D MOT 框架 3DMOTFormer，在进行跟踪检测双向图的基础上，通过边分类进行数据关联，并提出了一种新颖的在线训练策略，通过自回归和递归前向传播以及序列化批量优化来减少训练和推断之间的分布不匹配。

    Aug, 2023

  • ConDaFormer：用于三维点云理解的局部结构增强的分解式 Transformer

    将局部几何结构和长范围上下文信息耦合进 ConDaFormer 中，通过将相应的立方体窗口分解为三个正交的 2D 平面，以在类似范围内建模注意力，提高了性能和模型的计算效率。

    Dec, 2023

  • CenterAtt: 快速的 2 阶段中心关注网络

    本技术报告介绍了 HIKVISION_LiDAR_Det 在 waymo 开放数据集的实时 3D 检测挑战中的方法。我们采用了 center attention head 和 feature pyramid network neck 等多种方法来将 CenterPoint 框架进行优化。同时，采用了 batchnorm merge、fp16 常量微调和 GPU 加速的体素化处理等方法来实现实时检测。通过这些方法，我们的团队在 waymo 开放数据集上实时 3D 检测挑战中排名第 6。

    Jun, 2021

  • OneFormer3D：统一点云分割的一种 Transformer

    本文提出了一种统一、简单、有效的模型 OneFormer3D，利用可学习的卷积核同时处理实例分割和语义分割，通过输入统一的实例和语义查询来训练，并在 ScanNet 测试排行榜中取得了第一名和新的最佳性能，同时在 ScanNet、ScanNet200 和 S3DIS 数据集上展示了最领先的语义、实例和全景分割结果。

    Nov, 2023