Oct, 2022

SWFormer：用于点云三维物体检测的稀疏窗口变换器

PDF
TL;DR本文提出了一种针对 3D 目标检测的模型 Sparse Window Transformer（SWFormer），它能够充分利用点云数据的稀疏性，并通过 “桶” 技术对不同长度的稀疏窗口有效地进行处理。在 Multi-scale 特征融合和窗口偏移操作的基础上，作者还引入了新的体素扩散技术。最终，在 Waymo Open Dataset 上的实验结果表明，SWFormer 相比于所有先前的单阶段和两阶段模型，取得了最新的 73.36 L2 mAPH 表现，同时更加高效。
发现论文，激发创造
  • FlatFormer: 压缩窗口注意力的高效点云 Transformer

    FlatFormer 是一种 3D 点云变压器网络，通过交换计算负荷和提取局部特征以实现节省计算时间的效果，在边缘 GPU 上实现了实时性能，并在大规模基准测试上达到与或甚至更好的准确性。

    Jan, 2023

  • ScatterFormer：具有分散线性关注的高效体素变换器

    本文介绍了一种名为 ScatterFormer 的新方法，该方法能够直接对具有不同长度的体素集进行注意力计算，并通过 Cross-Window 交互模块实现窗口间信息流动，大幅提升了点云理解任务的性能。

    Jan, 2024

  • OctFormer: 三维点云的基于八叉树的 Transformer 模型

    OctFormer 使用基于八叉树的关注机制进行分割和检测，这种关注机制具有高效性和灵活性，且在多个基准测试中表现出优异的性能。

    May, 2023

  • 基于激光雷达的三维识别球形变压器

    本文提出了一种名为 SphereFormer 的方法，通过设计射线窗口自我关注机制，将密集的近距离点聚集到稀疏的远距离点，从而扩大感受野，提高了稀疏远距离点的性能，并在 nuScenes 和 SemanticKITTI 语义分割基准测试排名第一，取得了显著的性能提升。

    Mar, 2023

  • VoxFormer：基于摄像机的稀疏体素变换器用于三维语义场景完成

    本论文提出了一种基于 Transformer 的场景语义补全框架 VoxFormer，可以从 2D 图像中输出完整的 3D 体素语义，并在测试中获得了相对 20% 的几何和 18.1% 的语义方面的提升。

    Feb, 2023

  • PVTransformer：用于可扩展的三维物体检测的点对体素变换器

    信息瓶颈限制了 3D 物体检测的准确性和可扩展性，因此我们提出了基于 Transformer 的 PVTransformer 架构，通过用注意模块替换 PointNet 池化操作来改善点到体的聚合函数，从而在广泛使用的 Waymo Open Dataset 上实现了卓越的表现。

    May, 2024

  • Pointformer 进行的 3D 物体检测

    本文提出了一种 3D 点云特征学习模型 Pointformer，其中使用局部和全局 Transformer 模块对点云数据进行建模，结合了多尺度特征，以及使用坐标调整模块改善物体提议生成，成功地应用于室内和室外场景下目标检测任务，并取得了显著的性能提升。

    Dec, 2020

  • DSVT：具有旋转集的动态稀疏体素变换器

    本文介绍了动态稀疏体素变换器（DSVT），它是一个用于室外 3D 感知的单步幅基于体素的转换器骨干。为了有效处理稀疏点云，我们提出了动态稀疏窗口注意力，这将每个窗口中的一系列局部区域根据其稀疏性划分，并以完全并行的方式计算所有区域的特征。在本文中，我们的模型实现了具有广泛 3D 感知任务的最先进的性能，并且可以轻松通过 TensorRT 进行实时推理速度（27Hz）的部署。

    Jan, 2023

  • ViewFormer：基于视图引导的 Transformer 模型探索多视角 3D 占位感知的时空建模

    基于 3D 占据率、多视图特征聚合和动态场景的研究，我们提出了 ViewFormer，一个基于 Transformer 的视觉中心框架，具有高度的可扩展性和优越性能。

    May, 2024

  • CenterFormer：基于中心点的 Transformer 用于 3D 物体检测

    本文提出了一种基于中心点的变换网络 ——CenterFormer，它使用查询嵌入来聚合中心候选点的特征向量，并设计了一种通过交叉注意力来融合多帧特征的方法。在 Waymo Open 数据集上，CenterFormer 在单个模型上实现了先进水平，取得了 73.7% 的验证集和 75.6% 的测试集 mAPH, 显著优于以前所有已发表的基于 CNN 和 transformer 的方法。

    Sep, 2022