ICCVSep, 2021

用于 3D 物体检测的 Voxel Transformer

PDF
TL;DR本文介绍了 Voxel Transformer (VoTr)，这是一种用于 3D 目标检测的新型有效的基于体素的 Transformer 骨干网络。我们通过引入基于 Transformer 的体系结构来解决仅使用体素的 3D 卷积骨干不能有效地捕获大的上下文信息的问题，并且我们提出的 VoTr 在 KITTI 议会和 Waymo 开放数据集上展现了良好的性能。
voxel transformer3d object detectionpoint cloudstransformer-based architecturesparse voxel module
发现论文，激发创造
  • PVTransformer：用于可扩展的三维物体检测的点对体素变换器

    信息瓶颈限制了 3D 物体检测的准确性和可扩展性，因此我们提出了基于 Transformer 的 PVTransformer 架构，通过用注意模块替换 PointNet 池化操作来改善点到体的聚合函数，从而在广泛使用的 Waymo Open Dataset 上实现了卓越的表现。

    May, 2024

  • PVT-SSD：使用点 - 体素变换的单级三维物体探测器

    本论文提供了一种新型的点块 Transformer 用于单级三维检测 (PVT-SSD), 其使用基于体素的稀疏卷积进行有效的特征编码，并从体素中以便宜的方式获取长距离上下文，同时从点中获取准确的位置并通过引入依赖于输入的查询初始化模块关联这两种不同的表示。进一步地，通过设计 Virtual Range Image 模块，该方法能够快速找到参考点的邻近点。该方法在几个自动驾驶基准测试中得到了验证，表明其有效性和高效性。

    May, 2023

  • Voxel Set Transformer：一种从点云进行三维物体检测的集合 - 集合方法

    本研究提出了一种名为 Voxel Set Transformer（VoxSeT）的基于体素的体系结构，以检测点云中的三维物体，并结合 Transformer 的高性能和体素模型的效率，有效地管理任意大小的体素化点簇并以线性复杂度并行地处理它们，可用作卷积和基于点的骨干的良好替代方法。

    Mar, 2022

  • DSVT：具有旋转集的动态稀疏体素变换器

    本文介绍了动态稀疏体素变换器（DSVT），它是一个用于室外 3D 感知的单步幅基于体素的转换器骨干。为了有效处理稀疏点云，我们提出了动态稀疏窗口注意力，这将每个窗口中的一系列局部区域根据其稀疏性划分，并以完全并行的方式计算所有区域的特征。在本文中，我们的模型实现了具有广泛 3D 感知任务的最先进的性能，并且可以轻松通过 TensorRT 进行实时推理速度（27Hz）的部署。

    Jan, 2023

  • CodedVTR：基于码本的稀疏体素变换器以及几何引导

    提出基于码本的体素 Transformer（CodedVTR）以提高 3D 稀疏体素 Transformer 的数据效率和泛化能力，其中包括通过学习可学习码本中的原型来规范化注意力学习和改善泛化能力，并利用几何信息（几何模式、密度）指导注意力学习。CodedVTR 可嵌入现有的基于稀疏卷积的方法，并为室内和室外 3D 语义分割任务带来一致的性能提升。

    Mar, 2022

  • 快速点变换器

    本文介绍了一种基于 Fast Point Transformer 的新型轻量级自我关注层的方法，用于对大型 3D 场景进行处理和提高计算效率，并应用于 3D 语义分割和 3D 检测，具有与基于体素的最佳方法相竞争的准确性和比 Point Transformer 更快的推理时间。

    Dec, 2021

  • VoxFormer：基于摄像机的稀疏体素变换器用于三维语义场景完成

    本论文提出了一种基于 Transformer 的场景语义补全框架 VoxFormer，可以从 2D 图像中输出完整的 3D 体素语义，并在测试中获得了相对 20% 的几何和 18.1% 的语义方面的提升。

    Feb, 2023

  • MsSVT++: 混合尺度稀疏体素变换与中心投票用于 3D 物体检测

    3D 目标检测中的突出问题是大规模室外场景下对象尺度的变化，需要同时获取远距离和细粒度信息的特征。为了解决这一问题，我们提出了 MsSVT++，一种创新的混合尺度稀疏体素变换器，通过分治方法同时捕捉两类信息。使用棋盘采样策略和哈希映射在 3D 体素空间中进行稀疏的体素采样和聚集操作，以减轻基于窗口的变换器的计算复杂性。同时，引入了中心投票模块，将混合尺度上下文信息丰富的新体素朝着对象中心进行集成，从而提高了精确的对象定位。广泛的实验证明，我们的单阶段检测器在 MsSVT++ 的基础上，对不同的数据集始终表现出优异的性能。

    Jan, 2024

  • 使用 Transformer 进行体素级别视角选择和融合的体积式 3D 重建

    通过学习条件于相机姿态和图像内容的视图融合功能，利用变压器提出端到端体积三维重建网络 VoRTX，其模型鲁棒性强，处理视角多样，能保留更多的细节信息，比现有最先进方法更出色。

    Dec, 2021

  • 基于点云的三维深度学习 VTPNet

    本文提出了一种 Voxel-Transformer-Point（VTP）块，结合了体素法，基于点的 Transformer 法和基于点的方法，分别从粗粒度、局部和全局角度提取点云的特征，并使用其构建 VTPNet 用于 3D 点云学习，在多个数据集上都表现出良好的性能。

    May, 2023