Jun, 2022

使用 Transformer 实现 3D 物体检测的基于体素的统一表示

PDF
TL;DRUVTR 提出了一种统一的框架，旨在提高单模或跨模 3D 检测的准确性和鲁棒性，通过设计模态特定空间，保留体素空间并开发不同传感器的输入，实现几何感知点云和图像的上下文特征的交互，从而在 nuScenes 测试集中获得了领先的性能。
multi-modality3d object detectionuvtrmodality-specific spacecross-modality interaction
发现论文，激发创造
  • UniTR: 统一高效的多模态 Transformer 用于鸟瞰表示

    UniTR 是一种高效的多模态骨干网络，用于处理多传感器数据并实现准确可靠的自动驾驶系统的感知。它引入了一种模态不可知的转换编码器来处理不同的传感器数据，并通过视角不一致的传感器数据进行并行模态表示学习和自动跨模态交互，无需额外的融合步骤。它通过同时考虑语义丰富的 2D 透视图和几何感知的 3D 稀疏邻域关系，提出了一种新颖的多模态融合策略。在 nuScenes 评测上，UniTR 在 3D 目标检测方面取得了 + 1.1 NDS 的提高，在 BEV 地图分割方面取得了 + 12.0 mIoU 的提高，并具有较低的推理延迟。

    Aug, 2023

  • OV-Uni3DETR: 基于循环模态传播的统一开放词汇 3D 物体检测

    OV-Uni3DETR 是一种统一的开放词汇 3D 检测器，通过循环模态传播实现，具有开放词汇的 3D 检测、模态统一、场景统一的优势，并以超过 6％的性能优势超越了现有方法，在只使用 RGB 图像的情况下性能与以前的基于点云的方法相当甚至更好。

    Mar, 2024

  • Uni3DETR: 统一的三维检测 Transformer

    我们提出了 Uni3DETR，一个统一的 3D 检测器，他可以有效应对室内和室外 3D 检测的差异，并展现了在异构条件下的强大泛化能力。

    Oct, 2023

  • 3D 目标检测的体素场融合技术

    提出了一种名为体素场融合的跨模态三维物体检测框架，其中采用了学习采样器从图像平面以点到射线的方式采样关键特征，并在构建的体素场中进行射线融合，进而提高了模型在各项基准测试中的性能和稳定性。

    May, 2022

  • UniM-OV3D：使用细粒度特征表示的单模态开放词汇三维场景理解

    本文提出了一种统一的多模态三维开放词汇场景理解网络 (UniM-OV3D)，通过对齐点云、图像、语言和深度信息，设计了一个分层点云特征提取模块并使用了层次化三维标题对来提高粗到细点云语义表示学习，实验结果表明我们的方法在室内外基准测试中实现了开放式语义和实例分割的最先进性能。

    Jan, 2024

  • M3DeTR：基于 Transformer 的多表征、多尺度、互相关联的 3D 物体检测

    提出了一种新颖的 3D 物体检测架构 M3DeTR，它将不同的点云表示方法（原始、体素、鸟瞰图）和不同的特征尺度结合在一起，并基于多尺度特征金字塔来模型点云之间的相互关系。通过大量的消融实验，突出了特征尺度和表示方式融合，以及模型点云之间的相互关系的好处。在 KITTI 3D 物体检测数据集和 Waymo 开放数据集中取得了最先进的性能表现，并在一些类别中排名第一。

    Apr, 2021

  • 用于 3D 物体检测的 Voxel Transformer

    本文介绍了 Voxel Transformer (VoTr)，这是一种用于 3D 目标检测的新型有效的基于体素的 Transformer 骨干网络。我们通过引入基于 Transformer 的体系结构来解决仅使用体素的 3D 卷积骨干不能有效地捕获大的上下文信息的问题，并且我们提出的 VoTr 在 KITTI 议会和 Waymo 开放数据集上展现了良好的性能。

    Sep, 2021

  • 使用 Transformer 进行体素级别视角选择和融合的体积式 3D 重建

    通过学习条件于相机姿态和图像内容的视图融合功能，利用变压器提出端到端体积三维重建网络 VoRTX，其模型鲁棒性强，处理视角多样，能保留更多的细节信息，比现有最先进方法更出色。

    Dec, 2021

  • PVT-SSD：使用点 - 体素变换的单级三维物体探测器

    本论文提供了一种新型的点块 Transformer 用于单级三维检测 (PVT-SSD), 其使用基于体素的稀疏卷积进行有效的特征编码，并从体素中以便宜的方式获取长距离上下文，同时从点中获取准确的位置并通过引入依赖于输入的查询初始化模块关联这两种不同的表示。进一步地，通过设计 Virtual Range Image 模块，该方法能够快速找到参考点的邻近点。该方法在几个自动驾驶基准测试中得到了验证，表明其有效性和高效性。

    May, 2023

  • FusionViT: 基于 LiDAR - 相机视觉变换的层次化 3D 物体检测

    通过 FusionViT 模型，在 KITTI 和 Waymo Open 数据集上进行了大量实验，实现了最先进的性能，并且优于仅依赖于相机图像或 Lidar 点云以及最新的多模态图像 - 点云深度融合方法。

    Nov, 2023