CVPROct, 2022

桥接变压器用于视觉和点云 3D 物体检测

PDF
TL;DR使用 Bridged Transformer 对 3D 与 2D 目标物体区域进行端到端的学习，特别利用对象查询作为 3D 和 2D 空间的桥梁，实现多模式融合，可有效实现从点云和图像中识别物体的边界框，进而提高多视角成像中的物体检测效率。在 SUN RGB-D 和 ScanNetV2 数据集上，Bridged Transformer 优于现有方法。
发现论文，激发创造
  • 使用通道式 Transformer 提高 3D 目标检测

    本文中，我们提出了一种改进的两阶段 3D 目标检测框架 CT3D，其中利用高质量的区域提议网络和基于通道的 Transformer 架构来同时执行提议感知嵌入和通道方式的上下文聚合，以获取更准确的目标预测，具有优秀的性能和可伸缩性，尤其是在 KITTI 测试 3D 检测基准中，众车类别的 AP 为 81.77％，优于现有最先进的 3D 检测器。

    Aug, 2021

  • CT3D++：基于关键点引导的通道注意力变换提升 3D 物体检测

    通过引入两个旨在准确高效地检测和定位三维空间中物体的 3D 物体检测框架，本文目的是解决当前 3D 检测的灵活性和可伸缩性不足的问题，并在 KITTI 数据集和大规模 Waymo 数据集上取得最先进的性能。

    Jun, 2024

  • 一种用于 3D 物体检测的端到端 Transformer 模型

    3DETR 是一种基于 Transformer 的端到端目标检测模型，适用于 3D 点云，相较于现有的检测方法，它需要最少的修改，可以通过将 3D 领域知识整合进去得到进一步的改进，在 ScanNetV2 数据集上，相比于 VoteNet 基线具有 9.5% 更好的性能，并且适用于其他 3D 任务。

    Sep, 2021

  • FusionViT: 基于 LiDAR - 相机视觉变换的层次化 3D 物体检测

    通过 FusionViT 模型，在 KITTI 和 Waymo Open 数据集上进行了大量实验，实现了最先进的性能，并且优于仅依赖于相机图像或 Lidar 点云以及最新的多模态图像 - 点云深度融合方法。

    Nov, 2023

  • 基于 Transformer 的无分组 3D 物体检测

    利用 Transformers 中的注意力机制，以所有的点为输入，自动学习每个点对目标检测的贡献，并通过改进的注意力叠加方案将目标特征融合在不同的阶段，实现了最先进的 3D 目标检测性能。

    Apr, 2021

  • PVTransformer：用于可扩展的三维物体检测的点对体素变换器

    信息瓶颈限制了 3D 物体检测的准确性和可扩展性，因此我们提出了基于 Transformer 的 PVTransformer 架构，通过用注意模块替换 PointNet 池化操作来改善点到体的聚合函数，从而在广泛使用的 Waymo Open Dataset 上实现了卓越的表现。

    May, 2024

  • 基于 RGB-D 数据的三维物体检测的台阶式点云网络

    本文探讨了利用深度学习在 3D 物体检测中，针对使用 RGB-D 数据在室内和室外场景下进行点云识别所面临的挑战以及如何提高效率。通过利用成熟的 2D 物体检测器和先进的 3D 深度学习来提高区域建议与对象本地化的精度，以取得高回收甚至小目标检测的良好性能。在 KITTI 和 SUN RGB-D 3D 检测基准上进行了评估，相比现有技术取得了显著的大幅度升级，并具有实时性能。

    Nov, 2017

  • PointFusion：用于 3D 边界框估计的深度传感器融合

    使用 PointFusion 实现基于图像和点云信息的 3D 对象检测方法，其中 CNN 和 PointNet 网络分别处理图像和点云数据，再由新型融合网络将二者输出结合起来预测多个 3D 框及其置信度，相比现有方法在 KITTI 和 SUN-RGBD 数据集上实现更好的检测结果且无需特定模型调整。

    Nov, 2017

  • 快速点变换器

    本文介绍了一种基于 Fast Point Transformer 的新型轻量级自我关注层的方法，用于对大型 3D 场景进行处理和提高计算效率，并应用于 3D 语义分割和 3D 检测，具有与基于体素的最佳方法相竞争的准确性和比 Point Transformer 更快的推理时间。

    Dec, 2021

  • Uni3DETR: 统一的三维检测 Transformer

    我们提出了 Uni3DETR，一个统一的 3D 检测器，他可以有效应对室内和室外 3D 检测的差异，并展现了在异构条件下的强大泛化能力。

    Oct, 2023