CVPRMar, 2022

MonoDTR: 深度感知变换器实现单目 3D 物体检测

PDF
TL;DR提出了一种新颖的端到端深度感知装换网络 MonoDTR，用于解决自动驾驶中单目 3D 物体检测的任务，该网络包括深度感知特征增强模块（DFE）以及深度感知 Transformer 模块（DTR），通过辅助监督学习无需额外计算的深度感知特征，并全局整合上下文和深度感知特征；深度位置编码（DPE）注入深度位置提示到 Transformer 中，并通过实验证明该方法优于现有最先进方法并可实现实时检测。
monocular 3d object detectiondepth-aware transformer networkdepth informationdfe moduledtr module
发现论文，激发创造
  • MonoDETR：基于深度引导的 Transformer 用于单目三维物体检测

    本研究介绍了一种名为 MonoDETR 的使用深度感知 Transformer 的新型单目三维物体检测框架。通过将物体候选项表示为一组查询，并采用基于注意力的深度编码器生成二维输入图像的非局部深度嵌入，然后提出了一个深度引导的解码器，通过深度交叉关注模块对查询与场景深度特征进行交互，每个物体查询从图像的深度引导区域自适应地估计其三维属性。该系统具有端到端的结构，在 KITTI 基准测试上取得了最新成果，并在广泛的消融研究中证明了该方法的有效性，具有成为未来单目三维物体检测研究的 Transformer 基线的潜力。

    Mar, 2022

  • 基于 Transformer 的双目图像立体感知三维物体检测

    本文提出 TS3D，一种基于 Transformer 的立体感知 3D 物体检测器，其中包括一种新颖的视差位置编码模型（DAPE）和 Stereo Reserving Feature Pyramid Network（SRFPN），使其在 KITTI 测试集上取得了 41.29％的平均精度。

    Apr, 2023

  • MonoDETRNext：下一代准确高效的单目三维物体检测方法

    基于单目视觉的三维物体检测在各个领域都十分重要，然而现有方法在准确性和计算效率方面面临着重大挑战。在 2D 检测和深度估计方面取得成功的策略基础上，我们提出了 MonoDETRNext，旨在实现优化的准确性和处理速度的平衡。我们的方法包括开发高效的混合视觉编码器，增强深度预测机制，并引入创新的查询生成策略，辅以先进的深度预测器。MonoDETRNext 基于 MonoDETR，并引入了两个变体：MonoDETRNext-F 注重速度，MonoDETRNext-A 注重精度。我们认为 MonoDETRNext 建立了单目三维物体检测的新基准，并为未来的研究开辟了新方向。我们进行了详尽的评估，证明了该模型在性能上优于现有解决方案。值得注意的是，MonoDETRNext-A 在 KITTI 测试基准上的 AP3D 指标相比 MonoDETR 提高了 4.60%，而 MonoDETRNext-F 则提高了 2.21%。此外，MonoDETRNext-F 的计算效率略高于其前身。

    May, 2024

  • 一种用于 3D 物体检测的端到端 Transformer 模型

    3DETR 是一种基于 Transformer 的端到端目标检测模型，适用于 3D 点云，相较于现有的检测方法，它需要最少的修改，可以通过将 3D 领域知识整合进去得到进一步的改进，在 ScanNetV2 数据集上，相比于 VoteNet 基线具有 9.5% 更好的性能，并且适用于其他 3D 任务。

    Sep, 2021

  • 自动驾驶用基于地面的单目三维物体检测

    通过研究路面对 3D 检测提供的额外信息，提出了一种嵌入式神经网络，能够充分利用这些应用程序特定的先验知识，从而实现使用单个 RGB 摄像机确定环境中对象的位置和方向的三维目标检测。

    Feb, 2021

  • 物体不同：灵活的单目三维物体检测

    提出了一种灵活的单目 3D 物体检测框架，它显式地分离了长尾切断物体，并自适应地组合多种方法来估计物体深度。

    Apr, 2021

  • 空中单目三维物体检测

    通过双视图检测系统 DVDET，提出了一种基于地理变形的训练模块，实现了 2D 图像空间和 3D 物理空间的空中单目物体检测，并利用新的数据集 AM3D，证明了模型的可行性及性能。

    Aug, 2022

  • AdvMono3D：具有深度感知的鲁棒性对抗式高级单目 3D 物体检测

    我们提出了一个名为 DART3D 的鲁棒性深度感知对抗训练方法，用于单目 3D 对象检测，通过设计迭代退化攻击和基于不确定性的残差学习方法，提高了模型对对抗攻击的鲁棒性，在 KITTI 3D 数据集上的实验中，在 Easy，Moderate 和 Hard 设置下的车辆类别的 3D 对象检测评价指标 $AP_{R40}$ 上，相比直接对抗训练方法，分别实现了 4.415%，4.112% 和 3.195% 的提升。

    Sep, 2023

  • 基于注意力机制的深度蒸馏技术与三维感知位置编码在单目三维物体检测中的应用

    提出了一种名为 ADD 的基于注意力的深度知识蒸馏框架，采用 3D 感知的位置编码方式，以在 KITTI 3D 目标检测基准测试上实现单目 3D 目标检测的最先进性能。

    Nov, 2022

  • M3DeTR：基于 Transformer 的多表征、多尺度、互相关联的 3D 物体检测

    提出了一种新颖的 3D 物体检测架构 M3DeTR，它将不同的点云表示方法（原始、体素、鸟瞰图）和不同的特征尺度结合在一起，并基于多尺度特征金字塔来模型点云之间的相互关系。通过大量的消融实验，突出了特征尺度和表示方式融合，以及模型点云之间的相互关系的好处。在 KITTI 3D 物体检测数据集和 Waymo 开放数据集中取得了最先进的性能表现，并在一些类别中排名第一。

    Apr, 2021