Sep, 2023

S$^3$-MonoDETR: 基于形状和尺度感知的单目三维物体检测的可变形 Transformer

PDF
TL;DR该研究论文提出了一种新的监督形状与尺度感知变形注意力模块（S$^3$-DA），用于单目三维物体检测，通过利用视觉和深度特征生成具有不同形状和尺度的多样局部特征，并同时预测相应的匹配分布，为每个查询点施加有价值的形状与尺度感知，从而有效地估计属于任何类别的查询点的感受野，提高了检测准确性。
monocular 3d object detectiontransformer-based methodssupervised shape&scale-perceptive deformable attentionvisual and depth featuresmulti-classification-based shape&scale matching
发现论文，激发创造
  • SSD-MonoDTR: 监督式尺度受限可变形 Transformer 用于单目 3D 物体检测

    本篇研究提出了一种新的监督型缩放限制可变注意力机制（SSDA），通过多重缩放控制预先设定的多个掩膜，利用深度和视觉特征为每个查询预测本地特征，从而生成更加准确的接收域来支持强大的查询特征生成，SSDA 在 KITTI 数据集上较现有方法良好表现且取得了 SOTA 结果。

    May, 2023

  • MonoDETR：基于深度引导的 Transformer 用于单目三维物体检测

    本研究介绍了一种名为 MonoDETR 的使用深度感知 Transformer 的新型单目三维物体检测框架。通过将物体候选项表示为一组查询，并采用基于注意力的深度编码器生成二维输入图像的非局部深度嵌入，然后提出了一个深度引导的解码器，通过深度交叉关注模块对查询与场景深度特征进行交互，每个物体查询从图像的深度引导区域自适应地估计其三维属性。该系统具有端到端的结构，在 KITTI 基准测试上取得了最新成果，并在广泛的消融研究中证明了该方法的有效性，具有成为未来单目三维物体检测研究的 Transformer 基线的潜力。

    Mar, 2022

  • M3DeTR：基于 Transformer 的多表征、多尺度、互相关联的 3D 物体检测

    提出了一种新颖的 3D 物体检测架构 M3DeTR，它将不同的点云表示方法（原始、体素、鸟瞰图）和不同的特征尺度结合在一起，并基于多尺度特征金字塔来模型点云之间的相互关系。通过大量的消融实验，突出了特征尺度和表示方式融合，以及模型点云之间的相互关系的好处。在 KITTI 3D 物体检测数据集和 Waymo 开放数据集中取得了最先进的性能表现，并在一些类别中排名第一。

    Apr, 2021

  • 基于 Transformer 的双目图像立体感知三维物体检测

    本文提出 TS3D，一种基于 Transformer 的立体感知 3D 物体检测器，其中包括一种新颖的视差位置编码模型（DAPE）和 Stereo Reserving Feature Pyramid Network（SRFPN），使其在 KITTI 测试集上取得了 41.29％的平均精度。

    Apr, 2023

  • MonoDTR: 深度感知变换器实现单目 3D 物体检测

    提出了一种新颖的端到端深度感知装换网络 MonoDTR，用于解决自动驾驶中单目 3D 物体检测的任务，该网络包括深度感知特征增强模块（DFE）以及深度感知 Transformer 模块（DTR），通过辅助监督学习无需额外计算的深度感知特征，并全局整合上下文和深度感知特征；深度位置编码（DPE）注入深度位置提示到 Transformer 中，并通过实验证明该方法优于现有最先进方法并可实现实时检测。

    Mar, 2022

  • 一种用于 3D 物体检测的端到端 Transformer 模型

    3DETR 是一种基于 Transformer 的端到端目标检测模型，适用于 3D 点云，相较于现有的检测方法，它需要最少的修改，可以通过将 3D 领域知识整合进去得到进一步的改进，在 ScanNetV2 数据集上，相比于 VoteNet 基线具有 9.5% 更好的性能，并且适用于其他 3D 任务。

    Sep, 2021

  • MDHA: 多尺度可变形变压器与混合锚点的多视角三维目标检测

    多视角 3D 目标检测是自动驾驶系统的重要组成部分，本文提出了一种名为 MDHA 的稀疏查询框架，使用多视角、多尺度输入构建自适应的 3D 输出提案，通过混合锚点的方式来解决数据集特定初始化和计算效率问题，并成功优于现有基线方法。

    Jun, 2024

  • 3D Former: 基于单目视觉的 3D SDF 变换器场景重建

    本文提出了一种基于 SDF 转换网络、稀疏窗口注意力模块和上下文注意力网络的三维变换器网络，用于更好地聚合三维特征，提高单目场景重建的精度和完整性。实验结果表明，该网络在多个数据集上优于现有方法，能够提高网格的准确性和完整性。

    Jan, 2023

  • AutoShape：实时形状感知单目三维物体检测

    该研究提出了一种基于深度神经网络和形态感知的三维目标检测方法，利用二维关键点和对应的三维坐标以及二维 / 三维的几何约束提高检测性能，并在公共数据集 KITTI 上实现了最新的性能。

    Aug, 2021

  • DFA3D：2D 转 3D 特征提升的 3D 可变形注意力

    通过提出一种新的运算符，即 3D 可变形注意力（DFA3D），将多视图 2D 图像特征转换成统一的 3D 空间，用于 3D 物体检测，并通过深度数据和转换器结构逐层提炼特征，解决深度模糊问题，实现了在 nuScenes 数据集上平均 + 1.41% mAP 的一致改进和高达 + 15.1% mAP 改进的实验证明。

    Jul, 2023