Apr, 2023

基于 Transformer 的双目图像立体感知三维物体检测

PDF
TL;DR本文提出 TS3D，一种基于 Transformer 的立体感知 3D 物体检测器，其中包括一种新颖的视差位置编码模型（DAPE）和 Stereo Reserving Feature Pyramid Network（SRFPN），使其在 KITTI 测试集上取得了 41.29％的平均精度。
vision transformersstereo 3d object detectionimage correspondence informationdisparity-aware positional encodingsrfpn
发现论文，激发创造
  • MonoDTR: 深度感知变换器实现单目 3D 物体检测

    提出了一种新颖的端到端深度感知装换网络 MonoDTR，用于解决自动驾驶中单目 3D 物体检测的任务，该网络包括深度感知特征增强模块（DFE）以及深度感知 Transformer 模块（DTR），通过辅助监督学习无需额外计算的深度感知特征，并全局整合上下文和深度感知特征；深度位置编码（DPE）注入深度位置提示到 Transformer 中，并通过实验证明该方法优于现有最先进方法并可实现实时检测。

    Mar, 2022

  • MonoDETR：基于深度引导的 Transformer 用于单目三维物体检测

    本研究介绍了一种名为 MonoDETR 的使用深度感知 Transformer 的新型单目三维物体检测框架。通过将物体候选项表示为一组查询，并采用基于注意力的深度编码器生成二维输入图像的非局部深度嵌入，然后提出了一个深度引导的解码器，通过深度交叉关注模块对查询与场景深度特征进行交互，每个物体查询从图像的深度引导区域自适应地估计其三维属性。该系统具有端到端的结构，在 KITTI 基准测试上取得了最新成果，并在广泛的消融研究中证明了该方法的有效性，具有成为未来单目三维物体检测研究的 Transformer 基线的潜力。

    Mar, 2022

  • 自主驾驶中单目 3D 物体检测的伪立体方法

    通过提出一个伪立体式的三维检测框架，包括三种新颖的虚拟视图生成方法和基于视差动态卷积的特征滤波，从单张图片中进行三维物体检测，该方法在 KITTI-3D 基准测试中获得了车辆、行人和骑行者三个类别的第一名。

    Mar, 2022

  • 基于 4D 特征一致性嵌入空间的自动驾驶实时立体三维检测

    本文提出了一种名为 RTS3D 的方法，使用立体图像实现高效、准确的 3D 目标检测，通过设计一个新颖的 4D 一致性嵌入空间将物体的结构和语义信息编码，并通过降低 FCE 空间噪声的影响，实现与先进方法相比高 10% 的平均精度。

    Dec, 2020

  • 使用 Transformer 从序列到序列视角重新思考立体深度估计

    本文介绍了一种名为 STereo TRansformer (STTR) 的方法，采用序列到序列的对应关系角度来进行立体深度估计，使用位置信息和注意力机制来进行密集像素匹配，克服了固定视差范围的限制，识别遮挡区域和提供置信度估计，并在合成和真实数据集上取得了良好的结果。

    Nov, 2020

  • 面向自动驾驶的具有变换对称性的三维物体检测

    在自动驾驶领域，应用 TED 模型能够高效地检测汽车等 3D 物体。TED 利用稀疏卷积提取多通道等变体素特征，使得其在处理大量数据时仍然能快速的检测物体。同时，在 KITTI 竞赛的排名上表现十分出众，达到全球第一。

    Nov, 2022

  • 基于 Hybrid Transformer 的特征融合用于自监督单目深度估计

    本文介绍了一种新的深度估计模型，使用 Vision Transformers 来提取图像中的全局上下文信息，实现对深度估算的改进，最终该模型在标准测试数据集上达到了最优性能。

    Nov, 2022

  • STS：多视角三维检测的全景时空立体视觉

    利用 Surround-view Temporal Stereo 技术结合单眼深度算法实现深度学习，通过时间轴上的帧之间的几何对应来提高准确性，从而显著提高 3D 检测能力。

    Aug, 2022

  • 一种用于 3D 物体检测的端到端 Transformer 模型

    3DETR 是一种基于 Transformer 的端到端目标检测模型，适用于 3D 点云，相较于现有的检测方法，它需要最少的修改，可以通过将 3D 领域知识整合进去得到进一步的改进，在 ScanNetV2 数据集上，相比于 VoteNet 基线具有 9.5% 更好的性能，并且适用于其他 3D 任务。

    Sep, 2021

  • S$^3$-MonoDETR: 基于形状和尺度感知的单目三维物体检测的可变形 Transformer

    该研究论文提出了一种新的监督形状与尺度感知变形注意力模块（S$^3$-DA），用于单目三维物体检测，通过利用视觉和深度特征生成具有不同形状和尺度的多样局部特征，并同时预测相应的匹配分布，为每个查询点施加有价值的形状与尺度感知，从而有效地估计属于任何类别的查询点的感受野，提高了检测准确性。

    Sep, 2023