Jul, 2022

MV-FCOS3D++：使用预训练单目骨干网络进行多视角纯相机 4D 物体检测

PDF
TL;DR该技术报告介绍了我们的解决方案 MV-FCOS3D ++，用于 Waymo Open Dataset Challenge 2022 中的仅相机 3D 检测研究赛题，它是一个基于多视角相机的 3D 检测多视图框架，采用 FCOS3D ++ 进行预训练，并将多视角特征转换为 3D 网格空间，以检测 3D 对象，其具备单帧理解及时间立体匹配的双通道项以纳入多帧信息。使用该模型在没有任何 LiDAR 深度监督的情况下，达到了 49.75％的 mAPL 评价指数，最终以单模型获得第二名。
发现论文，激发创造
  • FCOS3D：全卷积单阶段单目三维物体检测

    研究了 3D 目标检测中的 2D 检测问题，提出了基于全卷积单级检测器的通用框架 FCOS3D，在不使用 2D 检测或 2D-3D 对应先验的前提下，通过重新定义中心性和将对象分配到不同的特征级别等方式，得到了简单而又高效的解决方案。在 NeurIPS 2020 的 nuScenes 3D 检测挑战赛中，该方法在所有只使用视觉信息的方法中获得第一名。

    Apr, 2021

  • 面向单目 3D 物体检测的深度通用化

    提出了一种基于 MoVi-3D 的深度学习架构，使用几何信息生成虚拟视图对单目 RGB 进行 3D 物体检测，与传统方法相比，成功削减了视觉差异性导致的深度学习复杂度，从而取得了 KITTI3D 基准测试的新的最优结果。

    Dec, 2019

  • 用于自动驾驶的多视角三维物体检测网络

    该论文研究了自动驾驶场景下高精度的 3D 物体检测问题。其提出了 Multi-View 3D networks（MV3D）框架，该框架采用多传感器融合技术，将 LIDAR 点云和 RGB 图像作为输入，并预测有方向的 3D 界限框。实验表明，该方法在 3D 定位和 3D 检测任务方面的表现优于现有技术约 25％和 30％，在 2D 检测中也表现出显著的技术优势。

    Nov, 2016

  • 使用多视角投影和方向一致性进行弱监督单目 3D 对象检测

    本文提出了一种基于弱监督学习的单目 3D 物体检测方法，该方法只使用图像上标记的 2D 标签进行模型训练，并探索了投影、多视图和方向这三种不同类型的一致性约束以及设计了一种新的 2D 方向标记方法用于准确的旋转方向预测。实验证明，该方法在一些完全监督方法上具有可比较的性能，并且当用作预训练方法时，仅使用 1 / 3 3D 标签就可以显着优于对应的完全监督基线。

    Mar, 2023

  • 3M3D: 多视角、多路径、多表征 3D 目标检测

    提出了一种基于多视图轴自注意力和局部 ROI 自注意力的多路径多表示 3D 物体检测方法，通过稀疏浮动查询和密集 BEV 查询的多重表示进一步提高了性能，对于自动驾驶系统具有重要意义。

    Feb, 2023

  • 空中单目三维物体检测

    通过双视图检测系统 DVDET，提出了一种基于地理变形的训练模块，实现了 2D 图像空间和 3D 物理空间的空中单目物体检测，并利用新的数据集 AM3D，证明了模型的可行性及性能。

    Aug, 2022

  • 使用交并比损失端到端训练的单目 3D 物体检测与盒式拟合

    通过引入 SS3D 方法，成功在单目图像中实现三维物体检测，并通过建模异方差性提高了基准性能。该方法在保持简洁的同时，达到了当前状态下最高的检测精度，是实现自主驾驶等领域高性能检测的可靠框架。

    Jun, 2019

  • VFMM3D：通过视觉基础模型释放图像的潜能，用于单目三维物体检测

    VFMM3D 利用 Vision Foundation Models (VFMs) 将单视图图像准确转换为 LiDAR 点云表示，生成富有前景信息的伪 LiDAR 数据，以此来进行单目三维目标检测并预测物体的三维坐标。

    Apr, 2024

  • Occ-BEV: 通过三维场景重建实现多摄像机联合预训练

    通过设计 3D 解码器来利用多视图图像的鸟瞰图（BEV）特征预测 3D 场景的占位情况，为多摄像头智能驾驶提供了一种先进的、可行的和经济高效的解决方案，并取得了显着提升的结果。

    May, 2023

  • BEVDet：高性能多摄像头鸟瞰视角三维物体检测

    本文介绍了一种名为 BEVDet 的算法，它能够基于 Bird-Eye-View 拍摄的视频进行 3D 目标检测，通过利用数据增强策略和升级最大值抑制策略来提高性能，同时在精度和时间效率之间实现出色的平衡。

    Dec, 2021