ICCVApr, 2021

FCOS3D：全卷积单阶段单目三维物体检测

PDF
TL;DR研究了 3D 目标检测中的 2D 检测问题，提出了基于全卷积单级检测器的通用框架 FCOS3D，在不使用 2D 检测或 2D-3D 对应先验的前提下，通过重新定义中心性和将对象分配到不同的特征级别等方式，得到了简单而又高效的解决方案。在 NeurIPS 2020 的 nuScenes 3D 检测挑战赛中，该方法在所有只使用视觉信息的方法中获得第一名。
monocular 3d object detectionautonomous driving2d detectionconvolutional single-stage detectorfcos3d
发现论文，激发创造
  • FCOS：全卷积单阶段目标检测

    本文提出了一种全卷积单阶段物体检测器 FCOS，采用针对每个像素的预测方式，类似于语义分割。相对于所有最先进的物体检测器，如 RetinaNet，SSD，YOLOv3 和 Faster R-CNN，FCOS 完全无需先定义参考框，从而避免与参考框相关的计算，例如计算训练过程中的重叠等。通过仅使用后处理的非最大抑制（NMS），FCOS 基于 ResNeXt-64x4d-101 实现了 44.7％的平均精度，超过了以前的单阶段检测器，并具有更为简单的优点。

    Apr, 2019

  • 使用交并比损失端到端训练的单目 3D 物体检测与盒式拟合

    通过引入 SS3D 方法，成功在单目图像中实现三维物体检测，并通过建模异方差性提高了基准性能。该方法在保持简洁的同时，达到了当前状态下最高的检测精度，是实现自主驾驶等领域高性能检测的可靠框架。

    Jun, 2019

  • MV-FCOS3D++：使用预训练单目骨干网络进行多视角纯相机 4D 物体检测

    该技术报告介绍了我们的解决方案 MV-FCOS3D ++，用于 Waymo Open Dataset Challenge 2022 中的仅相机 3D 检测研究赛题，它是一个基于多视角相机的 3D 检测多视图框架，采用 FCOS3D ++ 进行预训练，并将多视角特征转换为 3D 网格空间，以检测 3D 对象，其具备单帧理解及时间立体匹配的双通道项以纳入多帧信息。使用该模型在没有任何 LiDAR 深度监督的情况下，达到了 49.75％的 mAPL 评价指数，最终以单模型获得第二名。

    Jul, 2022

  • 面向开放集合相机三维物体检测

    通过提出的 OS-Det3D 框架，利用特定训练的 3D 物体发现网络（ODN3D）和联合目标性选择（JOS）模块，提高相机 3D 检测器在鉴别已知和未知对象方面的能力，并在 nuScenes 和 KITTI 数据集上进行实验证明了该框架的有效性。

    Jun, 2024

  • FCOS：一种简单而强大的无锚点目标检测器

    在计算机视觉中，我们提出了一种完全卷积的一阶段对象检测器（FCOS），以像语义分割等其他密集预测问题的方式解决像素级预测对象检测问题，该检测器不需要预定义的基础框，并且避免了与基础框计算相关的超参数，非常简单有效。

    Jun, 2020

  • 自动驾驶用基于地面的单目三维物体检测

    通过研究路面对 3D 检测提供的额外信息，提出了一种嵌入式神经网络，能够充分利用这些应用程序特定的先验知识，从而实现使用单个 RGB 摄像机确定环境中对象的位置和方向的三维目标检测。

    Feb, 2021

  • 通过嵌入颜色的三维重建实现精确的单目物体检测，用于自动驾驶

    本文提出了一种自动驾驶中单目三维物体检测框架，着重解决了二维图像数据的不足，通过将输入数据从二维图像平面转换为三维点云空间进行处理，并使用 PointNet 网络进行三维检测，以提高点云的辨别能力，同时利用多模态融合模块将 RGB 颜色信息融入点云表示，证明了在三维空间中推断三维包围盒比在二维图像平面中更加有效，经过在 KITTI 数据集上的评估，该方法的表现超过现有最新的单目方法。

    Mar, 2019

  • 通过 3D 到 2D 查询从多视角图像中进行 3D 物体检测

    提出了一种基于多摄像头的 3D 对象检测框架，使用基于上下文注意力的网络，直接在 3D 空间中进行边界框的预测，实现了全球最佳性能。

    Oct, 2021

  • GS3D：面向自动驾驶的高效三维物体检测框架

    本文提出了一种基于单个 RGB 图像的高效三维目标检测框架，旨在从二维图像中提取三维信息并在无点云或立体数据的情况下确定对象的精确三维边界框。该方法利用二维目标检测器提取表面视觉特征，消除使用二维边界框带来的表征歧义问题，并探索了不同的三维边界框细化方法，发现基于质量感知损失的分类式方法具有更好的性能。在 KITTI 基准测试上，该方法优于当前单个 RGB 图像基础的三维目标检测技术水平。

    Mar, 2019

  • 每个数据集都很重要：通过联合数据集训练扩展单目三维物体检测

    通过训练一个鲁棒的单目三维物体检测模型，采用包括多样化的三维和二维数据集、有选择地训练不同类别注释的数据集和使用二维标签的伪三维训练方法，我们可以获得具有强大泛化能力和对只有二维标签的新数据集表现出色的模型。

    Oct, 2023