Jun, 2023

预测为基础的三维物体检测：使用连续图像

PDF
TL;DR本文提出了一种名为 P2D 的新型三维物体检测模型，它将预测方案整合到检测框架中，显式提取和利用运动特征，以及引入基于预测物体信息的 Bird's-Eye-View（BEV）特征的新型时间特征聚合方法，结果表明，与基线相比，P2D 可以显著提高检测精度。
camera-based 3d object detectionsequential framesmotion cueprediction schemetemporal feature aggregation
发现论文，激发创造
  • 通过预测物体移动来学习时间线索的多摄像头三维物体检测

    在自动驾驶和机器人技术中，利用短期历史数据增强多摄像头 3D 物体检测的兴趣日益增长，通过利用输入视频流的连续且相关性质来实现。最近的研究集中在基于 BEV（鸟瞰图）的特征在时间步内的空间对齐上。然而，由于长期过去的观测没有良好的扩展效果，这方面的工作通常受限。为了解决这个问题，我们提出了一种名为 DAP（预测后检测）的模型，包括两个分支网络：（一）一个分支负责根据过去的观测预测当前物体的位置，（二）另一个分支基于当前和过去的观测来检测物体。从分支（一）预测当前物体的特征被融合到分支（二）中以传递预测性知识。我们在大规模的 nuScenes 数据集上进行了广泛的实验，并观察到利用这种预测信息显著提高了整体检测性能。我们的模型可以即插即用，表现出一致的性能提升。

    Apr, 2024

  • BEVDet4D: 多相机 3D 物体检测中的时序线索利用

    提出一种名为 BEVDet4D 的新型监测方法，将视觉单帧数据提升至时空 4D 空间，通过对前一帧和当前帧候选特征的对比，使 BEVDet4D 能够访问时间线索，已达到与雷达检测方法相媲美的检测表现

    Mar, 2022

  • 历史物体预测增强的多视角 3D 物体检测器的时序优化训练

    历史物体预测 (HoP) 新范式为多视角三维检测提供了更有效地利用时间信息的方法。我们的方法采用了短期和长期的时间解码器，并生成伪鸟瞰图特征，以预测历史时刻的物体集。在 NuScenes 数据集上的实验表明，与目前领先的三维物体检测器相比，HoP 可以有效提高检测性能。

    Apr, 2023

  • 通过 3D 到 2D 查询从多视角图像中进行 3D 物体检测

    提出了一种基于多摄像头的 3D 对象检测框架，使用基于上下文注意力的网络，直接在 3D 空间中进行边界框的预测，实现了全球最佳性能。

    Oct, 2021

  • SimPB: 从多个相机进行的二维和三维物体检测的单一模型

    这篇研究论文介绍了一种名为 SimPB 的单一模型，可以同时从多个摄像头中在透视视图中检测 2D 对象，以及在鸟瞰空间中检测 3D 对象。论文还提出了动态查询分配模块和自适应查询聚合模块，以不断更新和改进 2D 和 3D 结果之间的交互，并利用查询组注意力加强每个摄像头组内的 2D 查询之间的交互。在 nuScenes 数据集上的实验证明了该方法在 2D 和 3D 检测任务中具有很好的效果。

    Mar, 2024

  • 基于全景分割引导的 LiDAR 多视角三维物体检测通用框架

    本研究提出了一种利用分割信息指导检测过程的多任务框架，该框架联合执行三维物体检测和全景分割，可利用多视角信息解决每个投影视图的缺陷，并通过前景语义信息和中心密度热力图来提示物体的可能框中心位置。在 nuScenes 数据集上进行的大量实验表明，该方法提供了显著的性能提升，基于单级 CenterPoint 3D 物体检测网络的所提出方法在 nuScenes 3D 检测基准上取得了 67.3 NDS 的最新性能。

    Mar, 2022

  • 路边单目三维检测通过 2D 检测提示

    通过使用 2D 检测作为指令，我们提出了一种新颖且简单的方法来解决沿路单目三维检测问题，该方法在两个大规模路边三维检测基准上取得了当前最先进的性能。

    Apr, 2024

  • Point2Seq：将 3D 物体检测作为序列的方法

    本研究提出了一个名为 Point2Seq 的简单而有效的框架，用于从点云中检测 3D 物体。与以往的方法不同，我们明确地建立了 3D 物体属性之间的依赖关系，将 3D 物体视为单词序列，并以自回归方式从 3D 场景中解码单词，进而得到所有 3D 物体的序列，并最终通过基于相似性的序列匹配自动分配到相应的真实值。

    Mar, 2022

  • 单目视频中的运动学三维物体检测

    提出了一种基于线性运动的单目视频三维物体检测方法，该方法通过将物体方向分解为两个部分并引入自平衡的三维置信度方法，有效地提高了三维定位精度，同时在 KITTI 自动驾驶数据集上取得了最好的表现。

    Jul, 2020

  • 基于车辆运动预测的 3D 物体检测框架融合

    本文提出了一种基于历史帧和关联模型的 3D 物体检测方法 ——FrameFusion，使用车辆运动模型来确定物体的未来位置并应用加权非极大值抑制算法，从而获得融合后的帧，以此显著提高 3D 检测器的性能。

    Jun, 2023