Jun, 2022

PETRv2: 多摄像头图像三维感知的统一框架

PDF
TL;DR本文提出了 PETRv2，这是一个统一的框架，用于从多视角图像中进行三维感知，基于 PETR，PETRv2 利用先前帧的时间信息进行了时间建模，扩展了 PETR 中的 3D 位置嵌入。PETRv2 提出了一种简单而有效的解决方案，并通过引入任务特定查询来支持多任务学习，PETRv2 在三维物体检测、BEV 分割和三维车道检测方面取得了最先进的表现。
petrv23d perceptiontemporal modelingobject detectionmulti-task learning
发现论文，激发创造
  • PETR：用于多视角 3D 物体检测的位置嵌入转换

    本文提出了一种基于位置嵌入的转换方法，用于多视角三维目标检测，该方法将三维坐标的位置信息编码到图像特征中，生成三维位置感知特征，能够完成端到端的目标检测。实验结果表明，该方法在标准 nuScenes 数据集上达到了最先进的性能，是未来研究的简单而强大的基线模型。

    Mar, 2022

  • 预测为基础的三维物体检测：使用连续图像

    本文提出了一种名为 P2D 的新型三维物体检测模型，它将预测方案整合到检测框架中，显式提取和利用运动特征，以及引入基于预测物体信息的 Bird's-Eye-View（BEV）特征的新型时间特征聚合方法，结果表明，与基线相比，P2D 可以显著提高检测精度。

    Jun, 2023

  • 多视角 3D 物体检测的观察等变性

    本研究介绍了一种基于多视角几何的 3D 物体检测方法 VEDet，通过视点感知和等变性，利用查询式转换器系统将三维场景转化为位置编码来提高目标定位精度，并在损失层面进行多视角一致性规范化，通过丰富的几何线索提高性能以优化现有方法。

    Mar, 2023

  • M$^2$BEV：多摄像机联合三维检测和分割，统一鸟瞰视角表示

    本文提出了一个称为 M2BEV 的统一框架，它可以通过多摄像头图像输入在 Birds Eye View（BEV）空间中联合执行三维物体检测和地图分割，是一个高效的方法。实验结果表明，M2BEV 在 3D 对象检测和 BEV 分割方面的性能优于现有技术。

    Apr, 2022

  • 通过 3D 到 2D 查询从多视角图像中进行 3D 物体检测

    提出了一种基于多摄像头的 3D 对象检测框架，使用基于上下文注意力的网络，直接在 3D 空间中进行边界框的预测，实现了全球最佳性能。

    Oct, 2021

  • HENet: 混合编码的多视角相机端到端多任务三维感知

    本文提出了一种名为 HENet 的多任务三维感知的端到端框架，通过使用大图像编码器和小图像编码器以及基于注意机制的时间特征集成模块，融合不同框架提取的特征，并根据每个感知任务的特性利用不同网格大小的 BEV 特征、独立的 BEV 编码器和任务解码器，实现了最先进的端到端多任务三维感知。

    Apr, 2024

  • Occ-BEV: 通过三维场景重建实现多摄像机联合预训练

    通过设计 3D 解码器来利用多视图图像的鸟瞰图（BEV）特征预测 3D 场景的占位情况，为多摄像头智能驾驶提供了一种先进的、可行的和经济高效的解决方案，并取得了显着提升的结果。

    May, 2023

  • 多角度三维物体检测的相机视角位置嵌入

    本文提出了一种基于相机视图位置编码（CAPE）的方法，旨在解决基于查询的多视图 3D 目标检测问题，实验结果表明，该方法在 NuScenes 数据集上的表现已达到目前最先进水平。

    Mar, 2023

  • 基于全景分割引导的 LiDAR 多视角三维物体检测通用框架

    本研究提出了一种利用分割信息指导检测过程的多任务框架，该框架联合执行三维物体检测和全景分割，可利用多视角信息解决每个投影视图的缺陷，并通过前景语义信息和中心密度热力图来提示物体的可能框中心位置。在 nuScenes 数据集上进行的大量实验表明，该方法提供了显著的性能提升，基于单级 CenterPoint 3D 物体检测网络的所提出方法在 nuScenes 3D 检测基准上取得了 67.3 NDS 的最新性能。

    Mar, 2022

  • SimPB: 从多个相机进行的二维和三维物体检测的单一模型

    这篇研究论文介绍了一种名为 SimPB 的单一模型，可以同时从多个摄像头中在透视视图中检测 2D 对象，以及在鸟瞰空间中检测 3D 对象。论文还提出了动态查询分配模块和自适应查询聚合模块，以不断更新和改进 2D 和 3D 结果之间的交互，并利用查询组注意力加强每个摄像头组内的 2D 查询之间的交互。在 nuScenes 数据集上的实验证明了该方法在 2D 和 3D 检测任务中具有很好的效果。

    Mar, 2024