Mar, 2024

将多视角检测和跟踪提升至鸟瞰视角

PDF
TL;DR利用多视角聚合的优势可以解决多目标跟踪和检测中的遮挡和漏检等挑战。通过将所有视图投影到地面并从鸟瞰视图进行检测分析，最近在多视图检测和 3D 物体识别方面的进展显著提高了性能。本文比较现代的无参数和参数化的升降方法与多视角聚合方法，并提出一种结合多个时间步骤的特征聚合以学习稳健检测并结合外观和运动线索进行跟踪的架构。我们的方法在行人和道路感知两个领域的三个公共数据集上具有广泛适用性，并在检测和跟踪方面实现了最先进的性能。
发现论文，激发创造
  • EarlyBird：鸟瞰视角多视角追踪中的早期融合

    多视图聚合承诺克服多目标检测和跟踪中的遮挡和漏检问题，在传统的横视图检测方法基础上，本文探索了在鸟瞰视图中进行跟踪的性能突破，通过在鸟瞰视图中进行早期融合，学习强大的重新识别特征，提高了检测和跟踪的准确性。

    Oct, 2023

  • 特征透视变换在多视角检测中的应用

    本研究提出了一种新的多视角检测系统 MVDet，采用基于鸟瞰图的无 Anchor 盒方法来聚合视图信息并在地平面特征图上应用大内核卷积。在新引入的合成数据集 MultiviewX 上的结果表明，相比于现有方法在 Wildtrack 数据集上的最新技术，该方法提高了 14.1% 的 MODA 性能。

    Jul, 2020

  • 使用隐式反投影到 3D 对来自任意相机架的图像进行编码的 Lift，Splat，Shoot

    本文提出了一种新的端到端架构，能够直接从任意数量的相机图像数据中提取场景的鸟瞰图表示，并将其整合成单一的场景表示，该模型能够学习如何融合所有相机的预测结果，并针对密集表示进行运动规划。

    Aug, 2020

  • 飞升 - 参与 - 弹溅：使用 Transformer 进行鸟瞰摄像头 - 激光雷达融合

    通过在鸟瞰图格栅中使用简单的注意力机制选择和融合相机和激光雷达特征，我们引入了一种绕过单眼深度估计的新型融合方法，展示了在 nuScenes 数据集上我们的模型可以根据激光雷达特征的可用性调节其使用相机特征，从而在 3D 目标检测方面优于依赖单眼深度估计的基线方法。

    Dec, 2023

  • 3M3D: 多视角、多路径、多表征 3D 目标检测

    提出了一种基于多视图轴自注意力和局部 ROI 自注意力的多路径多表示 3D 物体检测方法，通过稀疏浮动查询和密集 BEV 查询的多重表示进一步提高了性能，对于自动驾驶系统具有重要意义。

    Feb, 2023

  • BirdNet+: LiDAR 鸟瞰图中端对端 3D 物体检测

    本文提出了一种全端到端的三维物体检测框架，可以仅使用 Bird's Eye View 图像自动推断取向的三维包围盒，并且该方法在 KITTI 三维物体检测基准中超出了现有方法的性能并获得了最佳结果。

    Mar, 2020

  • BEVFusion: 多任务多传感器融合及其基于统一俯视图的表示

    本研究提出 BEVFusion，这是一种有效和通用的多任务多传感器融合框架，通过在共享的鸟瞰图表示空间中统一多模态特征，从根本上支持不同的 3D 感知任务，并在 nuScenes 上创立了新的技术水平

    May, 2022

  • 自动驾驶中多视角传感器数据融合提升感知和预测

    本文提出了一种利用多视角 LiDAR 返回和摄像头图像的终端到终端物体检测和轨迹预测方法，使用 Bird's-Eye View (BEV) 网络的状态 -of-the-art 融合历史 LiDAR 数据和高清地图的体素化特征来执行检测和预测任务。在此基础上，我们使用 LiDAR Range-View （RV）功能扩展了此模型，使用 LiDAR 原始信息的非量化表示。RV 特征图被投影到 BEV 中，并与计算自 LiDAR 和高清地图的 BEV 特征融合。最终输出检测和轨迹，这是一个单一的可训练终端到终端网络。在实际的无人驾驶车辆数据和公共 nuScenes 数据集上，所提出的多视角融合方法的表现都优于最先进的技术，并且增加了较少的计算成本。

    Aug, 2020

  • 基于全景分割引导的 LiDAR 多视角三维物体检测通用框架

    本研究提出了一种利用分割信息指导检测过程的多任务框架，该框架联合执行三维物体检测和全景分割，可利用多视角信息解决每个投影视图的缺陷，并通过前景语义信息和中心密度热力图来提示物体的可能框中心位置。在 nuScenes 数据集上进行的大量实验表明，该方法提供了显著的性能提升，基于单级 CenterPoint 3D 物体检测网络的所提出方法在 nuScenes 3D 检测基准上取得了 67.3 NDS 的最新性能。

    Mar, 2022

  • 深度多摄像头人体检测

    通过使用深度学习算法解决多视角人员占用地图估计问题，并构建一个利用多个视频流的架构，将其联合利用，从而在 PETS 2009 数据集上大幅度优于现有方法。

    Feb, 2017