May, 2024

DuoSpaceNet：利用鸟瞰和透视视图表示的三维物体检测

PDF
TL;DR通过整合鸟瞰图的 3D 特征和传统 2D 视角图像特征，我们提出了一个名为 DuoSpaceNet 的方法，实现了在 nuScenes 数据集上的 3D 物体检测和鸟瞰图分割的最新成果。
multi-view camera3d object detectionbird's-eye-viewperspective viewduospacenet
发现论文，激发创造
  • BirdNet+: LiDAR 鸟瞰图中端对端 3D 物体检测

    本文提出了一种全端到端的三维物体检测框架，可以仅使用 Bird's Eye View 图像自动推断取向的三维包围盒，并且该方法在 KITTI 三维物体检测基准中超出了现有方法的性能并获得了最佳结果。

    Mar, 2020

  • DualBEV: CNN 是视角变换中所需的全部

    Camera-based Bird's-Eye-View perception, DualBEV, eliminates the need for a resource-intensive Transformer by proposing a unified framework utilizing a shared CNN-based feature transformation, resulting in state-of-the-art performance and comparable efficiency to the Lift-Splat-Shoot approach.

    Mar, 2024

  • 自动驾驶中鸟瞰空间高效三维物体检测的卷积网络方法

    3D 物体检测在俯视（Bird's-Eye-View）空间中最近成为自动驾驶领域的一种普遍方法。本研究提出了一种高效的基于 BEV 的 3D 检测框架 BEVENet，通过采用仅卷积的架构设计，克服了 ViT 模型的局限性，同时保持了 BEV 方法的有效性。实验证明，BEVENet 在 NuScenes 挑战赛中比当代最先进方法快 3 倍，同时在 NuScenes 验证数据集上获得 0.456 的平均精确度（mAP）和 0.555 的 nuScenes 检测分数（NDS），推断速度为 47.6 帧每秒。据我们所知，这是首次实现如此显著的 BEV 方法效率改进的研究，突显了它们在实际自动驾驶应用中的可行性提升。

    Dec, 2023

  • 基于混合二维语义场景生成的 LiDAR 三维物体检测

    本研究提出了一种将三维环境的语义和几何以二维形式编码的场景表示法，并使用辅助网络预测显式和隐式语义概率的组合作为更好的 BEV 特征学习的密集监督信号，实验证明该设计可以轻松集成到大多数先进的三维物体检测器中，并始终改善基线模型。

    Apr, 2023

  • 基于全景分割引导的 LiDAR 多视角三维物体检测通用框架

    本研究提出了一种利用分割信息指导检测过程的多任务框架，该框架联合执行三维物体检测和全景分割，可利用多视角信息解决每个投影视图的缺陷，并通过前景语义信息和中心密度热力图来提示物体的可能框中心位置。在 nuScenes 数据集上进行的大量实验表明，该方法提供了显著的性能提升，基于单级 CenterPoint 3D 物体检测网络的所提出方法在 nuScenes 3D 检测基准上取得了 67.3 NDS 的最新性能。

    Mar, 2022

  • BEVFusion: 多任务多传感器融合及其基于统一俯视图的表示

    本研究提出 BEVFusion，这是一种有效和通用的多任务多传感器融合框架，通过在共享的鸟瞰图表示空间中统一多模态特征，从根本上支持不同的 3D 感知任务，并在 nuScenes 上创立了新的技术水平

    May, 2022

  • 基于视觉的三视角视图的 3D 语义占用预测

    采用鸟瞰图（BEV）描述自动驾驶中的三维场景难以描绘细粒度的三维结构，因此我们提出了三面图（TPV）表示法，并使用基于注意力机制的 TPV 编码器实现了显著的提升。模型可以通过稀疏监督有效预测语义占用，仅使用相机输入在 LiDAR 分割任务上可实现与基于 LiDAR 的方法相当的性能。

    Feb, 2023

  • M$^2$BEV：多摄像机联合三维检测和分割，统一鸟瞰视角表示

    本文提出了一个称为 M2BEV 的统一框架，它可以通过多摄像头图像输入在 Birds Eye View（BEV）空间中联合执行三维物体检测和地图分割，是一个高效的方法。实验结果表明，M2BEV 在 3D 对象检测和 BEV 分割方面的性能优于现有技术。

    Apr, 2022

  • 从鸟瞰感知的恶魔深入探索：综述、评估与方法

    本文综述了关于 Bird's-eye-view（BEV）感知的最新研究工作，探讨了多传感器融合、BEV 视角下物体检测与定位等关键问题，并介绍了一系列实用的指南和工具来提高 BEV 任务的性能，最后指出了该领域未来的研究方向。

    Sep, 2022

  • 基于参数化深度的特征表示学习在鸟瞰图中的物体检测和分割

    本文提出了一种利用几何信息通过参数化深度分布建模来进行图像特征转换的方法，通过将 2D 图像特征提升到自车定义的三维空间，并根据深度导出的三维空间占用情况将三维特征体积聚合到鸟瞰视图中进行特征转换，以解决自动驾驶中图像特征转换的瓶颈问题。进一步，在语义分割中提出了一种可靠的可见性感知评估度量，通过考虑该度量可以减轻幻觉问题，并在 nuScenes 数据集上的目标检测和语义分割实验中验证了方法的优越性。

    Jul, 2023