Sep, 2022

从鸟瞰感知的恶魔深入探索：综述、评估与方法

PDF
TL;DR本文综述了关于 Bird's-eye-view（BEV）感知的最新研究工作，探讨了多传感器融合、BEV 视角下物体检测与定位等关键问题，并介绍了一系列实用的指南和工具来提高 BEV 任务的性能，最后指出了该领域未来的研究方向。
bird's-eye-view perceptionsensor fusionlocalizationobject detectionautonomous driving
发现论文，激发创造
  • 自主驾驶中鸟瞰视图感知鲁棒性的基准测试和改进

    通过设计评估鲁棒性的 RoboBEV 基准套件，我们评估了包括检测、地图分割、深度估计和占用预测在内的 33 种 BEV 感知模型的性能，并观察到在分布内数据表现良好的模型对分布外挑战具有鲁棒性，同时也强调了预训练和无深度 BEV 变换等策略在提高对分布外数据鲁棒性方面的有效性。

    May, 2024

  • 自主驾驶中基于鸟瞰图表示的 3D 物体检测鲁棒性研究

    本文评估了多种具有代表性的模型在各种情况下的自然和对抗鲁棒性，以全面了解它们如何受到包含和不包含 Bird's-Eye-View 特征的影响，重点关注自主驾驶安全问题，发现了一些警示性的结论。

    Mar, 2023

  • 利用 BEV 表示进行 360 度视觉地点识别

    本文探讨了采用鸟瞰图在 360 度视觉地点识别（VPR）中的优势，提出了一种利用 BEV 表示的新型网络架构，该架构将视觉线索和空间感知进行桥接，并在两个数据集上进行了验证。

    May, 2023

  • 鸟瞰图分割中的视角鲁棒性

    自动驾驶车辆需要神经网络在感知方面能够适应不同的视角，以便在多种类型的车辆中使用而无需重复地进行数据收集和标注。本研究通过大量实验发现，现有的感知模型对于摄像机视角的变化非常敏感，因此提出了一种方法来在车辆类型之间进行缩放，从而避免了额外的数据收集和标注成本，并通过引入新颖的视图合成技术，训练适用于各种车辆类型的鸟瞰图分割模型。

    Sep, 2023

  • M-BEV：面罩 BEV 感知用于稳健自动驾驶

    提出了一种能够在自动驾驶中改善鲁棒性和准确感知的 M-BEV 感知框架，通过随机遮挡和重建相机视图进行端到端训练，从而有效解决一个或多个视图摄像头无法工作的现实场景问题。

    Dec, 2023

  • RoboBEV: 面向鲁棒的鸟瞰图感知

    使用 RoboBEV 基准套件从多个角度评估不同 Bird's eye view 模型的鲁棒性，发现模型在内分布数据集上的表现与在分布外数据集上的性能存在强烈的相关性，但也存在不同方法相对性能差异较大的问题。同时，预训练和无深度 BEV 转换具有增强分布外鲁棒性的潜力，使用富含时间信息的数据也可以大大提高模型的鲁棒性。

    Apr, 2023

  • 使用几何和语义点云进行鸟瞰图语义分割

    本文介绍了使用车载摄像头拍摄的 RGB 图像进行鸟瞰视角像素级别的物体语义分割的方法，为了解决这个问题，提出了一种新的两阶段感知管道，它明确预测像素深度，并将它们与像素语义结合起来进行有效的推断，同时，使用抽象的高层几何特征进行转移学习，方法能够提高 24% 的 mIoU。

    Jun, 2020

  • RoadBEV：鸟瞰视角下的道路表面重建

    本研究提出了两种简单而有效的模型（RoadBEV-mono 和 RoadBEV-stereo），分别使用单目和立体图像估计道路高程，在 Bird's-Eye-View 感知中实现对道路的可靠和准确重建。经实验证明，RoadBEV-mono 和 RoadBEV-stereo 的高程误差分别为 1.83cm 和 0.56cm，在单目图像的基础上，估计性能提高了 50％，这些模型在自动驾驶中具有实际应用的潜力，并为基于视觉的 Bird's-Eye-View 感知提供了有价值的参考。

    Apr, 2024

  • 通过车载摄像头理解道路语义的鸟瞰视角

    通过使用车载摄像头在线估计语义化的鸟瞰图，本文研究了自主导航过程中的场景理解，包括图像级别理解、鸟瞰图级别理解和时间信息聚合。作者提出的新架构在鸟瞰图理解方面显著优于现有技术水平。

    Dec, 2020

  • BEVFusion: 多任务多传感器融合及其基于统一俯视图的表示

    本研究提出 BEVFusion，这是一种有效和通用的多任务多传感器融合框架，通过在共享的鸟瞰图表示空间中统一多模态特征，从根本上支持不同的 3D 感知任务，并在 nuScenes 上创立了新的技术水平

    May, 2022