May, 2024

自主驾驶中鸟瞰视图感知鲁棒性的基准测试和改进

PDF
TL;DR通过设计评估鲁棒性的 RoboBEV 基准套件，我们评估了包括检测、地图分割、深度估计和占用预测在内的 33 种 BEV 感知模型的性能，并观察到在分布内数据表现良好的模型对分布外挑战具有鲁棒性，同时也强调了预训练和无深度 BEV 变换等策略在提高对分布外数据鲁棒性方面的有效性。
bird's eye view3d perceptionbenchmark suiteresiliencerobustness
发现论文，激发创造
  • RoboBEV: 面向鲁棒的鸟瞰图感知

    使用 RoboBEV 基准套件从多个角度评估不同 Bird's eye view 模型的鲁棒性，发现模型在内分布数据集上的表现与在分布外数据集上的性能存在强烈的相关性，但也存在不同方法相对性能差异较大的问题。同时，预训练和无深度 BEV 转换具有增强分布外鲁棒性的潜力，使用富含时间信息的数据也可以大大提高模型的鲁棒性。

    Apr, 2023

  • 自主驾驶中基于鸟瞰图表示的 3D 物体检测鲁棒性研究

    本文评估了多种具有代表性的模型在各种情况下的自然和对抗鲁棒性，以全面了解它们如何受到包含和不包含 Bird's-Eye-View 特征的影响，重点关注自主驾驶安全问题，发现了一些警示性的结论。

    Mar, 2023

  • 从鸟瞰感知的恶魔深入探索：综述、评估与方法

    本文综述了关于 Bird's-eye-view（BEV）感知的最新研究工作，探讨了多传感器融合、BEV 视角下物体检测与定位等关键问题，并介绍了一系列实用的指南和工具来提高 BEV 任务的性能，最后指出了该领域未来的研究方向。

    Sep, 2022

  • 鸟瞰图分割中的视角鲁棒性

    自动驾驶车辆需要神经网络在感知方面能够适应不同的视角，以便在多种类型的车辆中使用而无需重复地进行数据收集和标注。本研究通过大量实验发现，现有的感知模型对于摄像机视角的变化非常敏感，因此提出了一种方法来在车辆类型之间进行缩放，从而避免了额外的数据收集和标注成本，并通过引入新颖的视图合成技术，训练适用于各种车辆类型的鸟瞰图分割模型。

    Sep, 2023

  • M-BEV：面罩 BEV 感知用于稳健自动驾驶

    提出了一种能够在自动驾驶中改善鲁棒性和准确感知的 M-BEV 感知框架，通过随机遮挡和重建相机视图进行端到端训练，从而有效解决一个或多个视图摄像头无法工作的现实场景问题。

    Dec, 2023

  • RoadBEV：鸟瞰视角下的道路表面重建

    本研究提出了两种简单而有效的模型（RoadBEV-mono 和 RoadBEV-stereo），分别使用单目和立体图像估计道路高程，在 Bird's-Eye-View 感知中实现对道路的可靠和准确重建。经实验证明，RoadBEV-mono 和 RoadBEV-stereo 的高程误差分别为 1.83cm 和 0.56cm，在单目图像的基础上，估计性能提高了 50％，这些模型在自动驾驶中具有实际应用的潜力，并为基于视觉的 Bird's-Eye-View 感知提供了有价值的参考。

    Apr, 2024

  • BEVHeight++：面向稳健的视觉中心化三维目标检测

    利用智能路侧摄像头扩展感知能力来解决现有视觉中心的鸟瞰检测方法在路侧摄像头上性能较差的问题。通过回归地面高度并结合高度和深度编码技术，提出了一种简单而有效的方法，名为 BEVHeight++，在 2D 到 BEV 空间的映射中取得了更准确和稳健的结果，超过了其他方法，拥有较好的性能表现。

    Sep, 2023

  • 利用 BEV 表示进行 360 度视觉地点识别

    本文探讨了采用鸟瞰图在 360 度视觉地点识别（VPR）中的优势，提出了一种利用 BEV 表示的新型网络架构，该架构将视觉线索和空间感知进行桥接，并在两个数据集上进行了验证。

    May, 2023

  • YOLO-BEV：以同样的方式生成鸟瞰图像与 2D 物体检测

    YOLO-BEV 是一种高效的框架，通过特殊的周围摄像机设置生成车辆环境的 2D 鸟瞰图，利用空间表示提供有效处理，在实时自动驾驶系统中具有潜在的快速部署和改变未来视角的潜力。

    Oct, 2023

  • 自动驾驶中鸟瞰空间高效三维物体检测的卷积网络方法

    3D 物体检测在俯视（Bird's-Eye-View）空间中最近成为自动驾驶领域的一种普遍方法。本研究提出了一种高效的基于 BEV 的 3D 检测框架 BEVENet，通过采用仅卷积的架构设计，克服了 ViT 模型的局限性，同时保持了 BEV 方法的有效性。实验证明，BEVENet 在 NuScenes 挑战赛中比当代最先进方法快 3 倍，同时在 NuScenes 验证数据集上获得 0.456 的平均精确度（mAP）和 0.555 的 nuScenes 检测分数（NDS），推断速度为 47.6 帧每秒。据我们所知，这是首次实现如此显著的 BEV 方法效率改进的研究，突显了它们在实际自动驾驶应用中的可行性提升。

    Dec, 2023