Apr, 2024

RoadBEV：鸟瞰视角下的道路表面重建

PDF
TL;DR本研究提出了两种简单而有效的模型（RoadBEV-mono 和 RoadBEV-stereo），分别使用单目和立体图像估计道路高程，在 Bird's-Eye-View 感知中实现对道路的可靠和准确重建。经实验证明，RoadBEV-mono 和 RoadBEV-stereo 的高程误差分别为 1.83cm 和 0.56cm，在单目图像的基础上，估计性能提高了 50％，这些模型在自动驾驶中具有实际应用的潜力，并为基于视觉的 Bird's-Eye-View 感知提供了有价值的参考。
road surface conditionsautonomous vehiclesbird's-eye-view perceptionroad elevation reconstructionmonocular and stereo images
发现论文，激发创造
  • BEVHeight：基于视觉的路侧三维物体检测的稳健框架

    本文提出了一种名为 BEVHeight 的简单而有效的方法，通过回归车辆高度来解决利用路边智能摄像头进行感知时出现的问题，超过了所有以前的基于视觉的方法。

    Mar, 2023

  • 从鸟瞰感知的恶魔深入探索：综述、评估与方法

    本文综述了关于 Bird's-eye-view（BEV）感知的最新研究工作，探讨了多传感器融合、BEV 视角下物体检测与定位等关键问题，并介绍了一系列实用的指南和工具来提高 BEV 任务的性能，最后指出了该领域未来的研究方向。

    Sep, 2022

  • 通过前向上视图投影实现单目 BEV 道路场景感知

    提出基于前视单目图像的局部鸟瞰地图重建新框架，利用前向到俯视图像变换（FTVP）模块中的多尺度设计和周期性一致性约束，实现低成本高效的道路与汽车区域感知以及多类别场景理解。在公共基准测试中，该方法在道路布局估计，车辆占用估计和多类别语义估计任务中均达到了最先进的性能，并且在多类别语义估计中优于所有竞争对手。

    Nov, 2022

  • 自主驾驶中鸟瞰视图感知鲁棒性的基准测试和改进

    通过设计评估鲁棒性的 RoboBEV 基准套件，我们评估了包括检测、地图分割、深度估计和占用预测在内的 33 种 BEV 感知模型的性能，并观察到在分布内数据表现良好的模型对分布外挑战具有鲁棒性，同时也强调了预训练和无深度 BEV 变换等策略在提高对分布外数据鲁棒性方面的有效性。

    May, 2024

  • BEVHeight++：面向稳健的视觉中心化三维目标检测

    利用智能路侧摄像头扩展感知能力来解决现有视觉中心的鸟瞰检测方法在路侧摄像头上性能较差的问题。通过回归地面高度并结合高度和深度编码技术，提出了一种简单而有效的方法，名为 BEVHeight++，在 2D 到 BEV 空间的映射中取得了更准确和稳健的结果，超过了其他方法，拥有较好的性能表现。

    Sep, 2023

  • 使用几何和语义点云进行鸟瞰图语义分割

    本文介绍了使用车载摄像头拍摄的 RGB 图像进行鸟瞰视角像素级别的物体语义分割的方法，为了解决这个问题，提出了一种新的两阶段感知管道，它明确预测像素深度，并将它们与像素语义结合起来进行有效的推断，同时，使用抽象的高层几何特征进行转移学习，方法能够提高 24% 的 mIoU。

    Jun, 2020

  • U-BEV: 高度感知的鸟瞰图分割与基于神经地图的重定位

    提出了一种名为 U-BEV 的神经网络架构，通过多个高度层次的场景推理和 SD-map 数据的可微模板匹配，有效改善了车辆重定位性能。该方法在 nuScenes 数据集上的实验结果显示，相较于其他相似复杂度的基于 BEV 和 Transformer 的方法，综合性能提高了 1.7-2.8 mIoU，重现率提高了超过 26%。

    Oct, 2023

  • RoboBEV: 面向鲁棒的鸟瞰图感知

    使用 RoboBEV 基准套件从多个角度评估不同 Bird's eye view 模型的鲁棒性，发现模型在内分布数据集上的表现与在分布外数据集上的性能存在强烈的相关性，但也存在不同方法相对性能差异较大的问题。同时，预训练和无深度 BEV 转换具有增强分布外鲁棒性的潜力，使用富含时间信息的数据也可以大大提高模型的鲁棒性。

    Apr, 2023

  • C-BEV：用于跨视角图像检索和 3DoF 姿态估计的对比鸟瞰视角训练

    使用鸟瞰图作为嵌入表示的新型可训练的检索体系结构，在交叉视图地理定位任务中表现出色，特别在挑战性的多对一情景中有效，并且能够推断匹配航空图像上的 3 自由度摄像机姿态，甚至比明确通过度量真值进行培训的最新方法具有更低的平均姿态误差。

    Dec, 2023

  • M-BEV：面罩 BEV 感知用于稳健自动驾驶

    提出了一种能够在自动驾驶中改善鲁棒性和准确感知的 M-BEV 感知框架，通过随机遮挡和重建相机视图进行端到端训练，从而有效解决一个或多个视图摄像头无法工作的现实场景问题。

    Dec, 2023