FB-BEV:前后向视图转换的 BEV 表示
Camera-based Bird's-Eye-View perception, DualBEV, eliminates the need for a resource-intensive Transformer by proposing a unified framework utilizing a shared CNN-based feature transformation, resulting in state-of-the-art performance and comparable efficiency to the Lift-Splat-Shoot approach.
Mar, 2024
提出了一种新模型,能够对任何第一人称视角的感知模态进行零样本投影到对应的鸟瞰图,该模型通过将几何逆透视投影与模态转换进行解耦合,实验结果表明该模型优于竞争方法,尤其是单目深度估计。
Feb, 2024
提出了一种能够在自动驾驶中改善鲁棒性和准确感知的 M-BEV 感知框架,通过随机遮挡和重建相机视图进行端到端训练,从而有效解决一个或多个视图摄像头无法工作的现实场景问题。
Dec, 2023
本文提出了一种用于自动驾驶的联邦变压器学习方法 FedBEVT,其使用多视角相机数据来学习模型,并解决了数据异构问题,如多传感器姿态和感知系统中不同的传感器数量。在实际场景中的性能优于基线方案,展示了该方法在提高鸟瞰图感知中的潜力。
Apr, 2023
提出基于前视单目图像的局部鸟瞰地图重建新框架,利用前向到俯视图像变换(FTVP)模块中的多尺度设计和周期性一致性约束,实现低成本高效的道路与汽车区域感知以及多类别场景理解。在公共基准测试中,该方法在道路布局估计,车辆占用估计和多类别语义估计任务中均达到了最先进的性能,并且在多类别语义估计中优于所有竞争对手。
Nov, 2022
本文提出了新的 BEVFormer 框架,该框架学习使用时空变形器的统一 BEV 表示,以支持多个自主驾驶感知任务。在 nuScenes 测试集中,该方法达到了 56.9%的最新技术水平,且在低能见度条件下显着提高了速度估计和对象召回的准确性。
Mar, 2022
本文提出了 CoBEVT,这是一个通用的多代理多摄像头感知框架,能够协同生成 BEV 地图预测。在 V2V 感知数据集 OPV2V 上的广泛实验表明,CoBEVT 实现了合作 BEV 语义分割的最先进性能。此外,CoBEVT 还可应用于其他任务,包括单代理多摄像头的 BEV 分割和多代理 LiDAR 系统的 3D 对象检测,实现了实时推理速度和最先进的性能。
Jul, 2022
本文提出了一种名为 Graph BEV 的稳健融合框架,通过解决 LiDAR 和相机 BEV 特征之间的不准确对齐问题,实现了最先进的性能,mAP 为 70.1%,超过了 BEV Fusion 1.6%,在存在不对齐噪声的条件下超过 BEV Fusion 8.3%。
Mar, 2024
本文探讨了采用鸟瞰图在 360 度视觉地点识别(VPR)中的优势,提出了一种利用 BEV 表示的新型网络架构,该架构将视觉线索和空间感知进行桥接,并在两个数据集上进行了验证。
May, 2023