本文提出在未经校正的鱼眼图像上运行的多任务视觉感知网络来加强自动汽车系统的六个主要任务，其中包括深度估计，视觉测距，语义分割，动态分割，目标检测以及镜头污染检测，通过联合训练模型，在 KITTI 数据集上实现深度估计和姿态估计任务的最新结果。

Feb, 2021

本研究提出 BEVFusion，这是一种有效和通用的多任务多传感器融合框架，通过在共享的鸟瞰图表示空间中统一多模态特征，从根本上支持不同的 3D 感知任务，并在 nuScenes 上创立了新的技术水平

May, 2022

通过利用互补的传感器信息，雷达和相机融合系统具有为高级驾驶员辅助系统和自动驾驶功能提供高度鲁棒可靠的感知系统的潜力。最近相机基于物体检测的进展为鸟瞰特征图的雷达相机融合提供了新的可能性。本文提出了一种新颖而灵活的融合网络，并在两个数据集（nuScenes 和 View-of-Delft）上评估其性能。我们的实验结果表明，虽然相机分支需要大量多样化的训练数据，但雷达分支更受到高性能雷达的影响。使用迁移学习，我们改善了较小数据集上相机的性能。我们的结果进一步证明了雷达相机融合方法明显优于仅相机和仅雷达的基线模型。

Sep, 2023

本文提出了一种利用多视角 LiDAR 返回和摄像头图像的终端到终端物体检测和轨迹预测方法，使用 Bird's-Eye View (BEV) 网络的状态 -of-the-art 融合历史 LiDAR 数据和高清地图的体素化特征来执行检测和预测任务。在此基础上，我们使用 LiDAR Range-View （RV）功能扩展了此模型，使用 LiDAR 原始信息的非量化表示。RV 特征图被投影到 BEV 中，并与计算自 LiDAR 和高清地图的 BEV 特征融合。最终输出检测和轨迹，这是一个单一的可训练终端到终端网络。在实际的无人驾驶车辆数据和公共 nuScenes 数据集上，所提出的多视角融合方法的表现都优于最先进的技术，并且增加了较少的计算成本。

Aug, 2020

通过利用多传感器融合的方法，我们提出了一种名为 CoBEVFusion 的框架，将 LiDAR 和相机数据融合为鸟瞰图（BEV）表示，以改善协同感知在自动驾驶车辆中的安全性和可靠性。我们的 DWCA LiDAR-camera fusion 模型在 BEV 语义分割和 3D 物体检测任务中表现优于单模态数据和最先进的 BEV 融合模型。同时，CoBEVFusion 整体协同感知架构的性能与其他协同感知模型相当。

Oct, 2023

提出了一种空间同步的跨模态方法，通过点散射将 LiDAR BEV 分布散布到相机深度分布，增强相机 BEV 估计和精确定位，同时改善整个 BEV 空间中 LiDAR 的稀疏性，实现了广视野 BEV 感知。

Sep, 2023

利用多传感器数据的三维物体检测器在共享的鸟瞰图表示空间中统一多模态特征，然而，我们的实证研究发现之前的方法在生成不受交叉模态冲突影响的融合鸟瞰图特征方面存在局限性。因此，我们提出了一种新的消除冲突融合方法（ECFusion），以显式消除鸟瞰图空间中的外在 / 内在冲突并生成改进的多模态鸟瞰图特征。总之，我们的方法最大限度地利用了每种模态的有效信息，利用了模态间的互补性，并在高竞争的 nuScenes 三维物体检测数据集中取得了最先进的性能。

Mar, 2024

通过创建综合道路类型、天气和光照条件的合成数据集，并使用具有失真感知学习的鱼眼摄像机，将基于 BEV 的语义分割通用化，进一步引入遮挡推理模块，以提高 BEV 空间的性能。

Apr, 2024

本研究提出了一种模块化的雷达 - 相机融合网络，其基于 BEV 平面，该网络通过新增设计的雷达编码器分支 BEVFeatureNet 与几种最先进的相机架构相结合，显著提高了 nuScenes 检测分数，是雷达 - 相机融合研究的重要进展。

May, 2023

本文讨论了多鱼眼相机系统的标定和处理流程，方法可用于自动泊车等应用场景。该流程可以精确标定多相机系统，构建稀疏的三维地图用于视觉导航、车辆定位，并基于实时深度图提取进行精确的物体检测。

Aug, 2017