ECCVAug, 2020

使用隐式反投影到 3D 对来自任意相机架的图像进行编码的 Lift，Splat，Shoot

PDF
TL;DR本文提出了一种新的端到端架构，能够直接从任意数量的相机图像数据中提取场景的鸟瞰图表示，并将其整合成单一的场景表示，该模型能够学习如何融合所有相机的预测结果，并针对密集表示进行运动规划。
perceptionautonomous vehiclesmulti-sensor fusionend-to-end architecturebird's-eye-view representation
发现论文，激发创造
  • 飞升 - 参与 - 弹溅：使用 Transformer 进行鸟瞰摄像头 - 激光雷达融合

    通过在鸟瞰图格栅中使用简单的注意力机制选择和融合相机和激光雷达特征，我们引入了一种绕过单眼深度估计的新型融合方法，展示了在 nuScenes 数据集上我们的模型可以根据激光雷达特征的可用性调节其使用相机特征，从而在 3D 目标检测方面优于依赖单眼深度估计的基线方法。

    Dec, 2023

  • 鸟瞰图分割中的视角鲁棒性

    自动驾驶车辆需要神经网络在感知方面能够适应不同的视角，以便在多种类型的车辆中使用而无需重复地进行数据收集和标注。本研究通过大量实验发现，现有的感知模型对于摄像机视角的变化非常敏感，因此提出了一种方法来在车辆类型之间进行缩放，从而避免了额外的数据收集和标注成本，并通过引入新颖的视图合成技术，训练适用于各种车辆类型的鸟瞰图分割模型。

    Sep, 2023

  • 将车辆映射到鸟瞰图中的学习

    本文提出了一种语义感知变换的方法，将仪表板摄像机视图中的检测结果映射到场景的更广泛、俯视的占用图中，通过大量的合成数据和深度神经网络的训练实现，结果表明该模型能够在真实世界的数据上进行泛化。

    Jun, 2017

  • 将多视角检测和跟踪提升至鸟瞰视角

    利用多视角聚合的优势可以解决多目标跟踪和检测中的遮挡和漏检等挑战。通过将所有视图投影到地面并从鸟瞰视图进行检测分析，最近在多视图检测和 3D 物体识别方面的进展显著提高了性能。本文比较现代的无参数和参数化的升降方法与多视角聚合方法，并提出一种结合多个时间步骤的特征聚合以学习稳健检测并结合外观和运动线索进行跟踪的架构。我们的方法在行人和道路感知两个领域的三个公共数据集上具有广泛适用性，并在检测和跟踪方面实现了最先进的性能。

    Mar, 2024

  • 基于深度透视变换的鸟瞰图车辆定位

    自动驾驶汽车的导航系统需要准确理解周围环境，本文提出了一个替代方法，通过生成场景的顶视图，提取其他车辆相对于自我车辆的距离和方向，同时通过将透视图 RGB 图像转换为鸟瞰地图的方法，有效捕捉了自动驾驶汽车所需的重要环境信息。

    Nov, 2023

  • 利用光线追踪学习自我三维表示

    本篇论文提出了一种新的端对端架构，可以从任意数量的不受约束的相机视图中学习 3D 表征，无需深度监督，并且具有与 BEV 相关的内置几何结构，该模型在标准 BEV 视觉任务（例如基于相机的 3D 物体检测和 BEV 分割）中具有优异的性能。

    Jun, 2022

  • 多装载车辆摄像头图像转换成鸟瞰视角语义分割图像的 Sim2Real 深度学习方法

    该论文提出了一种使用多个车载摄像头获取 360 度鸟瞰图像的方法，并利用神经网络进行分割和预测，以解决单目摄像头在环境感知中的距离估计问题。该方法包括一个语义分割和遮挡区域预测步骤，通过合成数据训练神经网络，实现了对真实世界数据的普遍适用。与透视变换法相比，该方法在合成数据实验中表现出了优越性。

    May, 2020

  • BirdNet+: LiDAR 鸟瞰图中端对端 3D 物体检测

    本文提出了一种全端到端的三维物体检测框架，可以仅使用 Bird's Eye View 图像自动推断取向的三维包围盒，并且该方法在 KITTI 三维物体检测基准中超出了现有方法的性能并获得了最佳结果。

    Mar, 2020

  • 通过车载摄像头理解道路语义的鸟瞰视角

    通过使用车载摄像头在线估计语义化的鸟瞰图，本文研究了自主导航过程中的场景理解，包括图像级别理解、鸟瞰图级别理解和时间信息聚合。作者提出的新架构在鸟瞰图理解方面显著优于现有技术水平。

    Dec, 2020

  • 自动驾驶多摄像头鸟瞰感知

    自动驾驶系统的感知输出对于其他智能体和结构的空间推理和路径规划至关重要，基于摄像头图像的透视投影方法不适用于自动驾驶，因此需要使用其他方法来产生所需的地形俯视图像。

    Sep, 2023