Feb, 2023

SkyEye: 自监督鸟瞰视角语义地图的建立，使用单目正视图像

PDF
TL;DR本研究提出了一种自我监督的方法，可以利用来自前方视图的单个单目图像，生成 Bird's-Eye-View（BEV）语义地图，用于自动驾驶。该方法包括两种自我监督模式：隐式监督和显式监督。实验证明，这种自我监督方法在使用较少的直接监督的情况下可以达到与全监督方法相当的效果。
automated drivingbird's-eye-view (bev) semantic mapsself-supervised approachskyeye architecturekitti-360 dataset
发现论文，激发创造
  • LetsMap：无监督语义 BEV 地图的表示学习

    该研究提出了一种无监督学习方法，从单眼正视图像生成语义鸟瞰地图，以在自动驾驶的各种决策任务中提供强大的遮挡推理能力，其使用了 1% 的标注数据和无额外标记数据，在 KITTI-360 和 nuScenes 数据集上表现与现有最先进的方法相当。

    May, 2024

  • 视角鸟瞰语义分割的半监督学习

    本文提出了一种新颖的半监督框架，用于通过利用未标记的图像在训练过程中提高视觉鸟瞰（BEV）语义分割的性能，包括使用一致性损失约束模型在语义预测和 BEV 特征上，以及一种名为联合旋转的新颖且有效的数据增强方法，在保持前视图像与 BEV 语义分割之间的几何关系的同时扩充数据集。对 nuScenes 和 Argoverse 数据集进行的大量实验证明了我们的半监督框架可以有效提高预测准确性。据我们所知，这是第一项利用未标记数据改进视觉 BEV 语义分割性能的工作，代码将公开提供。

    Aug, 2023

  • 自我监督的鸟瞰运动预测与跨模态信号

    通过引入新颖的跨模态自监督训练框架，本文解决了点云方法中的假流和不一致性问题，提出了三种创新的监督信号来保留场景动作的内在属性，包括遮罩 Chamfer 距离损失、分段刚性损失和时间一致性损失，通过广泛实验证明，我们提出的自监督框架在动作预测任务中优于所有先前的自监督方法。

    Jan, 2024

  • 使用几何和语义点云进行鸟瞰图语义分割

    本文介绍了使用车载摄像头拍摄的 RGB 图像进行鸟瞰视角像素级别的物体语义分割的方法，为了解决这个问题，提出了一种新的两阶段感知管道，它明确预测像素深度，并将它们与像素语义结合起来进行有效的推断，同时，使用抽象的高层几何特征进行转移学习，方法能够提高 24% 的 mIoU。

    Jun, 2020

  • 通过任务分解提高鸟瞰图语义分割

    将鸟瞰视图中的语义分割任务分解为 BEV 地图重建和 RGB-BEV 特征对齐两个阶段，通过将 RGB 输入图像映射到第一阶段的 BEV 潜在空间，并在特征级别上直接优化两个视图之间的相关性，实现了复杂和具有挑战性场景的有效处理。

    Apr, 2024

  • 将车辆映射到鸟瞰图中的学习

    本文提出了一种语义感知变换的方法，将仪表板摄像机视图中的检测结果映射到场景的更广泛、俯视的占用图中，通过大量的合成数据和深度神经网络的训练实现，结果表明该模型能够在真实世界的数据上进行泛化。

    Jun, 2017

  • 通过车载摄像头理解道路语义的鸟瞰视角

    通过使用车载摄像头在线估计语义化的鸟瞰图，本文研究了自主导航过程中的场景理解，包括图像级别理解、鸟瞰图级别理解和时间信息聚合。作者提出的新架构在鸟瞰图理解方面显著优于现有技术水平。

    Dec, 2020

  • SG-BEV：卫星导航 BEV 融合用于跨视图语义分割

    该论文介绍了一种用于卫星和街景图像对的细粒度建筑属性分割的新方法，通过引入鸟瞰图方法解决了传统方法中建筑物立面特征获取的局限性，并通过新的卫星引导的投影模块优化了传统方法中特征分布不均匀的问题。该方法在来自多个城市的四个跨视图数据集上取得了显著的改进，与最先进的基于卫星和跨视图的方法相比，平均 mIOU 提高了 10.13% 和 5.21%。

    Apr, 2024

  • Zero-BEV：任何第一人称模态的零射击投影到 BEV 地图

    提出了一种新模型，能够对任何第一人称视角的感知模态进行零样本投影到对应的鸟瞰图，该模型通过将几何逆透视投影与模态转换进行解耦合，实验结果表明该模型优于竞争方法，尤其是单目深度估计。

    Feb, 2024

  • BEVSegFormer: 任意相机架构的鸟瞰视角语义分割

    本文介绍了 BEVSegFormer，一种有效的基于转换器的方法，用于从任意摄像机装置进行 BEV 语义分割。

    Mar, 2022