多摄像机鸟瞰视角分割的透视线索训练框架

Mar, 2024

多摄像机鸟瞰视角分割的透视线索训练框架

PCT: Perspective Cue Training Framework for Multi-Camera BEV Segmentation

Haruya Ishikawa, Takumi Iida, Yoshinori Konishi, Yoshimitsu Aoki

TL;DR通过利用大量的未标记数据，本研究提出了一种新的训练框架 Perspective Cue Training (PCT)，该框架使用从公开的基于大型街景数据集训练的语义分割模型生成的未标记透视图像的伪标签，并将透视图任务头应用于图像编码器，与 bird's-eye-view 分割头共享，从而有效地利用未标记数据进行训练。此外，引入了 Camera Dropout (CamDrop) 和 BEV Feature Dropout (BFD) 通过强有力的输入扰动提高半监督学习能力。综合方法简单灵活以实现卓越性能，较多基准模型在半监督学习和无监督领域适应中都取得了显著改进，甚至达到了与当前最先进方法的竞争性性能。

Abstract

Generating annotations for bird's-eye-view (BEV) segmentation presents significant challenges due to the scenes' complexity and the high manual annotation cost. In this work, we address these challenges by leveraging the abundance of unlabeled data available. We propose the perspective cue tr

bird's-eye-view segmentation perspective cue training pseudo-labels semi-supervised learning unsupervised domain adaptation

发现论文，激发创造

视角鸟瞰语义分割的半监督学习

本文提出了一种新颖的半监督框架，用于通过利用未标记的图像在训练过程中提高视觉鸟瞰（BEV）语义分割的性能，包括使用一致性损失约束模型在语义预测和 BEV 特征上，以及一种名为联合旋转的新颖且有效的数据增强方法，在保持前视图像与 BEV 语义分割之间的几何关系的同时扩充数据集。对 nuScenes 和 Argoverse 数据集进行的大量实验证明了我们的半监督框架可以有效提高预测准确性。据我们所知，这是第一项利用未标记数据改进视觉 BEV 语义分割性能的工作，代码将公开提供。

Aug, 2023

FedBEVT: 道路交通系统中的联邦学习鸟瞰感知变换器

本文提出了一种用于自动驾驶的联邦变压器学习方法 FedBEVT，其使用多视角相机数据来学习模型，并解决了数据异构问题，如多传感器姿态和感知系统中不同的传感器数量。在实际场景中的性能优于基线方案，展示了该方法在提高鸟瞰图感知中的潜力。

Apr, 2023

CoBEVT：稀疏 Transformer 的合作俯视图语义分割

本文提出了 CoBEVT，这是一个通用的多代理多摄像头感知框架，能够协同生成 BEV 地图预测。在 V2V 感知数据集 OPV2V 上的广泛实验表明，CoBEVT 实现了合作 BEV 语义分割的最先进性能。此外，CoBEVT 还可应用于其他任务，包括单代理多摄像头的 BEV 分割和多代理 LiDAR 系统的 3D 对象检测，实现了实时推理速度和最先进的性能。

Jul, 2022

多装载车辆摄像头图像转换成鸟瞰视角语义分割图像的 Sim2Real 深度学习方法

该论文提出了一种使用多个车载摄像头获取 360 度鸟瞰图像的方法，并利用神经网络进行分割和预测，以解决单目摄像头在环境感知中的距离估计问题。该方法包括一个语义分割和遮挡区域预测步骤，通过合成数据训练神经网络，实现了对真实世界数据的普遍适用。与透视变换法相比，该方法在合成数据实验中表现出了优越性。

May, 2020

鸟瞰视野语义分割的不确定性量化：方法与基准

这篇论文介绍了一种用于预测不确定性量化的基准测试方法，通过评估不同方法在三个流行数据集上对于识别被错分和不适当类别像素、以及校准的有效性，发现证据深度学习方法在高效量化不确定性方面表现最有潜力，提出了适用于高度不平衡数据的 Uncertainty-Focal-Cross-Entropy (UFCE) 损失函数，以及增强模型对高不确定性像素关注的缺空缩放规则项能够提高确定性不确定性量化。

May, 2024

通过任务分解提高鸟瞰图语义分割

将鸟瞰视图中的语义分割任务分解为 BEV 地图重建和 RGB-BEV 特征对齐两个阶段，通过将 RGB 输入图像映射到第一阶段的 BEV 潜在空间，并在特征级别上直接优化两个视图之间的相关性，实现了复杂和具有挑战性场景的有效处理。

Apr, 2024

BEV2PR: 带有结构提示的 BEV 增强型视觉地点识别

通过利用鸟瞰视角中的结构线索，我们提出了一种新的基于图像的视觉位置识别（VPR）框架。该框架能够仅基于单个摄像头生成具有视觉线索和空间感知的复合描述符。在我们收集的 VPR-NuScenes 数据集上的实验证明，与其他常用的基于相机的 VPR 聚合模块相比，我们的 BEV2PR 框架在 Recall@1 上取得了 2.47% 的绝对增益，并在难样本上取得了 18.06% 的增益。

Mar, 2024

Occ-BEV: 通过三维场景重建实现多摄像机联合预训练

通过设计 3D 解码器来利用多视图图像的鸟瞰图（BEV）特征预测 3D 场景的占位情况，为多摄像头智能驾驶提供了一种先进的、可行的和经济高效的解决方案，并取得了显着提升的结果。

May, 2023

使用几何和语义点云进行鸟瞰图语义分割

本文介绍了使用车载摄像头拍摄的 RGB 图像进行鸟瞰视角像素级别的物体语义分割的方法，为了解决这个问题，提出了一种新的两阶段感知管道，它明确预测像素深度，并将它们与像素语义结合起来进行有效的推断，同时，使用抽象的高层几何特征进行转移学习，方法能够提高 24% 的 mIoU。

Jun, 2020

鸟瞰图分割中的视角鲁棒性

自动驾驶车辆需要神经网络在感知方面能够适应不同的视角，以便在多种类型的车辆中使用而无需重复地进行数据收集和标注。本研究通过大量实验发现，现有的感知模型对于摄像机视角的变化非常敏感，因此提出了一种方法来在车辆类型之间进行缩放，从而避免了额外的数据收集和标注成本，并通过引入新颖的视图合成技术，训练适用于各种车辆类型的鸟瞰图分割模型。

Sep, 2023