Apr, 2023

跨尺度分层 Transformer 结合语义对应增强注意力用于推断鸟瞰视角语义分割

PDF
TL;DR本研究提出了一种基于跨尺度分层 Transformer 和对应增强注意力的语义分割训练方法，针对使用多相机视图图像进行 Bird's-eye-view（BEV）语义分割的问题，并在大量实验中证明了其性能优越性。
bird's-eye-viewsemantic segmentationvision transformermulti-camera-view imageshierarchical transformer
发现论文，激发创造
  • BEVSegFormer: 任意相机架构的鸟瞰视角语义分割

    本文介绍了 BEVSegFormer，一种有效的基于转换器的方法，用于从任意摄像机装置进行 BEV 语义分割。

    Mar, 2022

  • 视角鸟瞰语义分割的半监督学习

    本文提出了一种新颖的半监督框架，用于通过利用未标记的图像在训练过程中提高视觉鸟瞰（BEV）语义分割的性能，包括使用一致性损失约束模型在语义预测和 BEV 特征上，以及一种名为联合旋转的新颖且有效的数据增强方法，在保持前视图像与 BEV 语义分割之间的几何关系的同时扩充数据集。对 nuScenes 和 Argoverse 数据集进行的大量实验证明了我们的半监督框架可以有效提高预测准确性。据我们所知，这是第一项利用未标记数据改进视觉 BEV 语义分割性能的工作，代码将公开提供。

    Aug, 2023

  • CoBEVT：稀疏 Transformer 的合作俯视图语义分割

    本文提出了 CoBEVT，这是一个通用的多代理多摄像头感知框架，能够协同生成 BEV 地图预测。在 V2V 感知数据集 OPV2V 上的广泛实验表明，CoBEVT 实现了合作 BEV 语义分割的最先进性能。此外，CoBEVT 还可应用于其他任务，包括单代理多摄像头的 BEV 分割和多代理 LiDAR 系统的 3D 对象检测，实现了实时推理速度和最先进的性能。

    Jul, 2022

  • 通过任务分解提高鸟瞰图语义分割

    将鸟瞰视图中的语义分割任务分解为 BEV 地图重建和 RGB-BEV 特征对齐两个阶段，通过将 RGB 输入图像映射到第一阶段的 BEV 潜在空间，并在特征级别上直接优化两个视图之间的相关性，实现了复杂和具有挑战性场景的有效处理。

    Apr, 2024

  • VoxelFormer：基于双视图注意力的鸟瞰特征生成，用于多视角 3D 物体检测

    本文研究了基于 Transformer 的目标检测器在多视角三维物体检测领域的局限性，并从鸟瞰图特征生成的角度提出了新的双视角注意力特征生成方法，将其应用于 BEVFormer 架构中，建立了一种新的检测器 VoxelFormer，实验结果表明其性能在 nuScenes 基准测试中显著优于 BEVFormer。

    Apr, 2023

  • 使用几何和语义点云进行鸟瞰图语义分割

    本文介绍了使用车载摄像头拍摄的 RGB 图像进行鸟瞰视角像素级别的物体语义分割的方法，为了解决这个问题，提出了一种新的两阶段感知管道，它明确预测像素深度，并将它们与像素语义结合起来进行有效的推断，同时，使用抽象的高层几何特征进行转移学习，方法能够提高 24% 的 mIoU。

    Jun, 2020

  • LaRa: 多摄像头鸟瞰语义分割的潜在特征与光线

    本文提出了一种基于编码解码器的自主行驶多摄像头车辆语义分割模型 LaRa，使用跨注意力机制将多个传感器的信息聚合成一组紧凑、丰富的潜在表示，进而在 BEV 空间中再次重投影，证明该模型在 nuScenes 上优于之前使用 Transformer 的最佳表现。

    Jun, 2022

  • SA-BEV: 多视角 3D 目标检测中生成语义感知鸟瞰特征

    本文介绍了一种 Semantic-Aware BEV Pooling (SA-BEVPool) 的方法，通过语义分割图像特征来过滤背景信息，并将图像特征转化为语义感知的 BEV 特征。同时，提出了一种与语义感知 BEV 特征相匹配的有效数据增强策略 BEV-Paste。此外，设计了一个多尺度交叉任务头（MSCT），结合特定任务和交叉任务的信息来更准确地预测深度分布和语义分割，进一步提高语义感知 BEV 特征的质量。最后，将这些模块整合到一个新的多视角 3D 目标检测框架 SA-BEV 中，在 nuScenes 数据集上达到了最先进的性能。

    Jul, 2023

  • SG-BEV：卫星导航 BEV 融合用于跨视图语义分割

    该论文介绍了一种用于卫星和街景图像对的细粒度建筑属性分割的新方法，通过引入鸟瞰图方法解决了传统方法中建筑物立面特征获取的局限性，并通过新的卫星引导的投影模块优化了传统方法中特征分布不均匀的问题。该方法在来自多个城市的四个跨视图数据集上取得了显著的改进，与最先进的基于卫星和跨视图的方法相比，平均 mIOU 提高了 10.13% 和 5.21%。

    Apr, 2024

  • 基于混合二维语义场景生成的 LiDAR 三维物体检测

    本研究提出了一种将三维环境的语义和几何以二维形式编码的场景表示法，并使用辅助网络预测显式和隐式语义概率的组合作为更好的 BEV 特征学习的密集监督信号，实验证明该设计可以轻松集成到大多数先进的三维物体检测器中，并始终改善基线模型。

    Apr, 2023