Apr, 2023

VoxelFormer：基于双视图注意力的鸟瞰特征生成，用于多视角 3D 物体检测

PDF
TL;DR本文研究了基于 Transformer 的目标检测器在多视角三维物体检测领域的局限性，并从鸟瞰图特征生成的角度提出了新的双视角注意力特征生成方法，将其应用于 BEVFormer 架构中，建立了一种新的检测器 VoxelFormer，实验结果表明其性能在 nuScenes 基准测试中显著优于 BEVFormer。
transformer-based detectorsmulti-view 3d object detectionbird's-eye-view feature generationdual-view attentionvoxelformer
发现论文，激发创造
  • BEVFormer: 基于时空 Transformer 通过多相机图像学习鸟瞰视角表示

    本文提出了新的 BEVFormer 框架，该框架学习使用时空变形器的统一 BEV 表示，以支持多个自主驾驶感知任务。在 nuScenes 测试集中，该方法达到了 56.9％的最新技术水平，且在低能见度条件下显着提高了速度估计和对象召回的准确性。

    Mar, 2022

  • DualBEV: CNN 是视角变换中所需的全部

    Camera-based Bird's-Eye-View perception, DualBEV, eliminates the need for a resource-intensive Transformer by proposing a unified framework utilizing a shared CNN-based feature transformation, resulting in state-of-the-art performance and comparable efficiency to the Lift-Splat-Shoot approach.

    Mar, 2024

  • WidthFormer: 高效基于 Transformer 的 BEV 视角转换

    通过提出的 WidthFormer 模型，本研究将 Bird's-Eye-View（BEV）3D 检测方法应用于实时自动驾驶应用，其具有计算效率高、有效、无需特殊工程部署等特点，并通过引入 3D 位置编码机制实现了准确融合 3D 几何信息，从而实现生成高质量 BEV 表示的目标。

    Jan, 2024

  • FusionFormer：鸟瞰视图和时间一致 Transformer 的多感知融合用于 3D 目标

    多传感器模态融合的 FusionFormer 框架通过 transformers 混合多模态特征，获取鸟瞰图特征，并通过可灵活适应输入模态表示的深度预测分支提高相机检测任务的性能，同时提出一种基于 transformers 的即插即用的时域融合模块用于融合历史帧鸟瞰图特征，实现更稳定可靠的检测结果，通过对 nuScenes 数据集的评估，其在 3D 目标检测任务中获得了 72.6％的 mAP 和 75.1％的 NDS，优于现有的最先进方法。

    Sep, 2023

  • BEVSegFormer: 任意相机架构的鸟瞰视角语义分割

    本文介绍了 BEVSegFormer，一种有效的基于转换器的方法，用于从任意摄像机装置进行 BEV 语义分割。

    Mar, 2022

  • 跨尺度分层 Transformer 结合语义对应增强注意力用于推断鸟瞰视角语义分割

    本研究提出了一种基于跨尺度分层 Transformer 和对应增强注意力的语义分割训练方法，针对使用多相机视图图像进行 Bird's-eye-view（BEV）语义分割的问题，并在大量实验中证明了其性能优越性。

    Apr, 2023

  • 基于混合二维语义场景生成的 LiDAR 三维物体检测

    本研究提出了一种将三维环境的语义和几何以二维形式编码的场景表示法，并使用辅助网络预测显式和隐式语义概率的组合作为更好的 BEV 特征学习的密集监督信号，实验证明该设计可以轻松集成到大多数先进的三维物体检测器中，并始终改善基线模型。

    Apr, 2023

  • CoBEVT：稀疏 Transformer 的合作俯视图语义分割

    本文提出了 CoBEVT，这是一个通用的多代理多摄像头感知框架，能够协同生成 BEV 地图预测。在 V2V 感知数据集 OPV2V 上的广泛实验表明，CoBEVT 实现了合作 BEV 语义分割的最先进性能。此外，CoBEVT 还可应用于其他任务，包括单代理多摄像头的 BEV 分割和多代理 LiDAR 系统的 3D 对象检测，实现了实时推理速度和最先进的性能。

    Jul, 2022

  • 自动驾驶中鸟瞰空间高效三维物体检测的卷积网络方法

    3D 物体检测在俯视（Bird's-Eye-View）空间中最近成为自动驾驶领域的一种普遍方法。本研究提出了一种高效的基于 BEV 的 3D 检测框架 BEVENet，通过采用仅卷积的架构设计，克服了 ViT 模型的局限性，同时保持了 BEV 方法的有效性。实验证明，BEVENet 在 NuScenes 挑战赛中比当代最先进方法快 3 倍，同时在 NuScenes 验证数据集上获得 0.456 的平均精确度（mAP）和 0.555 的 nuScenes 检测分数（NDS），推断速度为 47.6 帧每秒。据我们所知，这是首次实现如此显著的 BEV 方法效率改进的研究，突显了它们在实际自动驾驶应用中的可行性提升。

    Dec, 2023

  • SA-BEV: 多视角 3D 目标检测中生成语义感知鸟瞰特征

    本文介绍了一种 Semantic-Aware BEV Pooling (SA-BEVPool) 的方法，通过语义分割图像特征来过滤背景信息，并将图像特征转化为语义感知的 BEV 特征。同时，提出了一种与语义感知 BEV 特征相匹配的有效数据增强策略 BEV-Paste。此外，设计了一个多尺度交叉任务头（MSCT），结合特定任务和交叉任务的信息来更准确地预测深度分布和语义分割，进一步提高语义感知 BEV 特征的质量。最后，将这些模块整合到一个新的多视角 3D 目标检测框架 SA-BEV 中，在 nuScenes 数据集上达到了最先进的性能。

    Jul, 2023