Sep, 2023

FusionFormer：鸟瞰视图和时间一致 Transformer 的多感知融合用于 3D 目标

PDF
TL;DR多传感器模态融合的 FusionFormer 框架通过 transformers 混合多模态特征，获取鸟瞰图特征，并通过可灵活适应输入模态表示的深度预测分支提高相机检测任务的性能，同时提出一种基于 transformers 的即插即用的时域融合模块用于融合历史帧鸟瞰图特征，实现更稳定可靠的检测结果，通过对 nuScenes 数据集的评估，其在 3D 目标检测任务中获得了 72.6％的 mAP 和 75.1％的 NDS，优于现有的最先进方法。
multi-sensor modal fusionfusionformer3d object detectiontransformersbev features
发现论文，激发创造
  • BEVFormer: 基于时空 Transformer 通过多相机图像学习鸟瞰视角表示

    本文提出了新的 BEVFormer 框架，该框架学习使用时空变形器的统一 BEV 表示，以支持多个自主驾驶感知任务。在 nuScenes 测试集中，该方法达到了 56.9％的最新技术水平，且在低能见度条件下显着提高了速度估计和对象召回的准确性。

    Mar, 2022

  • UniFusion：用于鸟瞰图空时表示的统一多视角融合变压器

    本文提出一种新的空时融合 BEV 表征方法，可支持长距离融合，具有时变自适应权重，有效避免传统方法中的信息丢失和充分利用功能，同时实现地图分割任务的最优性能。

    Jul, 2022

  • BEVFusion: 多任务多传感器融合及其基于统一俯视图的表示

    本研究提出 BEVFusion，这是一种有效和通用的多任务多传感器融合框架，通过在共享的鸟瞰图表示空间中统一多模态特征，从根本上支持不同的 3D 感知任务，并在 nuScenes 上创立了新的技术水平

    May, 2022

  • VoxelFormer：基于双视图注意力的鸟瞰特征生成，用于多视角 3D 物体检测

    本文研究了基于 Transformer 的目标检测器在多视角三维物体检测领域的局限性，并从鸟瞰图特征生成的角度提出了新的双视角注意力特征生成方法，将其应用于 BEVFormer 架构中，建立了一种新的检测器 VoxelFormer，实验结果表明其性能在 nuScenes 基准测试中显著优于 BEVFormer。

    Apr, 2023

  • WidthFormer: 高效基于 Transformer 的 BEV 视角转换

    通过提出的 WidthFormer 模型，本研究将 Bird's-Eye-View（BEV）3D 检测方法应用于实时自动驾驶应用，其具有计算效率高、有效、无需特殊工程部署等特点，并通过引入 3D 位置编码机制实现了准确融合 3D 几何信息，从而实现生成高质量 BEV 表示的目标。

    Jan, 2024

  • 消除 BEV 空间中 LiDAR - 相机 3D 物体检测中的跨模态冲突

    利用多传感器数据的三维物体检测器在共享的鸟瞰图表示空间中统一多模态特征，然而，我们的实证研究发现之前的方法在生成不受交叉模态冲突影响的融合鸟瞰图特征方面存在局限性。因此，我们提出了一种新的消除冲突融合方法（ECFusion），以显式消除鸟瞰图空间中的外在 / 内在冲突并生成改进的多模态鸟瞰图特征。总之，我们的方法最大限度地利用了每种模态的有效信息，利用了模态间的互补性，并在高竞争的 nuScenes 三维物体检测数据集中取得了最先进的性能。

    Mar, 2024

  • UniTR: 统一高效的多模态 Transformer 用于鸟瞰表示

    UniTR 是一种高效的多模态骨干网络，用于处理多传感器数据并实现准确可靠的自动驾驶系统的感知。它引入了一种模态不可知的转换编码器来处理不同的传感器数据，并通过视角不一致的传感器数据进行并行模态表示学习和自动跨模态交互，无需额外的融合步骤。它通过同时考虑语义丰富的 2D 透视图和几何感知的 3D 稀疏邻域关系，提出了一种新颖的多模态融合策略。在 nuScenes 评测上，UniTR 在 3D 目标检测方面取得了 + 1.1 NDS 的提高，在 BEV 地图分割方面取得了 + 12.0 mIoU 的提高，并具有较低的推理延迟。

    Aug, 2023

  • ViewFormer：基于视图引导的 Transformer 模型探索多视角 3D 占位感知的时空建模

    基于 3D 占据率、多视图特征聚合和动态场景的研究，我们提出了 ViewFormer，一个基于 Transformer 的视觉中心框架，具有高度的可扩展性和优越性能。

    May, 2024

  • DeepFusion: 适用于激光雷达、相机和雷达的强健模块化三维物体检测器

    DeepFusion 提出了一种模块化的多模态架构，用于融合 lidar，相机和雷达以进行 3D 物体检测，实验结果证明了其灵活性和有效性，并探讨了远距离汽车检测和所需的激光点密度对 3D 物体检测的影响。

    Sep, 2022

  • RC-BEVFusion: 雷达 - 摄像机鸟瞰特征融合插件模块

    本研究提出了一种模块化的雷达 - 相机融合网络，其基于 BEV 平面，该网络通过新增设计的雷达编码器分支 BEVFeatureNet 与几种最先进的相机架构相结合，显著提高了 nuScenes 检测分数，是雷达 - 相机融合研究的重要进展。

    May, 2023