May, 2024

ContrastAlign：通过对比学习实现多模态三维目标检测中的稳健 BEV 特征对齐

PDF
TL;DR通过对比学习来增强异构模态的对齐性，提高融合过程的稳健性，该方法在 3D 目标检测任务中取得了最先进的性能，超过了 BEVFusion 1.8% 在 nuScenes 验证集上并且在存在对齐误差的条件下优于 BEVFusion 7.3%。
3d object detectionlidarcamerafusioncontrastive learning
发现论文，激发创造
  • GraphBEV：面向多模态三维物体检测的鲁棒 BEV 特征对齐

    本文提出了一种名为 Graph BEV 的稳健融合框架，通过解决 LiDAR 和相机 BEV 特征之间的不准确对齐问题，实现了最先进的性能，mAP 为 70.1％，超过了 BEV Fusion 1.6％，在存在不对齐噪声的条件下超过 BEV Fusion 8.3％。

    Mar, 2024

  • DistillBEV：利用跨模态知识蒸馏提升多摄像头三维目标检测

    通过训练基于多视角鸟瞰图（BEV）的学生检测器来模仿经过训练的基于 LiDAR 的教师检测器的特征，从而提高多视角 BEV 的表示学习，并通过有效的平衡策略和多尺度层的时间融合实现知识传输，实验证明该方法在多个多视角 BEV 模型上显著改善了学生模型，达到了流行基准 nuScenes 的最新性能。

    Sep, 2023

  • BEVContrast：汽车激光雷达点云 BEV 空间的自我监督

    我们提出了一种简单而高效的自监督方法，用于汽车激光雷达点云的 3D 主干。我们在相同场景中捕获的激光雷达扫描的特征之间设计了对比损失。在 Bird's Eye View 平面的 2D 单元格级别上定义的对比度提供了 PointContrast 中利用的点级表示和 TARL 中利用的分割级表示之间的很好的平衡：我们保留了 PointContrast 的简单性（单元格表示计算廉价），同时超过了 TARL 在下游语义分割中的性能。

    Oct, 2023

  • X-Align++: 用于鸟瞰图分割的跨模态跨视图对齐

    本文提出了一种新的跨模态和跨视角学习框架，使用基于注意力的跨模态特征融合模块和辅助 PV 分割分支，旨在提高 BEV 分割的性能。在 nuScenes 和 KITTI-360 数据集上的评估结果表明，该方法明显优于现有技术并能够更好地应用于自动驾驶。

    Jun, 2023

  • BroadBEV: 广览鸟瞰式地图构建的 LiDAR 与相机融合

    提出了一种空间同步的跨模态方法，通过点散射将 LiDAR BEV 分布散布到相机深度分布，增强相机 BEV 估计和精确定位，同时改善整个 BEV 空间中 LiDAR 的稀疏性，实现了广视野 BEV 感知。

    Sep, 2023

  • C-BEV：用于跨视角图像检索和 3DoF 姿态估计的对比鸟瞰视角训练

    使用鸟瞰图作为嵌入表示的新型可训练的检索体系结构，在交叉视图地理定位任务中表现出色，特别在挑战性的多对一情景中有效，并且能够推断匹配航空图像上的 3 自由度摄像机姿态，甚至比明确通过度量真值进行培训的最新方法具有更低的平均姿态误差。

    Dec, 2023

  • AutoAlign：用于多模态 3D 物体检测的像素 - 实例特征聚合

    本研究提出了一种自动特征融合策略 AutoAlign，通过可学习的对齐映射以及交叉注意力特征对齐模块和自监督跨模态特征交互模块实现图像和点云数据源的同步处理，实验结果表明该方法在 KITTI 和 nuScenes 数据集上都有较好的表现。

    Jan, 2022

  • 消除 BEV 空间中 LiDAR - 相机 3D 物体检测中的跨模态冲突

    利用多传感器数据的三维物体检测器在共享的鸟瞰图表示空间中统一多模态特征，然而，我们的实证研究发现之前的方法在生成不受交叉模态冲突影响的融合鸟瞰图特征方面存在局限性。因此，我们提出了一种新的消除冲突融合方法（ECFusion），以显式消除鸟瞰图空间中的外在 / 内在冲突并生成改进的多模态鸟瞰图特征。总之，我们的方法最大限度地利用了每种模态的有效信息，利用了模态间的互补性，并在高竞争的 nuScenes 三维物体检测数据集中取得了最先进的性能。

    Mar, 2024

  • CoBEVFusion：基于合作感知的激光雷达 - 相机鸟瞰融合

    通过利用多传感器融合的方法，我们提出了一种名为 CoBEVFusion 的框架，将 LiDAR 和相机数据融合为鸟瞰图（BEV）表示，以改善协同感知在自动驾驶车辆中的安全性和可靠性。我们的 DWCA LiDAR-camera fusion 模型在 BEV 语义分割和 3D 物体检测任务中表现优于单模态数据和最先进的 BEV 融合模型。同时，CoBEVFusion 整体协同感知架构的性能与其他协同感知模型相当。

    Oct, 2023

  • BEVFusion: 多任务多传感器融合及其基于统一俯视图的表示

    本研究提出 BEVFusion，这是一种有效和通用的多任务多传感器融合框架，通过在共享的鸟瞰图表示空间中统一多模态特征，从根本上支持不同的 3D 感知任务，并在 nuScenes 上创立了新的技术水平

    May, 2022