Aug, 2023

SkipcrossNets：适应性跳跃交叉融合用于道路检测

PDF
TL;DR该研究提出了一种名为 SkipcrossNets 的新型融合架构，可以自适应地结合激光雷达点云和相机图像，增强了特征传递和多模态特征融合，通过应用于 KITTI 和 A2D2 数据集向证明了 skip-cross 融合的优势，实现了在 KITTI 上的 96.85% 的最大 F 分数和在 A2D2 上的 84.84% 的 F1 分数。模型参数只需要 2.33 MB 的内存，在 68.24 FPS 的速度下运行，适用于移动终端和嵌入式设备。
multi-modal fusionautonomous drivingfeature extractionskip-cross networkslidar point clouds
发现论文，激发创造
  • 使用完全卷积神经网络进行 LIDAR-Camera 融合以实现道路检测

    使用深度学习方法结合 LIDAR 和相机图像，开发了一种道路检测方法，通过使用多模式信息，新提出的交叉融合 FCN 实现了更高的准确性，表现优异并跻身最佳方法之列。

    Sep, 2018

  • CrossFusion: 交错跨模态补充用于抵抗噪音的三维物体检测

    本研究提出一种更健壮和噪声抗性的跨模态融合策略 - CrossFusion，充分利用设计的跨模式补充策略的相机和 LiDAR 特征，实验表明我们的方法不仅在不引入额外深度估计网络的情况下优于现有方法，还证明我们的模型具有噪声抗性和不需要重新训练，能够应用于特定故障场景，增加了 5.2％的平均精度（mAP）和 2.4％的归一化检测得分（NDS）

    Apr, 2023

  • 一个广义的多模型融合检测框架

    本文提出了一种名为 MMFusion 的多模态 3D 检测框架，以在复杂场景中实现 LiDAR 和图像的准确融合，通过实验证明，该框架不仅优于现有基准，而且尤其适用于在 KITTI 基准上检测骑自行车和行人。

    Mar, 2023

  • MAFF-Net：使用多模式自适应特征融合过滤 3D 车辆检测的误报

    本文提出了一种基于多模态融合的三维车辆检测方法，使用图像信息有效降低了假阳性，具有快速检测速度；通过基于通道注意力机制的多模态自适应特征融合模块，实现了对不同模态特征的自适应调节和融合技术的适应性，实验结果表明该方法能够过滤掉更多的假阳性，并在 KITTI 基准测试中获得了最快速度和更好的性能。

    Sep, 2020

  • MVX-Net: 基于多模态 VoxcelNet 的三维物体检测

    该研究提出了两种简单而有效的融合 RGB 和点云模态的早期融合方法，称为 PointFusion 和 VoxelFusion，并利用 VoxelNet 结构来结合这些模态，从而实现与最先进的多模态算法竞争力相当的表现，其能够在 KITTI 基准测试的五个车顶俯视图和 3D 检测类别中实现前两名的排名。

    Apr, 2019

  • CrossFuse：一种基于交叉注意力机制的红外和可见光图像融合新方法

    提出了一种新颖的跨模态注意机制（CAM）来增强互补信息，并提出了基于两阶段训练策略的融合方案，实验结果表明我们提出的融合方法在融合网络中获得了 SOTA 级别的性能。

    Jun, 2024

  • FusionAD: 自动驾驶的预测和规划任务的多模态融合

    FusionAD 是第一个将相机和激光雷达传感器融合的统一框架，通过多模态特征的优势，在感知任务中实现了领先水平。

    Aug, 2023

  • 2D 物体检测的多任务跨模态注意力融合

    提出两种新的雷达预处理技术，并引入了多任务跨模态注意融合网络（MCAF-Net）来进行目标检测，相对于现有的基于雷达和相机融合的目标检测算法具有更强的鲁棒性，特别是在恶劣的天气条件和夜间场景下。

    Jul, 2023

  • 使用多模态数据的人工智能驱动的道路网络预测

    本研究提出了一种创新的深度学习自动道路检测方法，通过融合低分辨率卫星图像和 GPS 轨迹数据的策略，对早期和后期融合进行深入研究，并使用不同的融合设置评估基于深度学习的道路检测性能。研究结果显示，ResUnet 模型在道路提取任务中优于 U-Net 和 D-Linknet，以及使用低分辨率 Sentinel-2 数据的基准研究，从而为自动道路检测领域作出贡献，并为各种应用中的数据融合方法提供了新的见解。

    Dec, 2023

  • DeepFusion: 基于 Lidar 和相机的深度融合技术用于多模态 3D 物体检测

    本文介绍了一种通过将 lidar 特征与摄像头特征融合的方法来提高自动驾驶 3D 检测性能。基于 InverseAug 和 LearnableAlign，提出了一系列被称为 DeepFusion 的通用多模态 3D 检测模型，实现了对 PointPillars、CenterPoint 和 3D-MAN 基线的有效改进，表现出对输入异常和数据偏移的强大鲁棒性和最先进的性能，可公开获取代码

    Mar, 2022