Apr, 2024

上下文融合：基于上下文的恶劣工况下三维物体检测的多传感器融合

PDF
TL;DR我们提出了一种称为 ContextualFusion 的简单而有效的技术，用于将摄像头和激光雷达在各种光照和天气条件下的行为领域知识融入到三维物体检测模型中，显著提高在不利气象条件下的自主车状态的感知性能。
multimodal sensor data streamsautonomous vehicles3d object detectioncontextualfusionadverse weather conditions
发现论文，激发创造
  • 激光照亮黑暗：通过相机与雷达融合技术提升自动驾驶车辆低能见度感知

    本篇论文提出了一种基于变形金刚网络的 3D 物体检测模型 REDFormer，该模型通过使用鸟瞰相机和雷达融合，解决低能见度条件下自动驾驶系统的感知问题，并且在多雷达点云数据、多种天气和时间数据的 nuScenes 数据集上进行验证，相比其他最先进模型，该模型在低能见度情况下表现出更高的检测精度。

    May, 2023

  • 雷达体素融合用于 3D 目标检测

    该研究论文通过数据融合不同传感器的数据，开发了低水平的传感器融合网络来进行 3D 物体检测，并提出了一种新的损失函数来提高检测和方向估计性能。在 nuScenes 数据集上的测试结果表明，与基准 lidar 网络相比，融合雷达数据可以提高约 5.1% 的检测分数，特别适用于暴雨和夜晚场景。而融合额外相机数据只有与雷达融合共同使用时才有积极的贡献，这表明传感器间的相互依赖对检测结果很重要。

    Jun, 2021

  • FusionAD: 自动驾驶的预测和规划任务的多模态融合

    FusionAD 是第一个将相机和激光雷达传感器融合的统一框架，通过多模态特征的优势，在感知任务中实现了领先水平。

    Aug, 2023

  • 恶劣天气下的视觉：利用 CycleGAN 和各种目标检测器进行增强，实现自主赛车中的鲁棒感知

    通过使用 CycleGAN 合成多个天气条件下的数据集，我们在自主赛车中将最先进的四个探测器的性能平均提高了 42.7 和 4.4 mAP 百分点，并进行了五种目标探测器的比较分析，以确定在挑战性条件下自主赛车中使用最佳探测器和训练数据。

    Jan, 2022

  • 多模态融合 Transformer 用于端到端自动驾驶

    本文提出使用多模态融合转换器 TransFuser 对图像和 LiDAR 传感器的信息进行整合以实现先进的自动驾驶技术，在 CARLA 城市驾驶模拟器中实验验证证明该方法在处理复杂场景时比传统基于几何的融合方法有更好的效果，并且在减少碰撞方面表现出色。

    Apr, 2021

  • 传感器融合在未来车联网物体检测中的作用

    本文探讨了在自动驾驶系统中，如何使用不同的传感器进行环境检测，并比较了使用不同传感器的准确性表现，结果表明虽然传感器融合可以获得更准确的检测结果，但仅使用激光雷达可以在减少通道负担的同时实现类似的结果。

    Apr, 2021

  • 自动驾驶中多传感器感知系统的对抗鲁棒性探索

    本文研究了自动驾驶多模态感知系统在受到对抗性攻击时的鲁棒性问题，揭示了通过添加物理对抗性物体来隐藏不同车辆的可能性，并提出使用特征去噪的对抗性训练方法可以显著提高系统鲁棒性。

    Jan, 2021

  • DeepFusion: 适用于激光雷达、相机和雷达的强健模块化三维物体检测器

    DeepFusion 提出了一种模块化的多模态架构，用于融合 lidar，相机和雷达以进行 3D 物体检测，实验结果证明了其灵活性和有效性，并探讨了远距离汽车检测和所需的激光点密度对 3D 物体检测的影响。

    Sep, 2022

  • DeepFusion: 基于 Lidar 和相机的深度融合技术用于多模态 3D 物体检测

    本文介绍了一种通过将 lidar 特征与摄像头特征融合的方法来提高自动驾驶 3D 检测性能。基于 InverseAug 和 LearnableAlign，提出了一系列被称为 DeepFusion 的通用多模态 3D 检测模型，实现了对 PointPillars、CenterPoint 和 3D-MAN 基线的有效改进，表现出对输入异常和数据偏移的强大鲁棒性和最先进的性能，可公开获取代码

    Mar, 2022

  • 使用完全卷积神经网络进行 LIDAR-Camera 融合以实现道路检测

    使用深度学习方法结合 LIDAR 和相机图像，开发了一种道路检测方法，通过使用多模式信息，新提出的交叉融合 FCN 实现了更高的准确性，表现优异并跻身最佳方法之列。

    Sep, 2018