Apr, 2024

CLFT：用于自动驾驶语义分割的相机 - LiDAR 融合变压器

PDF
TL;DR提出了基于 Vision Transformer 的网络进行相机 - LiDAR 融合，用于自动驾驶的语义分割，成功地在挑战性条件下如雨天和低照明环境下展示了健壮的性能。
camera-lidar fusionvision transformersemantic segmentationautonomous drivingchallenging conditions
发现论文，激发创造
  • LEST: 基于 Transformer 的大规模 LiDAR 语义分割

    我们提出了一种使用纯 Transformer 的 LiDAR 语义分割体系结构 LEST，在公共语义分割验证集和 SemanticKITTI 测试集上，我们的模型表现优于所有其他最先进的方法。

    Jul, 2023

  • TransFusion: 基于 Transformer 的稳健激光雷达 - 相机融合用于三维目标检测

    TransFusion 是一种稳健的解决方案，用于处理自动驾驶中 LiDAR 和摄像头数据融合时面对的图像质量下降和误差校准问题。该方法结合了使用浅层目标查询从 LiDAR 点云预测初始边界框和自适应融合对象查询与有用的图像特征，使用注意机制确定应该从图像中获取哪些信息的特点，在大规模数据集上表现良好。

    Mar, 2022

  • 自主驾驶的空间编码传感器融合

    该论文介绍了一种使用 Transformer 模块在多个分辨率上有效合并局部和全局上下文关系的相机和 LiDAR 数据融合方法，并通过与两个具有长途路线和高密度交通的对抗基准的广泛实验证实了该方法的性能优势。与之前的方法相比，该方法在最具挑战性的基准测试中取得了显著更高的驾驶和违规得分，对于 Longest6 和 Town05 Long 基准测试，分别取得了 8% 和 19% 的提升。

    Aug, 2023

  • 重新审视现实世界自主驾驶的多模态三维语义分割

    CPGNet-LCF 是一个新的多模态融合框架，通过继承 CPGNet 的易于部署和实时能力来解决合并 LiDAR 和相机之间弱校准的挑战，在训练过程中引入一种新颖的弱校准知识蒸馏策略以提高其对弱校准的鲁棒性，实现了在 nuScenes 和 SemanticKITTI 基准测试上的最先进性能，并且可在单个 Tesla V100 GPU 上以 20ms 每帧的速度运行，进一步展示了我们提出的方法的鲁棒性。

    Oct, 2023

  • 使用完全卷积神经网络进行 LIDAR-Camera 融合以实现道路检测

    使用深度学习方法结合 LIDAR 和相机图像，开发了一种道路检测方法，通过使用多模式信息，新提出的交叉融合 FCN 实现了更高的准确性，表现优异并跻身最佳方法之列。

    Sep, 2018

  • 基于金字塔融合网络的深度传感器融合技术用于三维语义分割

    本文提出了一种基于金字塔结构的深度融合体系结构，用于提高交通场景的 3D 语义分割效果，它可以将相机图像和激光雷达的特征图从不同层次进行融合，并结合多模态特征计算出有价值的多尺度特征以进行更准确的 3D 语义分割。

    May, 2022

  • 基于 RGB 和 LiDAR 融合的自动驾驶 3D 语义分割

    本文旨在研究基于传感器融合技术的三维语义分割，将 RGB 图像转化为 LiDAR 所使用的极坐标网格映射表示，并设计了早期和中期融合架构，同时提出了融合两种算法的混合融合结构。在 KITTI 数据集中评估了所提出算法的效果，并相对于仅使用 LiDAR 的基线模型，在两种最先进的算法 SqueezeSeg 和 PointSeg 上分别提高了 10% 的分割精度。

    Jun, 2019

  • LeTFuser：轻量级端到端基于 Transformer 的多任务学习自动驾驶传感器融合

    通过引入 LeTFuser 算法，利用 Convolutional vision Transformer 实现多个 RGB-D 相机表示的融合，以解决端到端自动驾驶中涉及多个动态主体的复杂场景下现有传感器融合技术在模仿学习中的不足，并通过多任务学习在感知和控制任务之间同时进行相关处理。

    Oct, 2023

  • 自动驾驶中图像与点云融合的深度学习技术综述

    该论文着眼于深度学习在相机 - LiDAR 融合数据处理中的应用，对深度补全、物体检测、语义分割、跟踪和在线跨传感器校准等方面的方法进行了深入评估和比较。该研究提出了当前学术研究与实际应用之间存在的差距和未被重视的挑战，并提出了有前途的研究方向。

    Apr, 2020

  • FusionViT: 基于 LiDAR - 相机视觉变换的层次化 3D 物体检测

    通过 FusionViT 模型，在 KITTI 和 Waymo Open 数据集上进行了大量实验，实现了最先进的性能，并且优于仅依赖于相机图像或 Lidar 点云以及最新的多模态图像 - 点云深度融合方法。

    Nov, 2023