Sep, 2023

InfraParis：一个多模态多任务自动驾驶数据集

PDF
TL;DR当前自动驾驶计算机视觉的深度神经网络 (DNNs) 通常只依赖于特定数据集，涉及单一类型的数据和城市场景。这些模型难以处理新对象、噪声、夜间条件和多样化场景，但这对于安全关键应用非常重要。我们介绍了一个名为 InfraParis 的新颖多任务数据库，支持 RGB、深度和红外三种模式。我们评估了各种最先进的基准技术，包括语义分割、目标检测和深度估计的模型。
deep neural networksautonomous drivingcomputer visionmultiple modalitiesinfraparis
发现论文，激发创造
  • 自主驾驶的深度多模态物体检测和语义分割：数据集、方法和挑战

    本文介绍了最近在深度学习领域取得的自主驾驶感知技术。对于实现强大而准确的场景理解，自动驾驶车辆通常配备多种传感器 (例如相机、激光雷达、雷达)，并且可以将多种感知模式融合以利用它们的互补性。然而，网络架构设计方面缺乏通用指导方针，关于 “何时融合” 和 “如何融合” 等问题仍然存在争议。本文系统地总结了方法学和讨论了自主驾驶中深度多模式对象检测和语义分割的挑战。

    Feb, 2019

  • 基于深度学习的自动驾驶车辆异构流量数据集 ANNA

    通过创建新的数据集 ANNA 并借助神经网络，本研究评估了现有数据集在孟加拉交通场景下的不足，并证明了使用该数据集训练的模型在孟加拉交通情境下更精确和高效，强调了开发准确有效的物体检测算法对自动驾驶车辆发展的重要性。

    Jan, 2024

  • IDDA: 一个用于自动驾驶的大规模多领域数据集

    本文提出了一个新的大规模合成数据集，用于解决自动驾驶中语义分割的领域适应问题，在各种天气和视角条件下，涵盖了七种不同类型的城市，提出了语义分割的挑战。

    Apr, 2020

  • InfraDet3D：基于路侧基础设施摄像机和激光雷达传感器的多模态三维物体检测

    本文介绍了一种新的基础设施传感器的多模 3D 物体检测器 InfraDet3D，有效结合了两个 LiDAR 和单目相机数据，通过早期融合方法提高检测效果，并将 HD 地图应用于单目 3D 检测模块，以提升其最终的感知结果；该系统在德国慕尼黑的 A9 测试区域进行了实际部署和评估，得到了 68.48 的 mAP 测试结果，同时数据集和代码也提供给研究社区进行进一步的研究。

    Apr, 2023

  • aiMotive Dataset：具有远程感知的强健自动驾驶多模态数据集

    该研究介绍了一个多模态数据集，其中包括雷达、相机和激光雷达，以提高自主驾驶汽车的稳健性和长程感知并训练 3D 物体检测模型，并在 GitHub 上提供数据。

    Nov, 2022

  • 双雷达：一种用于自动驾驶的双 4D 雷达多模态数据集

    雷达在自动驾驶环境感知方面相较于广泛采用的摄像头和 LiDAR 具有更强的适应性。本文介绍了一个新颖的大规模多模态数据集，首次同时捕获了两种类型的 4D 雷达，为进一步研究有效的 4D 雷达感知算法提供了支持。

    Oct, 2023

  • 多模态端到端自主驾驶

    本文提出并分析了终端到终端驾驶中，结合 RGB 和深度信息数据的多模态方案，以期提高自动驾驶 AI 模型的性能。通过模拟和条件模仿学习，证明了采用早期融合多模态方案，可以超越采用单模态的性能表现。

    Jun, 2019

  • InteriorNet: 大规模多传感器照片真实室内场景数据集

    本研究提供了一份可扩展性强、真实感更强、规模更大、变异性更强、且在训练和评估深度学习方法、基准测试同时定位和映射（SLAM）方面有更广泛用途的数据集，以支持计算机视觉领域的研究。我们使用数百万个专业室内设计和制作级家具资产进行高分辨率和高帧率视频序列渲染，并支持各种摄像头类型以及惯性测量。同时，我们展示了稀疏和密集 SLAM 算法的基准测试结果。

    Sep, 2018

  • SynDrone – 城市场景下多模态无人机数据集

    为了解决现有数据集图片数量有限的问题，本文提出了一个包含图像和三维数据的多模态综合数据集，该数据集包含 28 类的像素级标注，并可用于深度网络架构的有效训练，结果表明其在合成数据和实际数据的适应方面具有良好的前景。

    Aug, 2023

  • 基于多模态传感器融合的深度神经网络用于端到端自主驾驶和场景理解

    本研究旨在利用深度学习和多模态传感器融合技术提高端到端自动驾驶的性能和泛化能力，通过同时实现场景理解和车辆控制命令的像素级语义分割来测试该深度学习驱动的自动驾驶模型在高度逼真的仿真城市驾驶条件下的性能和通用能力，结果显示，该模型定位和避障等任务的成功率强于先前的模型，并验证了多模态传感器融合和场景理解子任务的协同作用提高了模型的性能和可行性。

    May, 2020