May, 2020

基于多模态传感器融合的深度神经网络用于端到端自主驾驶和场景理解

PDF
TL;DR本研究旨在利用深度学习和多模态传感器融合技术提高端到端自动驾驶的性能和泛化能力，通过同时实现场景理解和车辆控制命令的像素级语义分割来测试该深度学习驱动的自动驾驶模型在高度逼真的仿真城市驾驶条件下的性能和通用能力，结果显示，该模型定位和避障等任务的成功率强于先前的模型，并验证了多模态传感器融合和场景理解子任务的协同作用提高了模型的性能和可行性。
autonomous drivingscene understandingdeep learningmultimodal sensor fusionsemantic segmentation
发现论文，激发创造
  • 自主驾驶的深度多模态物体检测和语义分割：数据集、方法和挑战

    本文介绍了最近在深度学习领域取得的自主驾驶感知技术。对于实现强大而准确的场景理解，自动驾驶车辆通常配备多种传感器 (例如相机、激光雷达、雷达)，并且可以将多种感知模式融合以利用它们的互补性。然而，网络架构设计方面缺乏通用指导方针，关于 “何时融合” 和 “如何融合” 等问题仍然存在争议。本文系统地总结了方法学和讨论了自主驾驶中深度多模式对象检测和语义分割的挑战。

    Feb, 2019

  • 多模态融合 Transformer 用于端到端自动驾驶

    本文提出使用多模态融合转换器 TransFuser 对图像和 LiDAR 传感器的信息进行整合以实现先进的自动驾驶技术，在 CARLA 城市驾驶模拟器中实验验证证明该方法在处理复杂场景时比传统基于几何的融合方法有更好的效果，并且在减少碰撞方面表现出色。

    Apr, 2021

  • 无限驾驶：具有多模态基础模型的通用端到端自动驾驶

    通过使用多模态基础模型，我们提出了一种方法来增强自主驾驶系统的鲁棒性和适应性，实现了开放环境中的端到端多模态自主驾驶，并能从图像和文本的表示中提供驾驶决策。

    Oct, 2023

  • 基于语义深度云地图和多智能体技术的端到端自动驾驶

    本文提出了一种深度学习模型，通过端到端和多任务学习方法进行训练，同时执行感知和控制任务，用于自动驾驶车辆的点对点导航；在 CARLA 模拟器上进行评估，同时与其他已有模型进行比较和消融实验，实现了更高的驾驶分数。

    Apr, 2022

  • 复杂动态环境下的多模态传感器融合概率端到端车辆导航

    本文提出了一种利用深度学习的基于模仿学习的概率驾驶模型，可以综合利用摄像机，激光雷达和雷达的信息来应对各种环境条件和动态障碍物，具有优异的泛化性能。

    May, 2020

  • 多模态端到端自主驾驶

    本文提出并分析了终端到终端驾驶中，结合 RGB 和深度信息数据的多模态方案，以期提高自动驾驶 AI 模型的性能。通过模拟和条件模仿学习，证明了采用早期融合多模态方案，可以超越采用单模态的性能表现。

    Jun, 2019

  • 自动驾驶感知的多模态传感器融合技术综述

    本文针对自动驾驶感知任务中存在的多模态融合问题进行文献综述，分析超过 50 篇包括 LiDAR 和相机在内的感知传感器解决目标检测和语义分割任务的方法，并提出一种更合理的分类方法。

    Feb, 2022

  • FusionAD: 自动驾驶的预测和规划任务的多模态融合

    FusionAD 是第一个将相机和激光雷达传感器融合的统一框架，通过多模态特征的优势，在感知任务中实现了领先水平。

    Aug, 2023

  • 缺失数据下的多视角集成学习：计算框架和使用 Safe Autonomous Driving 领域新数据的评估

    本文探讨了多传感器融合和集成学习方法在自动驾驶的手部活动识别任务中的应用，展示了采用并行卷积神经网络作为传感器间信息融合的一种迟到融合方法，提出了处理丢失信息的方案，并对该方法进行了比较分析。

    Jan, 2023

  • 超越一模型适配所有：用于自动驾驶汽车的集成深度学习

    通过研究探索多种神经网络模型在自动驾驶中的应用，本研究提出了三种独特的模型并评估了它们在不同驾驶场景中的重要性和局限性。结果表明集成模型的性能优于单个模型，并强调了利用多个模型实现强大性能的重要性，为未来的自动驾驶研究提供了发展方向。

    Dec, 2023