Jun, 2019

多模态端到端自主驾驶

PDF
TL;DR本文提出并分析了终端到终端驾驶中，结合 RGB 和深度信息数据的多模态方案，以期提高自动驾驶 AI 模型的性能。通过模拟和条件模仿学习，证明了采用早期融合多模态方案，可以超越采用单模态的性能表现。
autonomous vehicleartificial intelligenceend-to-end drivingmultimodalitydepth information
发现论文，激发创造
  • 无限驾驶：具有多模态基础模型的通用端到端自动驾驶

    通过使用多模态基础模型，我们提出了一种方法来增强自主驾驶系统的鲁棒性和适应性，实现了开放环境中的端到端多模态自主驾驶，并能从图像和文本的表示中提供驾驶决策。

    Oct, 2023

  • 基于多模态传感器融合的深度神经网络用于端到端自主驾驶和场景理解

    本研究旨在利用深度学习和多模态传感器融合技术提高端到端自动驾驶的性能和泛化能力，通过同时实现场景理解和车辆控制命令的像素级语义分割来测试该深度学习驱动的自动驾驶模型在高度逼真的仿真城市驾驶条件下的性能和通用能力，结果显示，该模型定位和避障等任务的成功率强于先前的模型，并验证了多模态传感器融合和场景理解子任务的协同作用提高了模型的性能和可行性。

    May, 2020

  • 利用激光雷达作为摄像头进行端到端驾驶

    本研究证明，在自动驾驶领域，结合深度传感和视觉信息对于现实汽车道路跟随任务相当有效，且具备时间和空间的完美对齐；同时，从预测效果上可以看出，离线预测序列的时间平滑程度能够等效于常用的平均绝对误差。

    Jun, 2022

  • 端到端驾驶调查：架构与训练方法

    本论文综述了使用机器学习的端到端方法对全自动驾驶进行的实验和研究，讨论了输入和输出模态、神经网络架构和评估方案，着重关注了可解释性和安全性这两方面的挑战，并提出了一种将端到端自动驾驶系统中最有前途的元素结合在一起的架构。

    Mar, 2020

  • 端到端自动驾驶：挑战与前沿

    本文系统分析了 250 多篇论文，涵盖了自主驾驶的动机、路线图、方法论、挑战和未来趋势，并深入探讨了多模态、可解释性、因果混淆、健壮性和世界模型等若干关键挑战，同时讨论了基础模型和视觉预训练的最新进展，以及如何在端到端驾驶框架中整合这些技术。

    Jun, 2023

  • 基于语义深度云地图和多智能体技术的端到端自动驾驶

    本文提出了一种深度学习模型，通过端到端和多任务学习方法进行训练，同时执行感知和控制任务，用于自动驾驶车辆的点对点导航；在 CARLA 模拟器上进行评估，同时与其他已有模型进行比较和消融实验，实现了更高的驾驶分数。

    Apr, 2022

  • 基于深度学习的端到端自动驾驶：系统性综述

    综述了近期基于机器学习的技术，包括但不限于目标检测、轨迹预测与强化学习，以及对其进行分类和研究趋势，同时指出了该领域的挑战和未来研究方向。

    Aug, 2023

  • 自主驾驶的深度多模态物体检测和语义分割：数据集、方法和挑战

    本文介绍了最近在深度学习领域取得的自主驾驶感知技术。对于实现强大而准确的场景理解，自动驾驶车辆通常配备多种传感器 (例如相机、激光雷达、雷达)，并且可以将多种感知模式融合以利用它们的互补性。然而，网络架构设计方面缺乏通用指导方针，关于 “何时融合” 和 “如何融合” 等问题仍然存在争议。本文系统地总结了方法学和讨论了自主驾驶中深度多模式对象检测和语义分割的挑战。

    Feb, 2019

  • 针对自主驾驶的多模态感知参数化决策

    自动驾驶是一项新兴技术，本论文提出了一种基于深度强化学习的参数化决策框架，AUTO，在感知多模态状态特征基础上设计了图形模型来学习多模态语义特征的状态表示，并通过混合奖励函数考虑安全、交通效率、乘客舒适度等因素，以生成最佳行动。通过广泛实验，证明了 AUTO 在宏观和微观效果上领先于现有技术。

    Dec, 2023

  • 多模态融合 Transformer 用于端到端自动驾驶

    本文提出使用多模态融合转换器 TransFuser 对图像和 LiDAR 传感器的信息进行整合以实现先进的自动驾驶技术，在 CARLA 城市驾驶模拟器中实验验证证明该方法在处理复杂场景时比传统基于几何的融合方法有更好的效果，并且在减少碰撞方面表现出色。

    Apr, 2021