Oct, 2023

无限驾驶：具有多模态基础模型的通用端到端自动驾驶

PDF
TL;DR通过使用多模态基础模型，我们提出了一种方法来增强自主驾驶系统的鲁棒性和适应性，实现了开放环境中的端到端多模态自主驾驶，并能从图像和文本的表示中提供驾驶决策。
autonomous driving technologyend-to-end methodologiesmultimodal foundation modelsopen-set autonomous drivingspatial and semantic features
发现论文，激发创造
  • 多模态端到端自主驾驶

    本文提出并分析了终端到终端驾驶中，结合 RGB 和深度信息数据的多模态方案，以期提高自动驾驶 AI 模型的性能。通过模拟和条件模仿学习，证明了采用早期融合多模态方案，可以超越采用单模态的性能表现。

    Jun, 2019

  • 基于多模态传感器融合的深度神经网络用于端到端自主驾驶和场景理解

    本研究旨在利用深度学习和多模态传感器融合技术提高端到端自动驾驶的性能和泛化能力，通过同时实现场景理解和车辆控制命令的像素级语义分割来测试该深度学习驱动的自动驾驶模型在高度逼真的仿真城市驾驶条件下的性能和通用能力，结果显示，该模型定位和避障等任务的成功率强于先前的模型，并验证了多模态传感器融合和场景理解子任务的协同作用提高了模型的性能和可行性。

    May, 2020

  • 端到端自动驾驶：挑战与前沿

    本文系统分析了 250 多篇论文，涵盖了自主驾驶的动机、路线图、方法论、挑战和未来趋势，并深入探讨了多模态、可解释性、因果混淆、健壮性和世界模型等若干关键挑战，同时讨论了基础模型和视觉预训练的最新进展，以及如何在端到端驾驶框架中整合这些技术。

    Jun, 2023

  • 自动驾驶再思考：多任务知识提升泛化及事故解释能力

    本文提出了一个基于分析易任务知识对困难任务进行指导以增强驾驶模型泛化力和事故解释能力的新型驾驶模型，通过多任务感知相关基础知识和驾驶知识的逐步训练，成功地提高了驾驶模型的平均完成率，使其在未训练的城市和天气中大幅优于当前基准方法。

    Sep, 2018

  • 针对自主驾驶的多模态感知参数化决策

    自动驾驶是一项新兴技术，本论文提出了一种基于深度强化学习的参数化决策框架，AUTO，在感知多模态状态特征基础上设计了图形模型来学习多模态语义特征的状态表示，并通过混合奖励函数考虑安全、交通效率、乘客舒适度等因素，以生成最佳行动。通过广泛实验，证明了 AUTO 在宏观和微观效果上领先于现有技术。

    Dec, 2023

  • 复杂动态环境下的多模态传感器融合概率端到端车辆导航

    本文提出了一种利用深度学习的基于模仿学习的概率驾驶模型，可以综合利用摄像机，激光雷达和雷达的信息来应对各种环境条件和动态障碍物，具有优异的泛化性能。

    May, 2020

  • 基于深度学习的端到端自动驾驶的最新进展：综述

    该论文综述了端到端自动驾驶技术的最新发展和相关挑战，并探讨了其在实际应用中的重要性和潜在风险。

    Jul, 2023

  • 多模态融合 Transformer 用于端到端自动驾驶

    本文提出使用多模态融合转换器 TransFuser 对图像和 LiDAR 传感器的信息进行整合以实现先进的自动驾驶技术，在 CARLA 城市驾驶模拟器中实验验证证明该方法在处理复杂场景时比传统基于几何的融合方法有更好的效果，并且在减少碰撞方面表现出色。

    Apr, 2021

  • 端到端驾驶调查：架构与训练方法

    本论文综述了使用机器学习的端到端方法对全自动驾驶进行的实验和研究，讨论了输入和输出模态、神经网络架构和评估方案，着重关注了可解释性和安全性这两方面的挑战，并提出了一种将端到端自动驾驶系统中最有前途的元素结合在一起的架构。

    Mar, 2020

  • MultiNet：面向自动驾驶的多模态多任务学习

    本研究使用多模态多任务学习技术来学习自主驾驶中的多个行为模式。研究表明，该方法比单个模式训练的神经网络表现更好，而且参数数量更少。

    Sep, 2017