LeTFuser：轻量级端到端基于 Transformer 的多任务学习自动驾驶传感器融合

CVPROct, 2023

LeTFuser：轻量级端到端基于 Transformer 的多任务学习自动驾驶传感器融合

LeTFuser: Light-weight End-to-end Transformer-Based Sensor Fusion for Autonomous Driving with Multi-Task Learning

Pedram Agand, Mohammad Mahdavian, Manolis Savva, Mo Chen

TL;DR通过引入 LeTFuser 算法，利用 Convolutional vision Transformer 实现多个 RGB-D 相机表示的融合，以解决端到端自动驾驶中涉及多个动态主体的复杂场景下现有传感器融合技术在模仿学习中的不足，并通过多任务学习在感知和控制任务之间同时进行相关处理。

Abstract

In end-to-end autonomous driving, the utilization of existing sensor fusion techniques for imitation learning proves inadequate in challenging situations that involve numerous dynamic agents. To address this issue, we introduce →

end-to-end autonomous driving sensor fusion techniques letfuser multi-task learning convolutional vision transformer

发现论文，激发创造

TransFuser：基于 Transformer 传感器融合的自动驾驶模仿

该研究介绍了 TransFuser - 一种使用自我注意力机制将图像和雷达的信息进行融合，以提高自动驾驶中辨识物体和行驶路径的性能，实验证明该方法的表现在 CARLA 排行榜上优于以往所有的算法。

May, 2022

多模态融合 Transformer 用于端到端自动驾驶

本文提出使用多模态融合转换器 TransFuser 对图像和 LiDAR 传感器的信息进行整合以实现先进的自动驾驶技术，在 CARLA 城市驾驶模拟器中实验验证证明该方法在处理复杂场景时比传统基于几何的融合方法有更好的效果，并且在减少碰撞方面表现出色。

Apr, 2021

自主驾驶的空间编码传感器融合

该论文介绍了一种使用 Transformer 模块在多个分辨率上有效合并局部和全局上下文关系的相机和 LiDAR 数据融合方法，并通过与两个具有长途路线和高密度交通的对抗基准的广泛实验证实了该方法的性能优势。与之前的方法相比，该方法在最具挑战性的基准测试中取得了显著更高的驾驶和违规得分，对于 Longest6 和 Town05 Long 基准测试，分别取得了 8% 和 19% 的提升。

Aug, 2023

基于语义引导的基于 Transformer 的传感器融合用于改进航点预测

传感器融合在智能自驾代理中是关键，本文通过融合辅助任务和利用模仿学习来改进基础网络以提高道路导航的安全性和完整性。

Aug, 2023

利用可解释的传感器融合 Transformer 实现强化安全的自主驾驶

本文提出了一种名为 Interpretable Sensor Fusion Transformer (InterFuser) 的安全增强自动驾驶框架，可完全处理和融合来自多模态多视角传感器的信息，实现全面的场景理解和对抗事件检测，在 CARLA 基准测试中表现优异，并提供了中间可解释特征用于更好地限制行动。

Jul, 2022

CLFT：用于自动驾驶语义分割的相机 - LiDAR 融合变压器

提出了基于 Vision Transformer 的网络进行相机 - LiDAR 融合，用于自动驾驶的语义分割，成功地在挑战性条件下如雨天和低照明环境下展示了健壮的性能。

Apr, 2024

基于语义深度云地图和多智能体技术的端到端自动驾驶

本文提出了一种深度学习模型，通过端到端和多任务学习方法进行训练，同时执行感知和控制任务，用于自动驾驶车辆的点对点导航；在 CARLA 模拟器上进行评估，同时与其他已有模型进行比较和消融实验，实现了更高的驾驶分数。

Apr, 2022

基于惩罚的仿生学习，融合跨语义生成传感器融合于自主驾驶

本文提出了一种新颖的基于特征融合的多传感器融合技术，结合仿真学习实现端到端自动驾驶导航。论文的重点在于 Lidar 和 RGB 信息的融合技术，同时提出基于惩罚的仿真学习方法，以加强模型对交通规则的遵守，并统一仿真学习和自动驾驶指标的目标。

Mar, 2023

TransformerFusion：使用 Transformer 的单目 RGB 场景重建

TransformerFusion 是一种基于 Transformer 的 3D 场景重建方法，通过 Transformer 网络处理输入的单眼 RGB 视频，将观察结果融合为代表场景的体积特征网格，最终解码为隐式的 3D 场景表示，实现精准的场景面貌恢复与重建。

Jul, 2021

自动驾驶中多视角传感器数据融合提升感知和预测

本文提出了一种利用多视角 LiDAR 返回和摄像头图像的终端到终端物体检测和轨迹预测方法，使用 Bird's-Eye View (BEV) 网络的状态 -of-the-art 融合历史 LiDAR 数据和高清地图的体素化特征来执行检测和预测任务。在此基础上，我们使用 LiDAR Range-View （RV）功能扩展了此模型，使用 LiDAR 原始信息的非量化表示。RV 特征图被投影到 BEV 中，并与计算自 LiDAR 和高清地图的 BEV 特征融合。最终输出检测和轨迹，这是一个单一的可训练终端到终端网络。在实际的无人驾驶车辆数据和公共 nuScenes 数据集上，所提出的多视角融合方法的表现都优于最先进的技术，并且增加了较少的计算成本。

Aug, 2020