Jul, 2022

利用可解释的传感器融合 Transformer 实现强化安全的自主驾驶

PDF
TL;DR本文提出了一种名为 Interpretable Sensor Fusion Transformer (InterFuser) 的安全增强自动驾驶框架，可完全处理和融合来自多模态多视角传感器的信息，实现全面的场景理解和对抗事件检测，在 CARLA 基准测试中表现优异，并提供了中间可解释特征用于更好地限制行动。
autonomous vehiclessensor fusioncomprehensive scene understandinginterpretable sensor fusion transformercarla benchmarks
发现论文，激发创造
  • 多模态融合 Transformer 用于端到端自动驾驶

    本文提出使用多模态融合转换器 TransFuser 对图像和 LiDAR 传感器的信息进行整合以实现先进的自动驾驶技术，在 CARLA 城市驾驶模拟器中实验验证证明该方法在处理复杂场景时比传统基于几何的融合方法有更好的效果，并且在减少碰撞方面表现出色。

    Apr, 2021

  • TransFuser：基于 Transformer 传感器融合的自动驾驶模仿

    该研究介绍了 TransFuser - 一种使用自我注意力机制将图像和雷达的信息进行融合，以提高自动驾驶中辨识物体和行驶路径的性能，实验证明该方法的表现在 CARLA 排行榜上优于以往所有的算法。

    May, 2022

  • 基于语义引导的基于 Transformer 的传感器融合用于改进航点预测

    传感器融合在智能自驾代理中是关键，本文通过融合辅助任务和利用模仿学习来改进基础网络以提高道路导航的安全性和完整性。

    Aug, 2023

  • 自主驾驶的空间编码传感器融合

    该论文介绍了一种使用 Transformer 模块在多个分辨率上有效合并局部和全局上下文关系的相机和 LiDAR 数据融合方法，并通过与两个具有长途路线和高密度交通的对抗基准的广泛实验证实了该方法的性能优势。与之前的方法相比，该方法在最具挑战性的基准测试中取得了显著更高的驾驶和违规得分，对于 Longest6 和 Town05 Long 基准测试，分别取得了 8% 和 19% 的提升。

    Aug, 2023

  • LeTFuser：轻量级端到端基于 Transformer 的多任务学习自动驾驶传感器融合

    通过引入 LeTFuser 算法，利用 Convolutional vision Transformer 实现多个 RGB-D 相机表示的融合，以解决端到端自动驾驶中涉及多个动态主体的复杂场景下现有传感器融合技术在模仿学习中的不足，并通过多任务学习在感知和控制任务之间同时进行相关处理。

    Oct, 2023

  • 基于多模态传感器融合的深度神经网络用于端到端自主驾驶和场景理解

    本研究旨在利用深度学习和多模态传感器融合技术提高端到端自动驾驶的性能和泛化能力，通过同时实现场景理解和车辆控制命令的像素级语义分割来测试该深度学习驱动的自动驾驶模型在高度逼真的仿真城市驾驶条件下的性能和通用能力，结果显示，该模型定位和避障等任务的成功率强于先前的模型，并验证了多模态传感器融合和场景理解子任务的协同作用提高了模型的性能和可行性。

    May, 2020

  • 基于惩罚的仿生学习，融合跨语义生成传感器融合于自主驾驶

    本文提出了一种新颖的基于特征融合的多传感器融合技术，结合仿真学习实现端到端自动驾驶导航。论文的重点在于 Lidar 和 RGB 信息的融合技术，同时提出基于惩罚的仿真学习方法，以加强模型对交通规则的遵守，并统一仿真学习和自动驾驶指标的目标。

    Mar, 2023

  • 可解释的端到端驾驶模型用于隐式场景理解

    通过传感器数据获取综合场景信息，并为下游任务提供基础，对于自动驾驶车辆的安全至关重要，本文提出了一种端到端的可解释性隐式驾驶场景理解模型，通过规划模块引导提取隐式高维场景特征作为场景理解结果，并使用辅助感知任务进行可视化验证，实验证明我们的方法在 CARLA 基准测试上达到了最新的最高水平，并能够获取体现与驾驶相关的更丰富的场景信息，实现下游规划的卓越性能。

    Aug, 2023

  • 缺失数据下的多视角集成学习：计算框架和使用 Safe Autonomous Driving 领域新数据的评估

    本文探讨了多传感器融合和集成学习方法在自动驾驶的手部活动识别任务中的应用，展示了采用并行卷积神经网络作为传感器间信息融合的一种迟到融合方法，提出了处理丢失信息的方案，并对该方法进行了比较分析。

    Jan, 2023

  • M2DA：多模态融合 Transformer 结合驾驶员注意力用于自动驾驶

    提出了一种多模态融合变压器，结合驾驶员注意力用于自动驾驶，通过 Lidar-Vision-Attention-based Fusion 模块更好地融合多模态数据，并实现不同模态之间更高的对齐，同时结合驾驶员的注意力，赋予自动驾驶车辆类似于人类的场景理解能力，准确识别复杂场景中的关键区域，确保安全。在 CARLA 模拟器上进行实验，以较少的数据在闭环基准测试中取得了最先进的性能。

    Mar, 2024