Sep, 2021

NEAT: 神经注意力场用于端到端自动驾驶

HTML
PDF
TL;DR通过NEural ATtention fields（NEAT）对Bird's Eye View（BEV）场景坐标进行表示来实现自主驾驶的有效推理，NEAT 是一种将高维2D图像特征压缩成紧凑表示的连续函数，并使用中间注意力图迭代地将这些特征映射到起点和语义的表示方法。在关键的环境条件和具有挑战性的场景中，NEAT 在自主驾驶评估方面优于竞争基线，并取得了与CARLA专家相当的高分。此外，将具有NEAT中间表示的模型的注意力地图可视化得到了更好的可解释性。
发现论文，激发创造
  • 深度驾驶：自主驾驶直接感知的能力学习

    本文提出一种基于直接感知的自动驾驶范式，使用深度卷积神经网络将输入图像映射到与驾驶相关的感知指标，并证明该方法可以成功地应用于不同的虚拟环境和现实场景。

    May, 2015

  • 带有注意力机制的类脑认知模型在自动驾驶汽车中的应用

    本文提出了一种名为带有注意力的脑启发式认知模型(CMA)的自动驾驶模型，该模型可以模拟人类视觉皮层和认知空间，结合实时更新的认知地图来实现注意机制和长短期记忆，同时解决了检测自由空间和当前和相邻车道边界、估算障碍物距离和车辆姿态、学习从人类驾驶员处获取驾驶行为和决策的三项任务，并可以接受外部导航指令。

    Feb, 2017

  • 将车辆映射到鸟瞰图中的学习

    本文提出了一种语义感知变换的方法，将仪表板摄像机视图中的检测结果映射到场景的更广泛、俯视的占用图中，通过大量的合成数据和深度神经网络的训练实现，结果表明该模型能够在真实世界的数据上进行泛化。

    Jun, 2017

  • 利用眼动追踪来增强模仿网络在未知环境中的泛化能力

    通过模仿学习实现基于视觉的自动驾驶，将人类驾驶员的行为模仿训练在原始驾驶员视野图像和行动数据对上，同时将眼睛的关注点信息与深度神经网络集成，以提高网络对新环境的泛化性能。

    Jul, 2019

  • MEDIRL：基于最大熵深度逆强化学习预测驾驶员的视觉注意力

    本文提出了一种基于最大熵深度逆强化学习（MEDIRL）的方法，用于预测事故易发情况下驾驶员的视觉注意力；介绍了EyeCar，一种新的记录事故情况下驾驶员的注意力数据集；通过在三个常见基准测试（DR(eye)VE，BDD-A，DADA-2000）和EyeCar数据集上的全面实验，结果表明MEDIRL在预测注意力方面优于现有模型，并获得了最先进的表现；提供了详细的消融实验，以更深入地了解我们提出的模型的不同特征。

    Dec, 2019

  • 通过学习端到端的视觉关注来解释自动驾驶

    通过使用注意力模型来提高CARLA驾驶模拟器的性能，同时通过模仿学习训练代理人来解释自动驾驶中深度学习无法解释的决策问题。

    Jun, 2020

  • 面向端到端自动驾驶的多任务学习与注意力机制

    本文提出了一种基于多任务学习和注意力模型的新型自动驾驶条件模仿学习网络，通过解决交通灯反应问题，不仅提高了标准基准测试的成功率，而且具备了响应交通信号的能力。

    Apr, 2021

  • 角度俯视注入多模型的全面自主驾驶理解

    多模态大语言模型在自动驾驶任务中的应用，使用NuInstruct数据集和BEV-InMLLM方法进行多视角、时态相关信息的驾驶任务处理，相比现有的大语言模型，BEV-InMLLM取得约9%的性能提升。

    Jan, 2024

  • 引导端到端驾驶模型的注意力

    通过使用显著语义地图进行训练期间添加损失项，引导注意力可以改善自动驾驶模型的驾驶质量，并获得更直观的激活图，特别是在数据和计算资源有限的情况下。

    Apr, 2024

  • LetsMap：无监督语义BEV地图的表示学习

    该研究提出了一种无监督学习方法，从单眼正视图像生成语义鸟瞰地图，以在自动驾驶的各种决策任务中提供强大的遮挡推理能力，其使用了1%的标注数据和无额外标记数据，在KITTI-360和nuScenes数据集上表现与现有最先进的方法相当。

    May, 2024