CVPRNov, 2019

自动驾驶车辆中基于人对车辆的建议的实现

PDF
TL;DR本文提出了通过自然语言引导来提高深度神经控制网络在自动驾驶车辆中的应用，采用了一种可接受建议的端到端车辆控制器，该控制器通过注意机制将控制行为与建议中的显著物体联系起来，并通过自然语言指南来增强网络的性能。
neural control networksself-driving vehiclesnatural language adviceend-to-end vehicle controllervisual attention
发现论文，激发创造
  • 自然语言指令的条件驱动

    该研究介绍了一种基于语言的驾驶智能体，它使用递归层和门控注意力实现分层策略，通过条件模仿学习培训策略，并能够成功地解释语言指令并安全地跟随它们，甚至在以前未见过的环境中进行泛化。

    Oct, 2019

  • 自动驾驶车辆的文本解释

    本研究提出了一种基于神经网络、视觉的注意力模型和视频 - 文本模型的内向性解释方法，通过控制器和解释模型之间的注意力导图，生成可解释的行驶模型动作的文本描述，并与外向性解释模型的效果进行比较。

    Jul, 2018

  • 通过学习端到端的视觉关注来解释自动驾驶

    通过使用注意力模型来提高 CARLA 驾驶模拟器的性能，同时通过模仿学习训练代理人来解释自动驾驶中深度学习无法解释的决策问题。

    Jun, 2020

  • 通过可视化因果关注实现自动驾驶车辆的可解释性学习

    本研究探讨了可解释的自动驾驶车辆中使用视觉解释的方法，使乘客、保险公司、执法机构和开发人员能够理解神经网络控制模型的行为，该模型采用了视觉关注模型进行训练，并应用因果过滤步骤来确定哪些输入区域实际上影响了输出。该方法在三个数据集上进行了有效性研究，证明了其在自动驾驶行为和人类驾驶行为中的应用价值。

    Mar, 2017

  • 自主车辆的决策制定：基于交互感知行为预测和社交关注神经网络

    自主车辆在交通中需要与人类驾驶员互动来完成任务，因此装备自主车辆具备人工推理以更好地理解周围交通的意图，从而促进任务完成。本文提出了一种行为模型，将驾驶员的互动意图编码为潜在的社会心理参数，并设计了基于贝叶斯滤波器的递进视界优化控制器以考虑互动驾驶员意图的不确定性，同时采用基于注意机制的神经网络架构来模仿行为模型和在线估计参数先验，并提出决策树搜索算法在线解决决策问题。本文对所提出的行为模型进行了真实世界轨迹预测能力的评估，并在模拟环境和真实世界交通数据集中进行了强制公路合并场景的决策模块的广泛评估，结果表明我们的算法能够在各种交通条件下完成强制合并任务并确保驾驶安全。

    Oct, 2023

  • 基于条件模仿学习的端到端驾驶

    本文提出了一种基于高层指令输入的条件性模仿学习方法，使得经过训练的车辆在测试时间内仍然能够遵循导航指令，本文在仿真实验和机器人卡车实验中对各种条件性模仿学习架构进行了评估和实践。

    Oct, 2017

  • 自主驾驶的基于行动的表示学习

    该研究探讨了利用人类驾驶产生的数据对自动驾驶系统进行改进的方法，提出了利用基于行动的驾驶数据进行学习表示的模型，该模型在弱注释图像方面表现出色，并且优于纯粹的端到端驾驶模型，同时更具有可解释性。

    Aug, 2020

  • 自主驾驶汽车中基于模型增强学习的语音指令整合

    本文提出了一个新的方法，支持自然语言语音指令来指导深度强化学习算法在训练自动驾驶汽车时使用。作者在本文中提出对于人类专家缺乏自然沟通渠道和采样和时间效率的限制等问题，探究了人类与代理智能的学习交互方式的新方法，利用自然语言语音指令（NLI）来进行模型设计的深度强化学习，结合 CARLA 模拟器评估了所提出的方法，表明 NLI 可以帮助缓解训练过程，显著提高代理智能的学习速度。

    Jun, 2022

  • 引导端到端驾驶模型的注意力

    通过使用显著语义地图进行训练期间添加损失项，引导注意力可以改善自动驾驶模型的驾驶质量，并获得更直观的激活图，特别是在数据和计算资源有限的情况下。

    Apr, 2024

  • 利用建议提高机器人的自然语言交互

    本研究通过提出一个包含建议的协议来增加物理基础语言理解任务的交互带宽，并在块世界任务上评估了该方法的有效性，发现简单的建议可以显著提高任务性能，同时也探讨了模型自动生成建议以减少提供建议的工作量。

    May, 2019