通过模仿学习实现基于视觉的自动驾驶,将人类驾驶员的行为模仿训练在原始驾驶员视野图像和行动数据对上,同时将眼睛的关注点信息与深度神经网络集成,以提高网络对新环境的泛化性能。
Jul, 2019
该论文提出了一种自适应的方法来清洗现有的人类凝视数据集,并提出了一个健壮的卷积自我注意凝视预测模型,实验证明我们的清洗方法和模型能够显著提高 ADS 性能和泛化能力。
May, 2023
采用生成式对抗模仿学习模型训练递归策略,提高了人类驾驶行为仿真在智能交通系统应用中的准确性,具有较高的实用性。
Jan, 2017
本文提出了一种使用基于 Transformer 的自注意力结构实现眼神预测,以实现具有记忆的机器人操作任务的算法。通过将机器人视觉输入的连续序列作为输入,该算法能够通过使用传统的深度模仿学习方法并结合眼动预测来实现多物体操作任务。实验结果表明,该方法成功地改善了机器人在具有记忆要求的复杂环境中的操作表现。
Feb, 2022
本文提出了一种基于高层指令输入的条件性模仿学习方法,使得经过训练的车辆在测试时间内仍然能够遵循导航指令,本文在仿真实验和机器人卡车实验中对各种条件性模仿学习架构进行了评估和实践。
Oct, 2017
通过使用显著语义地图进行训练期间添加损失项,引导注意力可以改善自动驾驶模型的驾驶质量,并获得更直观的激活图,特别是在数据和计算资源有限的情况下。
Apr, 2024
通过使用注意力模型来提高 CARLA 驾驶模拟器的性能,同时通过模仿学习训练代理人来解释自动驾驶中深度学习无法解释的决策问题。
Jun, 2020
我们提出了一种使用安装在车辆挡风玻璃和仪表盘上的普通摄像头来估计驾驶员凝视点的新方法。该方法通过开发一种卷积网络来同时分析场景图像和驾驶员面部图像,其中包含一个相机校准模块,可以计算表示驾驶员和摄像头系统之间空间配置的嵌入向量,该模块改善了网络的性能并可以进行端到端的联合训练。我们还引入了一种大规模的驾驶数据集,其中包含了真实驾驶情景的图像以及驾驶员面部和凝视数据,对该数据集的实验表明,所提出的方法优于各种基准方法,均方误差为 29.69 像素,相对于场景摄像头的 $1280 {imes} 720$ 分辨率而言,误差较小。
基于眼动追踪数据的视频分析自动化是一个重要的任务。本文提出了一种基于转换器增强学习算法的模拟人类视线行为的新方法,通过观看视频并模拟人类注视行为,该方法能有效地复制人类注视行为并应用于实际任务。
本研究旨在通过模仿学习训练一个自动驾驶策略,以使其足够强大以驾驶真实汽车。为了应对复杂的驾驶场景,我们建议在专家的驾驶基础上引入扰动来合成数据,并使用额外的损失函数强化模型。实验证明这种模型能够在模拟环境中适应复杂的驾驶场景,并能够在真实环境下驾驶汽车。
Dec, 2018