基于中层输入生成的层次化生成对抗学习在城市环境自动驾驶中的应用

Feb, 2023

基于中层输入生成的层次化生成对抗学习在城市环境自动驾驶中的应用

Hierarchical Generative Adversarial Imitation Learning with Mid-level Input Generation for Autonomous Driving on Urban Environments

PDF

Gustavo Claudio Karl Couto, Eric Aislan Antonelo

TL;DR本文提出了一种基于层次化对抗性模仿学习的架构 hGAIL，该架构可以将车辆的传感器感知直接映射到低层动作，并同时学习到中层的输入表征，实现了无人驾驶车辆的自主导航。

Abstract

Deriving robust control policies for realistic urban navigation scenarios is not a trivial task. In an end-to-end approach, these policies must map high-dimensional images from the vehicle's cameras to low-level actions such as steering and throttle. While pure Reinforcement Learning (

autonomous navigation end-to-end approach generative adversarial imitation learning hierarchical adversarial imitation learning gan

发现论文，激发创造

通过生成式对抗模仿学习建模人类驾驶行为

本文提出一种通过学习真实世界中的驾驶示范数据来学习神经驾驶策略的方法，并使用广义博弈对抗模型进行智能驾驶行为生成，同时介绍了解决多智能体驾驶建模中存在的问题的多智能体模型，并描述了奖赏信号修正的 reward augmented imitation learning (RAIL) 和 Burn-InfoGAIL 对潜在变化因素进行解耦的方法。在 NGSIM 实验数据集上，成功地模拟了高速公路上的驾驶行为。

Jun, 2020

自主驾驶规划中基于层次模型的模仿学习

使用 MGAIL 在密集城市自动驾驶方面进行了第一次大规模应用，通过使用分层模型和经过现实汽车采集的经验轨迹进行性能度量，并结合闭环 MGAIL 损失和开环行为克隆损失实现了稳健的导航策略。

Oct, 2022

基于生成对抗网络的样本高效模仿学习

本文介绍了一种在模型 free 的前提下能够提高采样效率的演员评论家结构，利用了 GAIL 中对抗训练的方法和离策略演员评论家的优势，在多个连续控制任务中，我们证明了这种方法的简洁易行和稳定性。

Sep, 2018

驾驶模拟的多智能体模仿学习

通过模拟驾驶场景来验证自主车辆的安全性，GAIL 可学习到具有代表性的人类驾驶模型，但在多主体驾驶情境中存在困难，我们通过基于课程学习的参数共享方法扩展 GAIL 以解决这些缺点，PS-GAIL 方法生成的策略在多主体设置下表现优异且能够捕捉人类驾驶员的紧急行为。

Mar, 2018

多样行为的鲁棒性模仿

本文提出了一种基于变分自编码器的策略嵌入方法，相比传统的监督学习方法和生成对抗网络的模仿学习，该方法可以从更少的示范数据中学习到更为鲁棒的控制器，并避免了模式坍塌现象。

Jul, 2017

Triple-GAIL: 一种基于生成对抗网络的多模态模仿学习框架

本文提出了一种名为 Triple-GAIL 的新型多模 GAIL 框架，能够从专家演示和连续生成的经验中学习技能选择和模仿，引入辅助技能选择器进行数据增强，从而更好地适应展示者的多模式行为，并在现实驾驶员轨迹和实时策略游戏数据集上，表现出超越前沿性能的实验结果。

May, 2020

使用生成对抗模仿学习在原始深度输入中进行社交符合导航

通过生成对抗性模仿学习策略及原始深度输入，我们提出了一种针对移动机器人在动态环境中与行人相对导航的方法，该方法能够遵守社交规范。在实验中，我们的基于 GAIL 的方法大大提高了移动机器人行为纯克隆方法的安全性和效率。同时，我们还公开了一种基于社会力模型的行人行为建模的仿真插件。

Oct, 2017

生成对抗模仿学习的计算与泛化

本文探讨基于生成式对抗性模型的模仿学习算法（Generative Adversarial Imitation Learning，GAIL）的理论性质，证明了对于一般的回报参数化形式，只要正确控制奖励函数的类别，就可以保证泛化效果，并且利用再生核函数对奖励进行参数化可以使用随机一阶优化算法高效解决，并具有次线性收敛性，这是关于奖励 / 策略函数逼近的统计和计算保证的第一篇研究。

Jan, 2020

RAIL：风险厌恶模仿学习

本文介绍了用于模仿学习的算法，其中 Generative Adversarial Imitation Learning (GAIL) 是当前的最先进算法，但是他们在一些关键领域比人类专家更容易出现失误。作者提出了一种新的 Risk-Averse Imitation Learning (RAIL) 算法以更好地解决这个问题。

Jul, 2017

利用生成对抗模仿学习生成城市车辆轨迹

该研究提出了一种基于生成对抗性模型（TrajGAIL）的机器学习方法，使用生成建模方法学习城市车辆轨迹数据的潜在分布，从而能够生成与实际车辆轨迹相似的合成轨迹来解决数据稀疏性或数据隐私问题，并在模拟和现实数据集中得到显著的性能提升。

Jul, 2020