AAAIDec, 2023

生成对抗性模仿学习中的梯度爆炸探索：概率视角

PDF
TL;DR通过对 DE-GAIL 和 ST-GAIL 的研究，本文从理论角度解释了 gradient explosion 在 DE-GAIL 中是不可避免的问题，并提出了使用 CREDO 策略通过限制奖励函数来解决 gradient explosion 挑战，从而使 GAIL 在训练过程中获得较高的数据效率和稳定性。
generative adversarial imitation learninggailgradient explosionde-gailst-gail
发现论文，激发创造
  • 生成对抗模仿学习的计算与泛化

    本文探讨基于生成式对抗性模型的模仿学习算法（Generative Adversarial Imitation Learning，GAIL）的理论性质，证明了对于一般的回报参数化形式，只要正确控制奖励函数的类别，就可以保证泛化效果，并且利用再生核函数对奖励进行参数化可以使用随机一阶优化算法高效解决，并具有次线性收敛性，这是关于奖励 / 策略函数逼近的统计和计算保证的第一篇研究。

    Jan, 2020

  • C-GAIL: 使用控制理论稳定生成对抗模仿学习

    Generative Adversarial Imitation Learning (GAIL) 使用强化学习来优化 GAN-like 判别器的奖励信号，但存在训练不稳定的问题。本文通过控制论分析 GAIL，提出一种新的控制器 'C-GAIL'，能够加速收敛速度、减小振荡范围，并更好地匹配专家的分布。

    Feb, 2024

  • 神经网络生成对抗模仿学习：全局最优性和收敛速率

    本文采用基于梯度的交替更新策略，分析了生成对抗学习在神经网络结构下的全局优化和收敛速率，证明了该方法的全局最优解和收敛性。

    Mar, 2020

  • 基于生成对抗网络的样本高效模仿学习

    本文介绍了一种在模型 free 的前提下能够提高采样效率的演员评论家结构，利用了 GAIL 中对抗训练的方法和离策略演员评论家的优势，在多个连续控制任务中，我们证明了这种方法的简洁易行和稳定性。

    Sep, 2018

  • RAIL：风险厌恶模仿学习

    本文介绍了用于模仿学习的算法，其中 Generative Adversarial Imitation Learning (GAIL) 是当前的最先进算法，但是他们在一些关键领域比人类专家更容易出现失误。作者提出了一种新的 Risk-Averse Imitation Learning (RAIL) 算法以更好地解决这个问题。

    Jul, 2017

  • 基于线性函数逼近的在线离线证明有效度量对抗学习的生成式模仿学习

    本文研究了在线和离线线性情况下生成对抗模仿学习，提出了乐观和悲观的生成对抗策略优化算法，并证明了算法的收敛性和误差界。

    Aug, 2021

  • 以 Wasserstein 距离为导向的对抗模仿学习，结合奖励形状探索

    本文提出的名为 WDAIL 的新算法，在 采用 Wasserstein 距离、Proximal Policy Optimization 技术和不同的 奖励函数形状等三个方面做了改进，提高了模拟学习的性能，并在 MuJoCo 的复杂连续控制任务中取得了显著性能。

    Jun, 2020

  • 多样行为的鲁棒性模仿

    本文提出了一种基于变分自编码器的策略嵌入方法，相比传统的监督学习方法和生成对抗网络的模仿学习，该方法可以从更少的示范数据中学习到更为鲁棒的控制器，并避免了模式坍塌现象。

    Jul, 2017

  • 关于模仿学习价值偏差的研究

    本文提出了一种基于差异传播分析法来分析模仿学习方法理论特性的框架，该框架揭示了模仿学习方法在不同设置下的价值差异。通过理论与实验的结合，我们首次分析了 GAIL 的性能表现，并发现该方法具备比行为克隆更少的复利误差，这为模仿学习算法的未来改进提供了启示。

    Nov, 2019

  • 基于中层输入生成的层次化生成对抗学习在城市环境自动驾驶中的应用

    本文提出了一种基于层次化对抗性模仿学习的架构 hGAIL，该架构可以将车辆的传感器感知直接映射到低层动作，并同时学习到中层的输入表征，实现了无人驾驶车辆的自主导航。

    Feb, 2023