May, 2019

基于 f - 差距最小化的模仿学习

PDF
TL;DR本文提出了一种使用多模演示的模仿学习方法，针对现有方法中插值错误的问题，采用与专家状态 - 行动分布的正向 KL 散度相对应的反向 KL 散度，即 I-projection，作为不同 f - 散度估计和最小化的框架，并得出了比 GAIL 和行为克隆更加可靠的多模行为近似 I-projection 方法。
imitation learningmulti-modal demonstrationsstate-action distributionsf-divergenceapproximate i-projection
发现论文，激发创造
  • 模仿学习方法的差异最小化视角

    本文提出了一种基于分歧最小化的 Imitation Learning 方法，即 $f$-MAX，将 IRL 方法如 GAIL 和 AIRL 联系起来并揭示了它们的算法特性，通过期望最大化演算法来教授机器人在推手环境中进行多样化的行为。

    Nov, 2019

  • 通过 f - 分离最小化来对齐语言模型与偏好

    提出了一种新的方法 f-DPG，它允许使用任何 f - 分歧来近似任何目标分布。f-DPG 统一了 RLHF 和 GDC 的两个框架，并且演示了不同的分歧优于近似不同目标。

    Feb, 2023

  • 领域鲁棒性视觉仿真学习与互信息约束

    介绍了一种名为 Disentangling Generative Adversarial Imitation Learning（DisentanGAIL）的新算法，可通过对抗学习来自动学习高维度任务表现观察的特征，从而成功进行模仿，同时忽略专家和代理之间的差异，此算法在包括平衡、操纵和运动任务在内的各种控制问题中都具有高效性和稳健性。

    Mar, 2021

  • 多样行为的鲁棒性模仿

    本文提出了一种基于变分自编码器的策略嵌入方法，相比传统的监督学习方法和生成对抗网络的模仿学习，该方法可以从更少的示范数据中学习到更为鲁棒的控制器，并避免了模式坍塌现象。

    Jul, 2017

  • 关于模仿学习价值偏差的研究

    本文提出了一种基于差异传播分析法来分析模仿学习方法理论特性的框架，该框架揭示了模仿学习方法在不同设置下的价值差异。通过理论与实验的结合，我们首次分析了 GAIL 的性能表现，并发现该方法具备比行为克隆更少的复利误差，这为模仿学习算法的未来改进提供了启示。

    Nov, 2019

  • 最小概率流学习

    本文提出了一种新的参数估计技术，该技术无需计算不可处理的归一化因子或从模型的平衡分布中采样，通过建立动态算法将观测到的数据分布转化为模型分布，并通过使得数据分布与运行该动态算法的分布的 KL 散度最小化来进行优化，在 Ising 模型等情况下展示比当前先进技术更快的学习效率和更低的误差。

    Jun, 2009

  • 生成对抗模仿学习的计算与泛化

    本文探讨基于生成式对抗性模型的模仿学习算法（Generative Adversarial Imitation Learning，GAIL）的理论性质，证明了对于一般的回报参数化形式，只要正确控制奖励函数的类别，就可以保证泛化效果，并且利用再生核函数对奖励进行参数化可以使用随机一阶优化算法高效解决，并具有次线性收敛性，这是关于奖励 / 策略函数逼近的统计和计算保证的第一篇研究。

    Jan, 2020

  • Triple-GAIL: 一种基于生成对抗网络的多模态模仿学习框架

    本文提出了一种名为 Triple-GAIL 的新型多模 GAIL 框架，能够从专家演示和连续生成的经验中学习技能选择和模仿，引入辅助技能选择器进行数据增强，从而更好地适应展示者的多模式行为，并在现实驾驶员轨迹和实时策略游戏数据集上，表现出超越前沿性能的实验结果。

    May, 2020

  • 以 Wasserstein 距离为导向的对抗模仿学习，结合奖励形状探索

    本文提出的名为 WDAIL 的新算法，在 采用 Wasserstein 距离、Proximal Policy Optimization 技术和不同的 奖励函数形状等三个方面做了改进，提高了模拟学习的性能，并在 MuJoCo 的复杂连续控制任务中取得了显著性能。

    Jun, 2020

  • 一种耦合流方法的模仿学习

    本文介绍了利用基于正态流的模型对状态分布进行估计的应用，该算法针对单个专家轨迹，在许多基准任务上都取得了最先进的表现，并自然地扩展到各种其他设置，包括子采样和仅状态制度。

    Apr, 2023