使用变分模型的视觉对抗性模仿学习

Jul, 2021

使用变分模型的视觉对抗性模仿学习

Visual Adversarial Imitation Learning using Variational Models

Rafael Rafailov, Tianhe Yu, Aravind Rajeswaran, Chelsea Finn

TL;DR该论文介绍了一种使用固定数据集的视觉演示来学习如何完成任务的方法，并提出了一种基于变分模型的对抗性模仿学习算法来处理高维空间、固定奖励等挑战，实验结果表明 V-MAIL 算法能够高效稳定地学习成功的视觉动作策略。

Abstract

Reward function specification, which requires considerable human effort and iteration, remains a major impediment for learning behaviors through deep reinforcement learning. In contrast, providing visual demonstrations of desired behaviors often presents an easier and more natural way

deep reinforcement learning visual demonstrations representation learning model-based adversarial imitation learning visuomotor policies

发现论文，激发创造

基于模型的对抗性模仿学习

该文介绍了 Model based Adversarial Imitation Learning （MAIL）算法，为对抗性模仿学习问题提供了一种基于模型的方法，使用前向模型使该系统完全可微分，以训练出优秀的策略。在 MuJoCo 物理模拟器上测试后，该方法的初始结果超过了当前的最优状态。

Dec, 2016

使用潜在信息进行视觉观察的对抗性模仿学习

基于视觉观测的模仿学习的研究，在部分可观察环境中，引入了基于状态潜在转换分布的上界来分析学习代理的次优性，并提出了一种名为潜在对抗性观测模仿学的算法，在高维连续机器人任务中表现出与最先进的性能，同时提供显著的计算优势，并可以利用专家视频来提高从像素进行强化学习的效率。

Sep, 2023

InfoGAIL：来自视觉示范的可解释性模仿学习

本文提出了一种基于对抗生成模型的模仿学习算法，能够通过无监督学习方法推断出专家示范中隐藏的潜在结构，并可以学习到复杂行为数据可解释且有意义的表示方式，包括图像示范。在驾驶领域中，我们展示了通过人类示范学习的模型能够准确地复现多种行为并能使用原始视觉输入准确地预测人类的行为。相比于其他基线算法，我们的方法能更好地捕捉隐藏在专家示范中的潜在结构，并经常回收到语义上有意义的数据变量。

Mar, 2017

基于变分反强化学习的对抗性模仿

通过生成敌对网络框架，提出一种以权力为基础的正则化最大熵逆向强化学习来学习接近最优的奖励和策略，同时学习变分信息最大化下的权力，并在各种高维复杂控制任务和具有挑战性的转移学习问题上进行了评估，证明了该方法不仅匹配专家行为而且比最先进的逆向强化学习算法表现显著优异。

Sep, 2018

高效对抗模仿学习

本研究提出了一种基于自监督表示学习的对抗性模仿学习方法，用于学习具有抗扭曲性和时间预测性的状态和动作表示，以提高样本效率，并在 MuJoCo 的 100 个专家状态 - 动作对设置中相对于现有方法表现出 39％的改进。

Mar, 2023

任务相关的对抗性模仿学习

本文探讨对抗模仿领域中鉴别器网络学习视觉特征与专家标签之间的虚假关联所造成的关键漏洞，并提出了一种新的解决方案 (TRAIL)，该方法通过优化受限的鉴别器来获得 informative rewards。在实验中，我们展示了 TRAIL 能够在没有访问任何任务奖励的情况下，通过模仿人类的操作来解决具有挑战性的机器人操纵任务，并明显优于其他基于行为克隆和传统 GAIL 的对抗模仿代理模型。

Oct, 2019

针对多样化视觉动作技能的强化学习和模仿学习

该研究提出了一种模型无关的深度强化学习方法，利用少量的演示数据来协助强化学习代理。作者将该方法应用于机器人操作任务并训练了端到端的视觉 - 动力学策略，直接从 RGB 相机输入到关节速度。实验结果表明，与仅使用强化学习或模仿学习训练代理的结果相比，作者的强化和模仿代理取得了显著的性能提高。此外，这些训练有素的策略在模拟到现实世界的零样本情况下也能获得初步的成功。

Feb, 2018

SeMAIL：通过分离模型消除视觉模仿中的干扰因素

我们提出了一种名为 Separated Model-based Adversarial Imitation Learning (SeMAIL) 的算法，通过任务相关性将环境动态分解为两个部分并进行分别训练，使得代理能够在任务相关状态空间中高效地想象其轨迹并模仿专家行为，从而实现在各种具有复杂观察结果的视觉控制任务中接近专家表现的效果。

Jun, 2023

领域鲁棒性视觉仿真学习与互信息约束

介绍了一种名为 Disentangling Generative Adversarial Imitation Learning（DisentanGAIL）的新算法，可通过对抗学习来自动学习高维度任务表现观察的特征，从而成功进行模仿，同时忽略专家和代理之间的差异，此算法在包括平衡、操纵和运动任务在内的各种控制问题中都具有高效性和稳健性。

Mar, 2021

校准对比表示的视觉模仿学习

该研究提出了将校准对比学习应用于视觉对抗性模仿学习框架的简单有效解决方案，以从视觉状态中提取有价值的特征，在不修改架构或产生显著计算成本的情况下，可以与模仿学习框架共同优化。实验证明，该方法在 DMControl Suite 上能够以样本效率高、从多个方面超越其他方法。

Jan, 2024