ICLRSep, 2018

使用有向信息从未经分段的演示中学习分层策略的 Directed-Info GAIL

PDF
TL;DR本研究提出一种新的算法，它可以使用生成对抗性模仿学习框架，通过图模型来学习未分割演示中的子任务策略，并通过优化图模型中子任务潜在变量和其生成的轨迹之间的有向信息流来提高性能，同时将该方法与现有的层次策略学习框架 Options 连接起来。
imitation learningsub-tasksgenerative adversarial imitation learninggraphical modeloptions framework
发现论文，激发创造
  • 使用生成对抗网络（GAN）从非结构化演示中进行多模态模仿学习

    本篇论文提出了一种多模态模仿学习框架，能够通过学习技能分段和模仿学习来从未标记和非结构化的示范中分段并模仿技能，从而克服了传统模仿学习方法因要求有结构和隔离示范而限制其可扩展性的问题。广泛的仿真实验证明，我们的方法能够有效地将示范分割成各自的技能，并使用单一的多模态策略学习模仿，实现了多任务执行。

    May, 2017

  • 领域鲁棒性视觉仿真学习与互信息约束

    介绍了一种名为 Disentangling Generative Adversarial Imitation Learning（DisentanGAIL）的新算法，可通过对抗学习来自动学习高维度任务表现观察的特征，从而成功进行模仿，同时忽略专家和代理之间的差异，此算法在包括平衡、操纵和运动任务在内的各种控制问题中都具有高效性和稳健性。

    Mar, 2021

  • 多样行为的鲁棒性模仿

    本文提出了一种基于变分自编码器的策略嵌入方法，相比传统的监督学习方法和生成对抗网络的模仿学习，该方法可以从更少的示范数据中学习到更为鲁棒的控制器，并避免了模式坍塌现象。

    Jul, 2017

  • InfoGAIL：来自视觉示范的可解释性模仿学习

    本文提出了一种基于对抗生成模型的模仿学习算法，能够通过无监督学习方法推断出专家示范中隐藏的潜在结构，并可以学习到复杂行为数据可解释且有意义的表示方式，包括图像示范。在驾驶领域中，我们展示了通过人类示范学习的模型能够准确地复现多种行为并能使用原始视觉输入准确地预测人类的行为。相比于其他基线算法，我们的方法能更好地捕捉隐藏在专家示范中的潜在结构，并经常回收到语义上有意义的数据变量。

    Mar, 2017

  • 可解释的模仿学习的动态有向无环图发现

    通过曝光由动态因果图表示的知识，以增加神经代理的可解释性并提供更好的解释能力，我们设计了一种自解释的模仿学习框架，能够学习动态因果图以理解模仿学习的决策过程并保持高预测准确性。

    Sep, 2023

  • 不完整演示下的对抗性模仿学习

    本文提出了一种名为 AGAIL 的新算法，该算法借助不完整的演示动作序列，学习从状态到行为的映射，通过分离演示的状态和行动轨迹，并使用行动作为辅助信息来指导训练。实验结果表明，AGAIL 在基准任务上可以达到与现有最先进方法相当的性能水平。

    May, 2019

  • 多领域任务导向对话的图神经网络策略及模仿学习

    本研究使用基于图神经网络的结构化策略及不同程度的模仿学习，来有效地处理多领域对话，结果表明结构化策略优于标准策略。

    Oct, 2022

  • 从次优演示中进行模仿学习的技能解耦

    本文提出了一种可以从小的干净数据集和大的嘈杂数据集中学习到子最优示范的深度递归网络，通过技能探索和调整，以及相互信息正则化促进技能空间中的解缠缩。

    Jun, 2023

  • 基于像素的深度分层规划

    通过在一个学习好的世界模型的潜在空间 planning，我们引入了一种名叫 Director 的实用方法，直接从像素学习分层行为，无需手动指定目标空间或子任务，并在具有稀疏奖励的任务中表现超越了探索方法。

    Jun, 2022

  • 生成对抗模仿学习

    提出了一种提取专家行为策略的新框架，直接从数据中提取策略，将模仿学习与生成对抗网络进行比拟，提出了无模型模仿学习算法，并证明该算法在模仿大型、高维度环境中的复杂行为时相对于现有无模型模仿学习方法具有明显性能提升。

    Jun, 2016