May, 2019

SQIL: 通过稀疏奖励加强学习实现的模仿学习

PDF
TL;DR提出了一种称作 “软 Q 模仿学习” 的新方法，该方法使用强化学习，但不需要学习奖励函数，而是通过鼓励智能体在遇到不在分布中的状态时返回演示状态来激励智能体进行长视野模仿。在图像和低维度任务方面表现优于基于行为克隆和生成对抗模仿学习（GAIL）的方法，可用于标准 Q 学习或离线策略演员 - 评论家算法。
imitation learningreinforcement learningbehavioral cloninglong-horizon imitationreward function
发现论文，激发创造
  • 外部奖励的软 Q 模仿学习和判别器

    利用鉴别器的软 Q 模仿学习算法（DSQIL）结合通过对抗逆强化学习的奖励函数，对小规模样本数据进行高效、鲁棒的模仿学习与训练。

    Jan, 2024

  • 连贯的软件仿真学习

    本文提出了一种混合的模仿学习方法，将行为克隆和逆向加权分别作为策略和奖励模型，结合软强化学习框架下的无限制行为克隆技术和正则化方法，以克服使用诱导式奖励和通过对策略进行学习的方法时的一些困难。该方法简单灵活，具有稳定的学习和最小化的超参数调整。

    May, 2023

  • IQ-Learn: 逆软 Q 学习用于模仿

    介绍了一种动态感知的逆强化学习方法 ——IQ-Learn，它通过学习单个 Q 函数来避免对抗性训练，并可在标准测试中取得最好的结果，比现有方法在所需的环境交互数量和高维空间可扩展性方面表现优异。

    Jun, 2021

  • 从次优演示中学习稀疏奖励任务

    本文提出了自适应模仿学习（SAIL）算法，该算法利用了有限数量的次优演示来实现高度挑战性的稀疏奖励任务，并显著提高了样本效率和最终性能。

    Apr, 2020

  • 自我模仿优势学习

    该论文提出了一种新的基于 Bellman 最优算子的自我模仿学习方法，可以在离线强化学习中应用于 hard exploration games，以提高性能。

    Dec, 2020

  • 通过迭代监督学习学习实现目标

    本文介绍了一种强化学习算法，利用模仿学习从零开始获得目标达成策略，而不需要专家演示或价值函数，并通过该算法在多个基准任务中达到了比现有强化学习算法更好的目标达成性能和鲁棒性。

    Dec, 2019

  • 反向软 Q 学习用于离线模仿与次优示范

    离线模仿学习主要通过有限的专家演示和较大的次优演示来提出一种基于反向软 Q 学习的新方法，通过添加正则化项来对齐学习得到的回报函数，从而有效解决离线模仿学习中的过拟合问题和训练向次优策略靠拢的问题。该方法在标准基准测试中明显优于其他离线模仿学习方法。

    Feb, 2024

  • 量子模仿学习

    本文提出了量子模仿学习（QIL）概念及其实现方法，采用 Variational Quantum Circuits（VQCs）替代 Deep Neural Networks（DNNs）以提高表达能力，并利用 Quantum Advantage 加速模型训练，在 offline 和 online 两种情形下分别采取 Quantum Behavioural Cloning （Q-BC）和 Quantum Generative Adversarial Imitation Learning （Q-GAIL）两种算法进行训练，并在实验中验证了其与经典算法相当的性能。此研究有望开创量子时代人工智能的先河。

    Apr, 2023

  • 模仿引导强化学习

    利用有限的模仿数据进行自主性提升的开创性框架 —— 模仿引导强化学习（IBRL），在从像素学习的模拟中实现了 7 个具有挑战性的稀疏奖励连续控制任务的最新性能和样本效率，是 RLPD 方法的 6.4 倍成功率的新亮点。

    Nov, 2023

  • 高效示教学习的规划

    提出了 EfficientImitate 这一基于规划的模仿学习方法，成功地将两类看似不兼容的模仿算法：行为克隆和对抗模仿学习，自然地统一到了一个框架中，实现了在性能和样本效率方面的高水平。

    Oct, 2022