Aug, 2023

APART: 采用升序奖励和丢弃法的多样化技能发现

HTML
PDF
TL;DR在无奖励环境中研究多样化技能发现，使用内在奖励和一个通过轨迹预测技能的判别器进行技能的相互训练，通过使用所有对组合的判别器、新颖的内在奖励函数和辍学正则化技术的方式，取代了标准的一对多（softmax）判别器，所提出的组合方法命名为APART，在简单的网格环境中比以前的方法大大减少了样本数量，研究探究了更简单的算法，通过改变VIC、重新调整内在奖励和调整softmax判别器的温度来实现最大技能，我们相信我们的研究结果揭示了强化学习中技能发现算法成功的关键因素。
发现论文，激发创造
  • 多样性即是你所需：无需奖励函数学习技能

    本文提出了一种无需奖励函数却能学习有用技能的方法DIAYN（“多样性就是你所需的一切”），其通过最大化信息理论目标来实现技能的学习，在多项模拟机器人任务中取得了良好的表现，并且能够服务于其它强化学习相关的挑战。

    Feb, 2018

  • 探索、发现与学习：基于无监督方式的状态覆盖技能发现

    本文提出了一种名为'探索、发现、学习'（Explore, Discover and Learn, EDL）的方法，用于在没有面向任务的奖励功能的情况下获取技能，从而解决现有信息理论技能探索算法的覆盖问题，并在受控环境中进行全面的评估

    Feb, 2020

  • 直达而散射：增量式无监督技能发现以实现状态覆盖和目标达成

    本文介绍了一种针对强化学习中 reward 缺失问题的无监督学习方法，使用互信息框架，引入了 UPSIDE 方法，解决了探索空间覆盖度和导向性之间的平衡问题，通过学习一组多样化的技能，将其组成可不断扩展的树来解决稀疏 reward 任务。在多个导航和控制任务中通过 UPSIDE 方法学习的技能比现有基准表现更好。

    Oct, 2021

  • 无监督技能发现的对比内在控制

    本文提出了一种无监督技能发现算法 Contrastive Intrinsic Control，它可以最大化状态转换和潜在技能向量之间的互信息。该算法对状态转换和技能之间进行对比学习，以学习行为嵌入并将这些嵌入的熵最大化作为内在奖励以促进行为多样性。我们在无监督强化学习基准上评估了我们的算法，CIC大大提高了适应效率，在无监督技能发现方法方面优于以前的方法1.79倍，并且整体探索算法效果比第二名提高1.18倍。

    Feb, 2022

  • 基于技能的强化学习与内在奖励匹配

    本文提出了一种名为Intrinsic Reward Matching (IRM)的方法，通过skill discriminator将预训练和下游任务微调这两个阶段的学习结合起来，以更好地匹配内在和下游任务奖励，从而有效地利用预训练技能

    Oct, 2022

  • 带偏好的受控多样性：朝着学习多样化的技能集合

    本文提出了一种由人类辅助训练的学习机制——“受控多样性和偏好学习”，以确保学到的技能不仅是多样的，而且符合人类期望，在2D导航和Mujoco环境中得到了验证。

    Mar, 2023

  • 行为对比学习：无监督技能发现

    本文提出了一种基于对比学习的无监督技能发现方法，通过得到相似的行为来表征同一种技能， 并使得不同技能产生不同的行为，同时增加状态熵以获得更好的状态覆盖率，实验结果表明，该方法能够产生各种远程技能，并在下游任务中达到有竞争力的表现。

    May, 2023

  • 基于Fenchel二次对偶的多样化离线模仿

    我们提出了一种离线技能发现算法，该算法基于互信息目标的最大化，通过KL散度进行约束，确保每种技能的状态占用率保持在离线数据集的支持范围内的专家状态占用率附近，从而学习与专家相一致的多样化技能。

    Jul, 2023

  • ComSD: 在无监督技能发现中平衡行为质量和多样性

    为了解决质量和多样性冲突的问题，论文提出了一种对比的多目标技能发现方法，通过更合理的互信息估计和动态加权的内在奖励来平衡发现行为的质量和多样性，并在挑战性机器人行为发现任务中展示了优秀的性能。

    Sep, 2023

  • 通过继任状态度量学习多样技能的探索

    通过最大化互信息和探索奖励，我们的LEADS方法能够在不依赖奖励或探索奖励的情况下构建全面覆盖状态空间的多样化技能集合。

    Jun, 2024