在球面上无监督地发现连续技能

May, 2023

Unsupervised Discovery of Continuous Skills on a Sphere

Takahisa Imagawa, Takuya Hiraoka, Yoshimasa Tsuruoka

TL;DR本文提出了一种称为 DISCS 的学习方法，通过最大化技能和状态间的互信息，学习一种可能的无数不同技能，其中每一个技能对应于球面上的连续值，并且通过在 MuJoCo Ant 机器人控制环境中的实验显示，DISCS 可以比其他方法学习到更多元化的技能。

Abstract

Recently, methods for learning diverse skills to generate various behaviors without external rewards have been actively studied as a form of unsupervised reinforcement learning. However, most of the existing methods learn a finite number of discrete skills, and thus the variety of beha

unsupervised reinforcement learning continuous skills infinite skills mutual information diverse skills

发现论文，激发创造

行为对比学习：无监督技能发现

本文提出了一种基于对比学习的无监督技能发现方法，通过得到相似的行为来表征同一种技能，并使得不同技能产生不同的行为，同时增加状态熵以获得更好的状态覆盖率，实验结果表明，该方法能够产生各种远程技能，并在下游任务中达到有竞争力的表现。

May, 2023

通过指导学习发现技能

在无监督技能发现领域，有限的探索是一个主要挑战，而探索受到技能偏离初始轨迹时的重大惩罚的限制。为了增强探索能力，最近的方法使用辅助奖励来最大化状态的认识不确定性或熵。然而，我们发现这些奖励的有效性随着环境复杂性的增加而下降。因此，我们提出了一种新的无监督技能发现算法，即带有引导的技能发现（DISCO-DANCE），它 (1) 选择具有达到未探索状态潜力最高的引导技能，(2) 引导其他技能跟随引导技能，然后 (3) 引导的技能在未探索的状态下分散以最大化它们的可区分性。实证评估表明，DISCO-DANCE 在具有挑战性的环境中优于其他无监督技能发现基准，包括两个导航基准和一个连续控制基准。DISCO-DANCE 的定性可视化和代码可在此 https URL 上找到。

Oct, 2023

Lipschitz 约束的无监督技能发现

本文研究无监督技能发现的问题，提出了遵守 Lipschitz 约束的技能发现 (LSD) 方法，通过实验得出 LSD 方法在多任务表现上优于之前的方法，并且其学习到的表示函数可以用于解决下游任务，实现了高维状态空间下对多目标追踪的零样本学习。

Feb, 2022

可控感知的无监督技能探索

提出了一种新的无监督技能发现方法，名为 CSD，它可以主动寻求难以控制的复杂技能，包括机器人操作和运动技能。该方法使用可控性感知距离函数对状态转换进行评估，并结合距离最大化技能发现方法，在无监督下逐步学习更具挑战性的技能，在六个机器人操作和运动环境下表现显著优于之前的方法。

Feb, 2023

直达而散射：增量式无监督技能发现以实现状态覆盖和目标达成

本文介绍了一种针对强化学习中 reward 缺失问题的无监督学习方法，使用互信息框架，引入了 UPSIDE 方法，解决了探索空间覆盖度和导向性之间的平衡问题，通过学习一组多样化的技能，将其组成可不断扩展的树来解决稀疏 reward 任务。在多个导航和控制任务中通过 UPSIDE 方法学习的技能比现有基准表现更好。

Oct, 2021

通过乐观探索学习更多技能

用不需要外在奖励的无监督技能学习目标让智能体学会丰富的行为方式。通过同时训练一个生成策略和一个判别模型来实现，其中的困难在于探索新的状态时，判别模型没有足够的数据用于准确地分类技能，我们通过训练一个判别模型的集合并奖励生成策略来解决此问题。我们称之为 DISDAIN 探索奖励，它的表现证明在传统奖励方法中更加有效。

Jul, 2021

一个接着一个：为一个不断变化的世界学习增量技能

该研究提出了一种新的技能发现的架构，通过递增学习的方式获得新技能，以适应不断变化的环境，并且在质量和下游任务解决能力方面显著优于现有方法。

Mar, 2022

Minecraft 中的无监督技能发现和技能学习

本文介绍了一种使用无监督技术和自监督学习的状态表征方法，可以帮助强化学习智能体快速学习到基本导航技能。在使用像素地图进行评估时，我们发现像素表示和条件政策学习适用于玩具例子，但不适用于逼真和复杂的地图。因此我们还研究了相对位移等替代观测输入。

Jul, 2021

具有动态感知的无监督技能发现

通过结合基于模型的和基于非模型的机器学习方法，本文提出了一种无监督学习算法 DADS，用于发现易于预测的行为和学习它们的动态，提高了规划算法的效率和性能。

Jul, 2019

基于自监督对抗模仿无标签混合动作的多用途技能控制

本文提出了一种协作对抗式学习方法，用于从包含不同状态转移模式的未标记数据集中最大化它们的可辨识度，获得可控技能集的单一多才策略。实验结果表明，借助生成式对抗模仿学习框架中的无监督技能发现，出现了成功完成任务的新颖有用技能。最后，在名为 Solo 8 的敏捷四足机器人上测试了所获得的多才多艺策略，并呈现出编码在演示中的各种不同技能的忠实复制。

Sep, 2022