本文提出了一种使用学习的状态投影来引导技能发现，从而使得强化学习的代理人在特定任务中获得了更有用的行为。

Aug, 2021

本文研究无监督技能发现的问题，提出了遵守 Lipschitz 约束的技能发现 (LSD) 方法，通过实验得出 LSD 方法在多任务表现上优于之前的方法，并且其学习到的表示函数可以用于解决下游任务，实现了高维状态空间下对多目标追踪的零样本学习。

Feb, 2022

用不需要外在奖励的无监督技能学习目标让智能体学会丰富的行为方式。通过同时训练一个生成策略和一个判别模型来实现，其中的困难在于探索新的状态时，判别模型没有足够的数据用于准确地分类技能，我们通过训练一个判别模型的集合并奖励生成策略来解决此问题。我们称之为 DISDAIN 探索奖励，它的表现证明在传统奖励方法中更加有效。

Jul, 2021

本文提出了一种基于对比学习的无监督技能发现方法，通过得到相似的行为来表征同一种技能， 并使得不同技能产生不同的行为，同时增加状态熵以获得更好的状态覆盖率，实验结果表明，该方法能够产生各种远程技能，并在下游任务中达到有竞争力的表现。

May, 2023

基于探索的深度强化学习方法对新环境具有良好的泛化能力，通过使用一种基于 Q 值分布集合的探索方法，该算法在 Procgen 和 Crafter 两个高维强化学习一般化基准上取得了最新的进展。

Jun, 2023

在无监督技能发现领域，有限的探索是一个主要挑战，而探索受到技能偏离初始轨迹时的重大惩罚的限制。为了增强探索能力，最近的方法使用辅助奖励来最大化状态的认识不确定性或熵。然而，我们发现这些奖励的有效性随着环境复杂性的增加而下降。因此，我们提出了一种新的无监督技能发现算法，即带有引导的技能发现（DISCO-DANCE），它 (1) 选择具有达到未探索状态潜力最高的引导技能，(2) 引导其他技能跟随引导技能，然后 (3) 引导的技能在未探索的状态下分散以最大化它们的可区分性。实证评估表明，DISCO-DANCE 在具有挑战性的环境中优于其他无监督技能发现基准，包括两个导航基准和一个连续控制基准。DISCO-DANCE 的定性可视化和代码可在此 https URL 上找到。

Oct, 2023

本文介绍了一种针对强化学习中 reward 缺失问题的无监督学习方法，使用互信息框架，引入了 UPSIDE 方法，解决了探索空间覆盖度和导向性之间的平衡问题，通过学习一组多样化的技能，将其组成可不断扩展的树来解决稀疏 reward 任务。在多个导航和控制任务中通过 UPSIDE 方法学习的技能比现有基准表现更好。

Oct, 2021

本文提出了一种新颖的无监督技能发现方法 —— 信息瓶颈选项学习 (IBOL)，它能够通过推动更多的不同状态转换来吸收环境中固有的技能，并通过信息瓶颈框架对这些技能进行抽象，从而提高了稳定性和可分离性。实验证明，IBOL 在 MuJoCo 环境中的信息熵评估和下游任务中的性能超过了多种最先进的无监督技能发现方法。

Jun, 2021

本文研究发现基于相互信息最大化的无监督技能发现算法不一定对于所有潜在奖励函数都能学出最优技能，但它们提供了一个最优初始状态以最小化对抗选择的奖励函数的遗憾。

Oct, 2021

该研究提出了一个全新的方法以处理具有大行动空间的复杂环境中的无监督探究和表征的问题，并在考虑到整个轨迹的情况下，通过最大化其对环境未来状态的影响来形式化无监督的探索目标。

May, 2019