Sep, 2023

ComSD: 在无监督技能发现中平衡行为质量和多样性

PDF
TL;DR为了解决质量和多样性冲突的问题，论文提出了一种对比的多目标技能发现方法，通过更合理的互信息估计和动态加权的内在奖励来平衡发现行为的质量和多样性，并在挑战性机器人行为发现任务中展示了优秀的性能。
unsupervised skill discoverymaximizing the mutual informationcontrastive multi-objectives skill discoverybehavior diversityrobot behavior discovery
发现论文，激发创造
  • 行为对比学习：无监督技能发现

    本文提出了一种基于对比学习的无监督技能发现方法，通过得到相似的行为来表征同一种技能， 并使得不同技能产生不同的行为，同时增加状态熵以获得更好的状态覆盖率，实验结果表明，该方法能够产生各种远程技能，并在下游任务中达到有竞争力的表现。

    May, 2023

  • Lipschitz 约束的无监督技能发现

    本文研究无监督技能发现的问题，提出了遵守 Lipschitz 约束的技能发现 (LSD) 方法，通过实验得出 LSD 方法在多任务表现上优于之前的方法，并且其学习到的表示函数可以用于解决下游任务，实现了高维状态空间下对多目标追踪的零样本学习。

    Feb, 2022

  • 可控感知的无监督技能探索

    提出了一种新的无监督技能发现方法，名为 CSD，它可以主动寻求难以控制的复杂技能，包括机器人操作和运动技能。该方法使用可控性感知距离函数对状态转换进行评估，并结合距离最大化技能发现方法，在无监督下逐步学习更具挑战性的技能，在六个机器人操作和运动环境下表现显著优于之前的方法。

    Feb, 2023

  • 基于质量多样性与无监督描述符的自主技能发现

    本文提出一种将 Quality-Diversity 优化算法与非监督降维算法相结合来自动定义行为描述符的方法，此方法可用于机器人学习行为库并在与环境交互时自主发现其能力范围，通过实验结果表明，该方法优于已有的非监督方法，机器人学习到的行为丰富多样。

    May, 2019

  • 语言引导的技能发现

    使用大型语言模型的语义知识，Language Guided Skill Discovery (LGSD) 基于用户提示输出一组语义上独特的技能，使得四足机器人能够通过改变提示在平面上访问不同的用户预期区域，并且在机器人运动和操作环境中，与五个现有的技能发现方法相比，语言引导有助于发现更多样化的技能。

    Jun, 2024

  • 通过指导学习发现技能

    在无监督技能发现领域，有限的探索是一个主要挑战，而探索受到技能偏离初始轨迹时的重大惩罚的限制。为了增强探索能力，最近的方法使用辅助奖励来最大化状态的认识不确定性或熵。然而，我们发现这些奖励的有效性随着环境复杂性的增加而下降。因此，我们提出了一种新的无监督技能发现算法，即带有引导的技能发现（DISCO-DANCE），它 (1) 选择具有达到未探索状态潜力最高的引导技能，(2) 引导其他技能跟随引导技能，然后 (3) 引导的技能在未探索的状态下分散以最大化它们的可区分性。实证评估表明，DISCO-DANCE 在具有挑战性的环境中优于其他无监督技能发现基准，包括两个导航基准和一个连续控制基准。DISCO-DANCE 的定性可视化和代码可在此 https URL 上找到。

    Oct, 2023

  • 基于相关性引导的无监督质量多样性算法能力发现

    提出了一种基于 Relevance-guided Unsupervised Discovery of Abilities 的 Quality-Diversity 算法，可以自动发现适用于任务的行为描述符，并在模拟机器人环境中验证了算法的有效性。

    Apr, 2022

  • 基于 Fenchel 二次对偶的多样化离线模仿

    我们提出了一种离线技能发现算法，该算法基于互信息目标的最大化，通过 KL 散度进行约束，确保每种技能的状态占用率保持在离线数据集的支持范围内的专家状态占用率附近，从而学习与专家相一致的多样化技能。

    Jul, 2023

  • 关于基于语言条件技能发现的互信息思考与模仿学习

    通过数学方法评估语言条件化策略学习框架中技能与语言指令之间的关系，提出了一种称为语言条件化技能发现（LCSD）的端到端模仿学习方法，通过最大化语言和技能之间的互信息，在无监督的情况下学习离散潜在技能并利用技能序列重构高级语义指令，通过在 BabyAI、LORel 和 CALVIN 上进行大量实验，展示了我们方法在语言条件化的机器人导航和操作任务中的优越性，包括对未知任务的增强泛化能力、改进的技能可解释性和显著提高的任务完成成功率。

    Feb, 2024

  • 通过乐观探索学习更多技能

    用不需要外在奖励的无监督技能学习目标让智能体学会丰富的行为方式。通过同时训练一个生成策略和一个判别模型来实现，其中的困难在于探索新的状态时，判别模型没有足够的数据用于准确地分类技能，我们通过训练一个判别模型的集合并奖励生成策略来解决此问题。我们称之为 DISDAIN 探索奖励，它的表现证明在传统奖励方法中更加有效。

    Jul, 2021