Feb, 2018

多样性即是你所需：无需奖励函数学习技能

PDF
TL;DR本文提出了一种无需奖励函数却能学习有用技能的方法 DIAYN（“多样性就是你所需的一切”），其通过最大化信息理论目标来实现技能的学习，在多项模拟机器人任务中取得了良好的表现，并且能够服务于其它强化学习相关的挑战。
unsupervised learningdiayndiverse skillsreinforcement learningpretrained skills
发现论文，激发创造
  • 使用神经网络奖励函数的开放式强化学习

    该研究提出了一种使用神经网络编码奖励函数的方法，通过迭代训练，以鼓励更复杂的行为，实现在高维度机器人和像素级环境下的无监督学习，从而学习包括前空翻和单腿奔跑等丰富的技能。

    Feb, 2022

  • 多约束最优下的本地导航多技能学习

    通过约束优化观点，本文在多样性和质量之间的权衡中获得不同的策略，以及通过吸引 - 排斥奖励项来控制多样性水平，在本文中展示了这种方法的有效性，并成功地在一个本地导航任务中训练出的策略转移到了实际的四足机器人 Solo12 上，并展示了多样的机敏行为和成功的障碍物穿越。

    Oct, 2023

  • 带偏好的受控多样性：朝着学习多样化的技能集合

    本文提出了一种由人类辅助训练的学习机制 ——“受控多样性和偏好学习”，以确保学到的技能不仅是多样的，而且符合人类期望，在 2D 导航和 Mujoco 环境中得到了验证。

    Mar, 2023

  • 行为对比学习：无监督技能发现

    本文提出了一种基于对比学习的无监督技能发现方法，通过得到相似的行为来表征同一种技能， 并使得不同技能产生不同的行为，同时增加状态熵以获得更好的状态覆盖率，实验结果表明，该方法能够产生各种远程技能，并在下游任务中达到有竞争力的表现。

    May, 2023

  • 非监督强化学习的信息几何

    本文研究发现基于相互信息最大化的无监督技能发现算法不一定对于所有潜在奖励函数都能学出最优技能，但它们提供了一个最优初始状态以最小化对抗选择的奖励函数的遗憾。

    Oct, 2021

  • 通过乐观探索学习更多技能

    用不需要外在奖励的无监督技能学习目标让智能体学会丰富的行为方式。通过同时训练一个生成策略和一个判别模型来实现，其中的困难在于探索新的状态时，判别模型没有足够的数据用于准确地分类技能，我们通过训练一个判别模型的集合并奖励生成策略来解决此问题。我们称之为 DISDAIN 探索奖励，它的表现证明在传统奖励方法中更加有效。

    Jul, 2021

  • 神经进化是技能发现中替代强化学习的竞争性方法

    通过在 8 种最先进的方法上进行广泛的实证评估，本文证明了 Quality Diversity (QD) 方法是技能发现的一种有竞争力的替代方案，既可以提供相同甚至更好的性能，而且对超参数更不敏感且可扩展性更高。

    Oct, 2022

  • 滴滴：离线行为生成的扩散引导多样性

    通过 Diffusion-guided Diversity（DIDI）这种新方法，提出了一种离线行为生成的方法，该方法旨在从混合的无标签离线数据中学习多样化的技能，通过使用扩散概率模型作为先验知识来指导学习过程并规范策略，通过优化考虑多样性和扩散引导规范化的联合目标，鼓励出现多样的行为同时保持与离线数据的相似性，实验结果表明 DIDI 在四个决策制定领域（推、厨房、人形和 D4RL 任务）中发现了多样化和可区分性的技能，还介绍了技能拼接和技能插值，突显了学习技能空间的通用性，进一步，通过融合外部奖励函数，DIDI 实现了基于奖励的行为生成，促进了从次优数据中学习多样化和最优行为的能力。

    May, 2024

  • 无监督离策略强化学习实现真实世界机器人技能

    本文提出的无监督技能发现算法可用于进行高效无监督增强学习，通过模型预测控制将学习到的技能组合用于目标导航。

    Apr, 2020

  • 基于 Fenchel 二次对偶的多样化离线模仿

    我们提出了一种离线技能发现算法，该算法基于互信息目标的最大化，通过 KL 散度进行约束，确保每种技能的状态占用率保持在离线数据集的支持范围内的专家状态占用率附近，从而学习与专家相一致的多样化技能。

    Jul, 2023