Mar, 2023

带偏好的受控多样性：朝着学习多样化的技能集合

PDF
TL;DR本文提出了一种由人类辅助训练的学习机制 ——“受控多样性和偏好学习”，以确保学到的技能不仅是多样的，而且符合人类期望，在 2D 导航和 Mujoco 环境中得到了验证。
reinforcement learningunsupervised trainingcontrolled diversityhuman-guided mechanismskill discovery
发现论文，激发创造
  • 多约束最优下的本地导航多技能学习

    通过约束优化观点，本文在多样性和质量之间的权衡中获得不同的策略，以及通过吸引 - 排斥奖励项来控制多样性水平，在本文中展示了这种方法的有效性，并成功地在一个本地导航任务中训练出的策略转移到了实际的四足机器人 Solo12 上，并展示了多样的机敏行为和成功的障碍物穿越。

    Oct, 2023

  • 可控感知的无监督技能探索

    提出了一种新的无监督技能发现方法，名为 CSD，它可以主动寻求难以控制的复杂技能，包括机器人操作和运动技能。该方法使用可控性感知距离函数对状态转换进行评估，并结合距离最大化技能发现方法，在无监督下逐步学习更具挑战性的技能，在六个机器人操作和运动环境下表现显著优于之前的方法。

    Feb, 2023

  • 通过密度估计进行好奇心驱动的经验优先排序

    提出了一种好奇心驱动的优先级策略（CDP）框架，通过模仿人类学习流程，着力于相对罕见的事件，使得机器人在强化学习中更加高效地学习并提高性能。

    Feb, 2019

  • 多样性即是你所需：无需奖励函数学习技能

    本文提出了一种无需奖励函数却能学习有用技能的方法 DIAYN（“多样性就是你所需的一切”），其通过最大化信息理论目标来实现技能的学习，在多项模拟机器人任务中取得了良好的表现，并且能够服务于其它强化学习相关的挑战。

    Feb, 2018

  • 从人的偏好学习通用人类先验知识，用于灵巧操纵

    使用直接的人类反馈通过视频来学习通用的人类先验，实现 20 种双手机器人操作任务中 RL 策略的高效调整，不需要进行人类演示，任务无关的奖励模型通过生成多样化策略并收集人类偏好进行训练。本方法在各种任务中表现出更接近人类行为的结果，甚至适用于未见过的任务，证明了其泛化能力。

    Apr, 2023

  • 基于自监督对抗模仿无标签混合动作的多用途技能控制

    本文提出了一种协作对抗式学习方法，用于从包含不同状态转移模式的未标记数据集中最大化它们的可辨识度，获得可控技能集的单一多才策略。实验结果表明，借助生成式对抗模仿学习框架中的无监督技能发现，出现了成功完成任务的新颖有用技能。最后，在名为 Solo 8 的敏捷四足机器人上测试了所获得的多才多艺策略，并呈现出编码在演示中的各种不同技能的忠实复制。

    Sep, 2022

  • 行为对比学习：无监督技能发现

    本文提出了一种基于对比学习的无监督技能发现方法，通过得到相似的行为来表征同一种技能， 并使得不同技能产生不同的行为，同时增加状态熵以获得更好的状态覆盖率，实验结果表明，该方法能够产生各种远程技能，并在下游任务中达到有竞争力的表现。

    May, 2023

  • 无参判别奖励的无监督控制

    本文提出了一种基于无人监督学习的算法，用于训练代理达成感知确定目标，通过学习目标条件化策略和目标实现奖励函数，代理人能够在没有手工奖励或专业数据的情况下掌握环境的控制方法。

    Nov, 2018

  • 利用隐含背景完成 Pareto 最优偏好学习

    通过使用 Pareto Optimal Preference Learning (POPL) 模型，借助于 Lexicase 筛选过程，本研究实证评估表明 POPL 在学习奖励函数方面超过基线方法，有效满足不同的群体需求，并确保包容和公平的人工智能模型对齐。

    Jun, 2024

  • 合作式深度强化学习

    本文提出了一种协作深度强化学习框架，其中包括深度知识蒸馏方法、异构学习任务深度对齐网络、有效的协同 A3C 算法等，用于在不同学习任务中执行自适应知识转移

    Feb, 2017