利用混合专家的课程强化学习获取多样化技能

Mar, 2024

利用混合专家的课程强化学习获取多样化技能

Acquiring Diverse Skills using Curriculum Reinforcement Learning with Mixture of Experts

Onur Celik, Aleksandar Taranovic, Gerhard Neumann

TL;DR强化学习中的多样技能学习，使用混合专家方法和最大熵目标优化每个专家的上下文分布，以激励在相似情境中学习多样技能。利用基于能量的模型来表示每个专家的上下文分布，通过标准策略梯度目标有效地训练它们，进一步解决了环境未知上下文概率空间中的难以处理的不连续性和多模态问题，通过在挑战性的机器人模拟任务中展示，Di-SkilL可以学习出多样且高效的技能。

Abstract

reinforcement learning (RL) is a powerful approach for acquiring a good-performing policy. However, learning diverse skills is challenging in RL due to the commonly used Gaussian policy parameterization. We propose \textbf{Di}verse \textbf{Skil}l \textbf{L}earning (Di-SkilL), an RL met

发现论文，激发创造

多样性即是你所需：无需奖励函数学习技能

本文提出了一种无需奖励函数却能学习有用技能的方法DIAYN（“多样性就是你所需的一切”），其通过最大化信息理论目标来实现技能的学习，在多项模拟机器人任务中取得了良好的表现，并且能够服务于其它强化学习相关的挑战。

Feb, 2018

自适应上下文强化学习

研究智能自主机器人如何通过新方法中的相对熵奖励学习算法来提高样本效率并使学习扩展到更广泛和尖锐的任务上。

Oct, 2019

无监督离策略强化学习实现真实世界机器人技能

本文提出的无监督技能发现算法可用于进行高效无监督增强学习，通过模型预测控制将学习到的技能组合用于目标导航。

Apr, 2020

利用渐进领域自适应的最优传输进行课程强化学习

该研究将课程机器学习作为优化输运问题来量化和生成任务分布之间的移动，并提出了一种称为GRADIENT的算法来处理连续和离散背景下的非参数分布。实验结果表明，该算法在学习效率和渐进性能方面均优于基线。

Oct, 2022

残差技能策略：学习适应性技能基础的动作空间，用于机器人增强学习

通过使用状态条件生成模型在技能空间中加速探索，同时提出低层次的剩余策略来适应未知的任务变化，从而在与先前工作的比较中显着加快了探索速度，并跨四个不同于那些用于构建技能空间的具有挑战性的操作任务进行了验证。

Nov, 2022

基于课程的通用技能模仿

本研究提出一种基于课程学习和MoE的模仿学习方法，用于从人类多样化的演示中教授机器人控制技能，并在复杂机器人控制任务中显著优于当前最先进的方法。

Apr, 2023

基于关键点集成的软动作者-评论高斯混合模型的机器人技能推广

我们通过将模仿和强化学习范式相结合，开发了一种学习和适应技能的混合模型，通过学习动态系统的关键点，利用机器人在技能学习过程中的视觉观察，预测场景内的参考点，从而实现机器人在新环境中的零样本泛化能力和在目标环境中更快地优化技能的目标，同时能有效处理场景变化。

Oct, 2023

变分课程增强学习用于无监督技能发现

基于互信息的强化学习作为一种无需任务导向奖励函数的复杂技能自主检索方法已被提出，但由于训练技能的顺序会在很大程度上影响样本效率，对于学习复杂技能仍具有挑战性。本文提出了一种名为变分课程强化学习（VCRL）的方法，将变分增强视为内在奖励函数的目标条件强化学习中的课程学习，并基于信息理论提出了一种无监督技能发现的新方法，称为值不确定性变分课程（VUVC）。我们证明，在一定的正则条件下，与均匀课程相比，VUVC能够加快访问状态熵的增加。我们通过复杂导航和机器人操作任务验证了我们方法的有效性，同时以零次设定下的真实世界机器人导航任务为例，证明了通过我们方法发现的技能能够成功完成任务，并且将这些技能与全局规划器相结合可以进一步提高性能。

Oct, 2023

混合正交专家的多任务强化学习

多任务强化学习(MTRL)通过共享表示，来克服代理程序普适性技能泛化的长期问题，本文介绍了在MTRL中学习共享多样性表示的一种新方法，称为MOORE，它通过专家混合生成的表示的共享子空间来促进任务之间的多样性，研究表明MOORE在MiniGrid和MetaWorld两个基准测试中超过了其他相关基线，成为MetaWorld领域的最新技术成果。

Nov, 2023

从离线数据提取可转移机器人技能的高效策略学习

使用预训练的视觉语言模型从离线数据中提取一组离散的语义相关技能，无需人工监督，通过参数化连续参数，使机器人能够学习新任务并提高样本效率和性能表现。

Jun, 2024