Sep, 2019

元强化学习

HTML
PDF
TL;DRMeta-Q-Learning (MQL)是一种新的离线策略算法，它建立在三个简单的思想之上：使用过去轨迹的表示作为上下文变量可以使Q-learning与最先进的元RL算法相竞争；最大化训练任务的平均奖励的多任务目标是元训练RL策略的有效方法；从元训练回放缓冲区中获取的过去数据可以通过非策略更新来适应新任务，MQL借鉴了势估计的思想，从而增加了可用于适应的数据量。实验表明，与元RL的最新技术相比，MQL在标准的连续控制基准测试中表现得更好。
发现论文，激发创造
  • 无奖励元学习

    文章提出了一种名为No-Reward Meta Learning (NoRML)的自适应学习方法，它使用观测到的环境动态而不是显式奖励函数进行模型参数更新，以适应目标任务时变的环境动态。研究表明，NoRML在环境动态变化时的性能优于传统方法Model Agnostic Meta Learning (MAML)。

    Mar, 2019

  • 通过概率上下文变量实现高效的离线元强化学习

    本文提出了一种离线元强化学习算法，通过在线概率过滤隐含的任务变量来推断如何从少量经验中解决新任务，实现了结构化和有效的探索。该方法在几个元-强化学习基准测试中，比先前算法在样本效率和渐近性能方面提高了20-100倍。

    Mar, 2019

  • 引导式元策略搜索

    本文提出了一种基于联邦学习的强化学习策略的元学习算法，在不需要大量策略经验数据的情况下，能够加速学习新任务，该算法在控制任务的元强化学习中表现出显著的效果提升和可扩展性，并且可应用于视觉观测领域。

    Apr, 2019

  • MGHRL：层次强化学习的元目标生成

    本文提出了一种新的元强化学习算法，称为Meta Goal-generation for Hierarchical RL (MGHRL)，通过学习给定过去经验的高层次元策略来生成子目标，而将如何实现子目标留给独立的强化学习子任务来完成，实验结果表明，该算法可以更有效地从过去的经验进行元学习。

    Sep, 2019

  • 基于对比学习的元强化学习有效上下文方法

    提出一种名为CCM的元强化学习框架，通过对比不同任务来训练一个精简有效的上下文编码器，并训练一个单独的探索策略和理论推导一个新的信息增益目标，从而在几步内收集信息丰富的轨迹。实验证明，CCM通过分别解决之前提到的问题，优于现有算法。

    Sep, 2020

  • 基于模型的离线元强化学习与正则化

    该研究论文介绍了一种基于模型的元强化学习方法——MerPO，使用正则化策略优化来实现任务结构推断和元策略安全探索。该方法通过探究“探索”元策略的分布情况和“利用”离线数据集的紧密度之间的平衡，对元强化学习算法进行了改进，并在实验中取得了优异的表现。

    Feb, 2022

  • 有限训练任务下的元强化学习——一种密度估计方法

    本研究探讨使用密度估计技术，直接学习任务分布并在其上训练策略以最大化回报，从而实现元强化学习的有效性问题，结果表明，与基于历史策略的学习方法相比，我们的方法具有更好的效果，特别是在任务分布存在低维流形的情况下。

    Jun, 2022

  • 基于偏好的快速适应元强化学习

    本研究基于元强化学习框架，探究了在人机交互中，通过基于偏好的反馈，而非数值奖励，在少数试验中快速调整策略以适应新任务的机制，并通过信息论技术设计问题序列来最大化人类专家的信息获取效率，实验结果表明其显著优于传统算法。

    Nov, 2022

  • RL$^3$: 通过 RL 内外的 RL$^2$ 提升元强化学习

    本文提出了一种RL$^3$算法，该算法将Task-specific action-values作为Traditional RL学到的输入，并通过将Traditional RL和Meta-RL组合来在Long-horizon和Out-of-distribution任务中获得更高的累积回报。

    Jun, 2023

  • 元元强化学习与在线LQR中的任务相关损失函数

    我们提出了一个样本高效的元强化学习算法，通过学习任务导向方式下的系统模型，在元强化学习中利用价值信息迅速捕捉环境的决策关键部分，并借助损失函数来学习任务推断模块和系统模型，从而实现与现有元强化学习算法相比使用更少的数据来学习策略和任务推断模块。此方法在高维机器人控制和在线LQR问题中进行评估，实证验证了其从观测中提取解决任务所需信息的高效性。

    Dec, 2023