ICLRSep, 2019

元强化学习

PDF
TL;DRMeta-Q-Learning (MQL) 是一种新的离线策略算法，它建立在三个简单的思想之上：使用过去轨迹的表示作为上下文变量可以使 Q-learning 与最先进的元 RL 算法相竞争；最大化训练任务的平均奖励的多任务目标是元训练 RL 策略的有效方法；从元训练回放缓冲区中获取的过去数据可以通过非策略更新来适应新任务，MQL 借鉴了势估计的思想，从而增加了可用于适应的数据量。实验表明，与元 RL 的最新技术相比，MQL 在标准的连续控制基准测试中表现得更好。
发现论文，激发创造
  • 元强化学习作为任务推断

    本文提出一种在元强化学习中用于解决任务信息受限问题的方法，通过利用各种特权信息，分别学习策略和任务信念来解决部分可观测马尔可夫决策问题，从而在元强化学习环境中较为有效地解决标准问题和需要长期记忆的复杂连续控制问题。

    May, 2019

  • 引导式元策略搜索

    本文提出了一种基于联邦学习的强化学习策略的元学习算法，在不需要大量策略经验数据的情况下，能够加速学习新任务，该算法在控制任务的元强化学习中表现出显著的效果提升和可扩展性，并且可应用于视觉观测领域。

    Apr, 2019

  • 通过概率上下文变量实现高效的离线元强化学习

    本文提出了一种离线元强化学习算法，通过在线概率过滤隐含的任务变量来推断如何从少量经验中解决新任务，实现了结构化和有效的探索。该方法在几个元 - 强化学习基准测试中，比先前算法在样本效率和渐近性能方面提高了 20-100 倍。

    Mar, 2019

  • 基于元强化学习的二阶系统自适应控制

    本研究采用 meta-RL 控制策略，结合模型基于信息离线培训，通过已知系统的动态规律 (parameters) 来自动适应过程的变化，实现对一、二阶系统的调节。

    Sep, 2022

  • 量子多智能体元强化学习

    本文提出 QM2ARL，利用量子神经网络的两个不同维度的参数来重新设计 MARL，实现了元学习和记忆地址功能，并通过模拟验证了其在高回报和快速收敛方面的有效性。

    Aug, 2022

  • MetaTrader: 一种融合多样策略的强化学习方法用于投资组合优化

    本文提出了一种基于元学习和深度增强学习的投资组合管理方法 MetaTrader，通过模仿不同的专家策略来获取适应不同市场的交易策略，并学习元策略来决定最适合的策略。实证结果表明，MetaTrader 在平衡利润和风险方面显著优于现有的基线模型，并通过彻底的消融研究验证了该方法组成部分的有效性。

    Sep, 2022

  • 元元强化学习与在线 LQR 中的任务相关损失函数

    我们提出了一个样本高效的元强化学习算法，通过学习任务导向方式下的系统模型，在元强化学习中利用价值信息迅速捕捉环境的决策关键部分，并借助损失函数来学习任务推断模块和系统模型，从而实现与现有元强化学习算法相比使用更少的数据来学习策略和任务推断模块。此方法在高维机器人控制和在线 LQR 问题中进行评估，实证验证了其从观测中提取解决任务所需信息的高效性。

    Dec, 2023

  • 多时间尺度集成 Q-learning 用于马尔科夫决策过程策略优化

    提出了一种新颖的模型无关的集合强化学习算法，通过在多个合成的与马尔可夫决策过程相关的环境上运行多个 Q 学习算法，并使用基于 Jensen-Shannon 差异的自适应加权机制来融合输出，获得具有低复杂度的近似最优策略。与最先进的 Q 学习算法相比，数值实验结果显示，该算法平均策略误差可以减少高达 55％，运行时复杂度可以减少高达 50％，并验证了理论分析中的假设。

    Feb, 2024

  • 量子强化学习

    本文提出了一种新颖的量子强化学习算法，通过将量子理论和强化学习相结合，引入了价值更新算法框架，通过概率幅度并行更新以达到在探索和利用之间取得良好平衡，并加速学习。经实验验证，该方法在一些复杂问题中表现出优越性和实用性，是量子计算在人工智能应用方面的有效探索。

    Oct, 2008

  • 元学习线性二次调节器：一种基于策略梯度的模型无关 LQR 的 MAML 方法

    在多任务、异构和无模型的情况下，我们研究了学习线性二次调节器（LQR）的问题。我们表征了基于策略梯度的无模型元学习方法（MAML）（Finn et al.，2017）在不同任务异质性设置下的稳定性和个性化保证。我们展示了 MAML-LQR 方法在模型为基础和无模型设置下产生了一个接近每个任务特定最优控制器的稳定控制器，直到任务异质性偏差为止。此外，在模型为基础的设置中，我们展示了这个控制器以线性收敛速度实现，这在现有的 MAML-LQR 工作中改进了次线性速度。与现有的 MAML-LQR 结果相比，我们的理论保证证明了学到的控制器可以高效地适应未见的 LQR 任务。

    Jan, 2024