AAAIDec, 2023

高斯任务上下文与技能的元强化学习解耦

PDF
TL;DR离线元强化学习方法（即通过先前经验适应未见的目标任务）在机器人控制任务中至关重要。本文提出了一种名为分离式元强化学习（DCMRL）的框架，通过对任务上下文和技能的学习和探索进行量化和离散化，从而获取可推广的先前经验并在元测试阶段实现对未见目标任务的有效适应。实验证明，DCMRL 比先前的元强化学习方法具有更具推广性的先前经验，并在导航和机器人操纵连续控制任务中更加有效。
发现论文，激发创造
  • 通过概率上下文变量实现高效的离线元强化学习

    本文提出了一种离线元强化学习算法，通过在线概率过滤隐含的任务变量来推断如何从少量经验中解决新任务，实现了结构化和有效的探索。该方法在几个元 - 强化学习基准测试中，比先前算法在样本效率和渐近性能方面提高了 20-100 倍。

    Mar, 2019

  • 基于对比学习的元强化学习有效上下文方法

    提出一种名为 CCM 的元强化学习框架，通过对比不同任务来训练一个精简有效的上下文编码器，并训练一个单独的探索策略和理论推导一个新的信息增益目标，从而在几步内收集信息丰富的轨迹。实验证明，CCM 通过分别解决之前提到的问题，优于现有算法。

    Sep, 2020

  • 自适应上下文强化学习

    研究智能自主机器人如何通过新方法中的相对熵奖励学习算法来提高样本效率并使学习扩展到更广泛和尖锐的任务上。

    Oct, 2019

  • 论离线元强化学习任务表示学习中的上下文分布转移

    本文介绍了离线元强化学习（OMRL）的上下文基础，特别是针对 OMRL 的任务表示学习问题。我们提出了一种硬采样的策略来学习一个强大的任务上下文编码器，实验结果表明，与基线方法相比，在多个不同的连续控制任务中，使用我们的技术可以得到更强壮的任务表示和更好的测试性能。

    Apr, 2023

  • 基于后继特征的元强化学习

    为了实现多任务学习和数据效率，提出了一种基于环境变量和后继特征框架的元强化学习方法，可在减少环境交互的情况下实现具有竞争力的性能和数据效率。

    Jul, 2022

  • 基于信息论的基于上下文的离线元强化学习框架

    离线元强化学习（OMRL）的出现作为离线 RL 和元 RL 的结合在使 RL 代理能够多任务和快速适应并安全地获取知识方面显示出了巨大的潜力。我们提出将离线元强化学习的几个关键里程碑整合到一个统一的信息论框架中，并展示了现有的上下文 OMRL 算法本质上是通过实现各种近似界限优化任务变量 $oldsymbol {M}$ 与其潜在表示 $oldsymbol {Z}$ 之间的相互信息目标。基于理论见解和信息瓶颈原理，我们提出了一种新的算法称为 UNICORN，在 RL 基准、上下文转变场景、数据质量和深度学习架构的广泛领域中展示了卓越的泛化能力，达到了新的技术水平。我们相信我们的框架可以为新的优化界限和上下文 OMRL 算法开辟新的研究方向。

    Feb, 2024

  • 元强化学习作为任务推断

    本文提出一种在元强化学习中用于解决任务信息受限问题的方法，通过利用各种特权信息，分别学习策略和任务信念来解决部分可观测马尔可夫决策问题，从而在元强化学习环境中较为有效地解决标准问题和需要长期记忆的复杂连续控制问题。

    May, 2019

  • 基于上下文、离线元强化学习的证明改进 —— 关注与对比学习

    本文针对离线强化学习中的元学习问题，通过引入任务注意力机制和对比学习目标来提高任务表示的鲁棒性，从而改进了现有算法，并在多个元强化学习基准测试中展示了优越的性能和稳健性。

    Feb, 2021

  • 基于上下文感知的模型动态学习在强化学习中的泛化应用

    该论文提出了一种用于强化学习中学习动态全局模型的方法，通过将学习全局动态模型的任务分解为学习本地动态的上下文潜向量和条件预测下一个状态来实现此目的，并通过鼓励上下文潜向量在预测正向和反向动态方面有用来编码动态特定信息。该方法在各种模拟机器人控制任务中实现了优异的泛化能力，超过了现有的强化学习方案。

    May, 2020

  • 基于技能的元强化学习

    本论文旨在提出一种使用离线数据集中的先前经验来解决长期奖励任务的元学习方法，以实现复杂、长期目标的快速解决，可以显著提高样本效率并减少与环境的交互次数。

    Apr, 2022