Mar, 2024

强化学习的离线多任务表示学习

HTML
PDF
TL;DR我们研究了强化学习中的离线多任务表示学习，理论上研究了离线多任务低秩强化学习，并提出了一种名为MORL的用于离线多任务表示学习的新算法。此外，我们还研究了奖励缺失、离线和在线情景下的下游强化学习，在其中引入了一个与上游离线任务共享相同表示的新任务。我们的理论结果证明了使用上游离线任务学到的表示而不是直接学习低秩模型的表示的好处。
发现论文，激发创造
  • 表示很重要：为序贯决策进行离线预训练

    本文研究了如何将离线数据转换为强化学习模型的有效训练，通过使用无监督学习目标进行预训练的方法，本文提出了一种能够改善从离线数据训练得到的强化学习模型性能的方案，并通过实验证明了其有效性。

    Feb, 2021

  • 基于上下文、离线元强化学习的证明改进——关注与对比学习

    本文针对离线强化学习中的元学习问题，通过引入任务注意力机制和对比学习目标来提高任务表示的鲁棒性，从而改进了现有算法，并在多个元强化学习基准测试中展示了优越的性能和稳健性。

    Feb, 2021

  • 多任务表示学习在强化学习中的证明收益

    本文首次从理论上研究了使用多任务表示学习来提高勘探性无奖励多任务强化学习中多个任务的样本效率，并证明了它比单独学习每个任务更加样本高效。此外，我们还研究了下游强化学习，并表明与直接学习低秩模型有所不同的是，从上游学习的表示更有利于下游强化学习。

    Jun, 2022

  • 通过对比学习实现离线元强化学习的稳健任务表示

    在离线元强化学习的背景下，提出了一种对抗学习框架，用于学习对行为策略不敏感的任务表示，并通过对各种离线元强化学习基准测试的实验，展示了该方法相比之前的方法在行为策略的泛化能力方面的优越性。

    Jun, 2022

  • 离线预训练加速探索和表示学习

    从单个离线数据集中分别学习噪声对比估计的状态表示和辅助奖励模型，能够显着提高NetHack基准测试的样本效率，同时突出了我们实验设置的各种组成部分和关键洞察。

    Mar, 2023

  • 论离线元强化学习任务表示学习中的上下文分布转移

    本文介绍了离线元强化学习（OMRL）的上下文基础，特别是针对OMRL的任务表示学习问题。我们提出了一种硬采样的策略来学习一个强大的任务上下文编码器，实验结果表明，与基线方法相比，在多个不同的连续控制任务中，使用我们的技术可以得到更强壮的任务表示和更好的测试性能。

    Apr, 2023

  • 离线元强化学习中的通用任务表示学习与数据限制

    GENTLE是一种用于解决在有限数据条件下学习可推广任务表征的新算法，它利用Task Auto-Encoder通过重构状态转换和奖励来捕捉任务模型的生成结构，并通过构造伪转换来缓解行为多样性有限的影响。实证结果表明，在分布内和分布外任务上，GENTLE方法在给定上下文协议和一次性协议下明显优于现有的离线元强化学习方法。

    Dec, 2023

  • 离线多任务转移强化学习与表示惩罚

    我们研究了离线强化学习中的表示转移问题，提出了一种算法来计算学习表示的点态不确定性度量，并通过扩展数据的数据依赖上界证明了针对目标任务的学习策略的次优性。我们的算法利用源任务的集体探索来解决现有离线算法在一些点上覆盖不足的问题，并在需要完全覆盖的富观测马尔可夫决策过程上进行了实证评估，展示了惩罚和量化学习表示中的不确定性的益处。

    Feb, 2024

  • 离线到在线强化学习中的任务泛化集成后继代表

    使用离线数据集构建继任者表示法和集成Q函数的方法，以实现从离线到在线学习的任务泛化和快速适应新任务。

    May, 2024

  • 技能正则化的多任务离线强化学习任务分解

    本研究解决了在离线强化学习中，由于任务数据质量差异导致的多任务最优策略获取困难的问题。提出了一种基于技能的多任务强化学习技术，通过联合学习共享知识与任务分解，利用Wasserstein自编码器有效地将技能和任务映射到同一潜在空间，进而提升模型性能。实验结果表明，该方法在不同质量数据集的混合配置下具有较强的鲁棒性，并在多项机器人操作和无人机导航任务中超越了现有最先进算法。

    Aug, 2024