KDDJul, 2021

数据效率深度强化学习的集成和辅助任务

PDF
TL;DR研究了整合深度强化学习算法中的集成和辅助任务的影响，并在 ATARI 游戏中进行了案例研究，在有限的数据约束下，从不同的方法来分析学习集合和使用辅助任务的各种方式，并使用分析结果来提供对案例研究的理解。
ensembleauxiliary tasksmachine learningdeep reinforcement learningatari games
发现论文，激发创造
  • 通过生成和测试发现辅助任务

    本文介绍了一种基于表示学习思想的强化学习辅助任务发现方法，通过不断生成新的辅助任务并保留具有较高效用性的任务来提高数据效率，并引入了一种反映辅助任务效用的衡量标准。实现的算法在多种环境下显著优于随机任务和手动设计的任务。

    Oct, 2022

  • 共享学习：增强 Q 集成中的强化学习

    通过提出 Shared Learning 框架，在 $Q$-ensemble 算法中实现了传输学习，以此达到提高深度强化学习的数据效率和加速学习过程的目的，而不需要大量数据的使用。

    Sep, 2017

  • 使用无监督辅助任务的强化学习

    该论文介绍了一种深度强化学习代理，它不仅能够直接最大化累积奖励，在共同的表现下还能同时最大化许多其他伪奖励函数，该代理基于不受外部奖励影响的无监督学习得到共同的表现，并对外部奖励进行关注，可以快速适应实际任务，在 Atari 和三维 Labyrinth 任务中都取得了显著的优异表现。

    Nov, 2016

  • 比较强化学习表征学习的辅助任务

    生成表示在强化学习中得到了稳步流行，由于其在提高样本效率和许多环境中的回报方面的潜力。本文对常见的辅助任务进行了比较，基于数百个使用最先进的离策略强化学习算法训练的代理程序。发现显示，辅助任务的表示学习对于维度和复杂度较高的环境是有利的，并且学习环境动态性胜于预测奖励。我们相信这些洞察将使其他研究人员能够更明智地决定如何利用表示学习解决他们的特定问题。

    Oct, 2023

  • 辅助任务对表示动态的影响

    本文研究了在稀疏奖励环境中，如何通过分析时间差分算法的动态来建立转移算符的谱分解和各种辅助任务诱导的表示之间的联系，并利用这些理论结果来选择深度强化学习代理的辅助任务。

    Feb, 2021

  • 多任务学习在开放域对话系统中的实证研究

    研究使用辅助任务对自回归模型进行改进，提高其在开放域对话生成中的长期语境处理和一致性维护，结果在小型和中型的 GPT-2 模型上表明引入新的辅助任务虽然有所改进，但仍有发展空间。

    Apr, 2023

  • 基于回报的对比表示学习在强化学习中的应用

    本研究提出了新的辅助任务，通过回报信号，使得学到的表示区分具有不同回报的状态和动作对，从而可以更好地在 Atari 游戏和 DeepMind 控制套件等复杂任务中进行学习，并在与现有的辅助任务相结合时表现更好。

    Feb, 2021

  • 深度多任务学习和辅助任务学习简述

    本文采用深度多任务学习方法，探究如何选择有用的辅助任务来提高模型性能和泛化能力。

    Jul, 2020

  • 利用上下文结构生成有用的辅助任务

    通过生成和学习有用的辅助任务，最大化经验重用，从而学习解决给定任务的方法，通过计数推理和离线策略方法同时学习这些辅助任务，从而实现多任务强化学习的新框架。

    Mar, 2023

  • SEERL: 高效率样本集成强化学习

    本文提出了一种新的训练和模型选择框架，用于模型无关的强化学习算法，使用单次训练的策略集合。这些策略通过定向扰动模型参数在一定时间间隔内进行学习，选择一个足够多样化的策略集合对于得到一个好的集成模型来说是必需的。该框架具有显著的样本效率和低计算成本，且在 Atari 2600 和 Mujoco 中表现优异。

    Jan, 2020