ICMLAug, 2021

APS：基于后继特征的主动预训练

PDF
TL;DR本文提出了一种新的强化学习的无监督预训练目标，利用非参数熵最大化和变分继承者特征相结合，提出了 APS 方法，比现有方法表现更好。APS 通过非参数熵最大化探索环境数据，通过变分继承者特征学习行为。在 Atari 100k 数据效率基准测试中，APS 方法比结合无监督预训练和任务特定调参的先前方法表现显著更好。
unsupervised pretrainingreinforcement learningmutual informationnonparametric entropy maximizationatari 100k
发现论文，激发创造
  • 解耦无监督预训练中的探索与利用：后继特征

    通过非整体探索方法，我们提出了一种基于后继特征（SFs）的新型无监督预训练模型，该模型分解了代理人的开发和探索，旨在改善原始的后继特征预训练的整体探索方法的性能，并在比较实验中超越了具有后继特征的主动预训练（APS）。

    May, 2024

  • 虚空中的行为：无监督主动预训练

    通过在非有奖励的环境中最大化抽象表示空间中的非参数熵，APT 探索了环境，从而避免了具有挑战性的密度建模，并且在具有高维观察的环境中表现出色。在 Atari 游戏中，APT 在 12 种游戏上取得人类水平的性能，并且相对于经典的全监督 RL 算法具有高竞争性的表现。在 DMControl 套件中，APT 在渐进性能和数据效率方面击败了所有基线，并显着提高了初学者难以从头开始培训的任务性能。

    Mar, 2021

  • 具备变分内在继承特征的快速任务推理

    本文介绍了一种将马尔可夫决策过程和继承特征相结合的算法 (VISR)，该算法通过学习可控特征对继承特征进行增强，从而实现对 Atari 游戏中奖励的快速学习和泛化能力，并在 14 个游戏中实现了人类水平的表现。

    Jun, 2019

  • 使用无监督辅助任务的强化学习

    该论文介绍了一种深度强化学习代理，它不仅能够直接最大化累积奖励，在共同的表现下还能同时最大化许多其他伪奖励函数，该代理基于不受外部奖励影响的无监督学习得到共同的表现，并对外部奖励进行关注，可以快速适应实际任务，在 Atari 和三维 Labyrinth 任务中都取得了显著的优异表现。

    Nov, 2016

  • 使用前驱和后继表示的最大状态熵探索

    研究了一种基于过去经验的探索学习方法，通过最大化单个轨迹的状态访问分布的熵来学习探索策略，并证明了此方法在有限样本下最大化状态覆盖的有效性。

    Jun, 2023

  • 使用后继特征进行多任务转移的任务重新标记

    本文研究了如何通过预训练 Successor Features 以提高 Deep Reinforcement Learning 的性能，并提出了一种任务重标记的方法以实现迁移学习。

    May, 2022

  • 自我预测表示法的数据有效强化学习

    本文提出了自回归表示 (Self-Predictive Representations, SPR) 方法，使用深度强化学习方法，并结合自监督目标和对视觉输入和与环境的交互结构的预测，提高了代理器的学习效率，并在 Atari 游戏中显著提高了性能。

    Jul, 2020

  • 通用后继特征逼近器

    我们提出了一种新型的普适继承特征逼近器，利用其可进行上下文下多种策略迁移与推论，提高了强化学习算法的鲁棒性和实用性，并在一款首人称三维环境导航应用上展示了其广泛适用性。

    Dec, 2018

  • 模块化后继特征逼近器的任务知识组合

    本文提出了一种新的神经网络结构 MSFA，这种结构通过模块化的方式发现了对预测有用的状态特征并学习了它们自己的预测表示形式，相比于传统的基准架构和模块化架构，MSFA 能够更好地泛化。

    Jan, 2023

  • 继承特征将模型无关和基于模型的强化学习元素相结合

    本文分析了不同潜在状态空间的属性，发现了模型学习与模型自由强化学习之间的新联系，并表明对未来奖励结果预测有用的表征可在转换和奖励变化条件下进行推广，从而进一步实现模型学习和继承特征之间的联系。

    Jan, 2019