May, 2024

解耦无监督预训练中的探索与利用：后继特征

PDF
TL;DR通过非整体探索方法，我们提出了一种基于后继特征（SFs）的新型无监督预训练模型，该模型分解了代理人的开发和探索，旨在改善原始的后继特征预训练的整体探索方法的性能，并在比较实验中超越了具有后继特征的主动预训练（APS）。
unsupervised pre-trainingsuccessor featuresexplorationexploitationlinear regression
发现论文，激发创造
  • APS：基于后继特征的主动预训练

    本文提出了一种新的强化学习的无监督预训练目标，利用非参数熵最大化和变分继承者特征相结合，提出了 APS 方法，比现有方法表现更好。APS 通过非参数熵最大化探索环境数据，通过变分继承者特征学习行为。在 Atari 100k 数据效率基准测试中，APS 方法比结合无监督预训练和任务特定调参的先前方法表现显著更好。

    Aug, 2021

  • 使用后继特征进行多任务转移的任务重新标记

    本文研究了如何通过预训练 Successor Features 以提高 Deep Reinforcement Learning 的性能，并提出了一种任务重标记的方法以实现迁移学习。

    May, 2022

  • 模块化后继特征逼近器的任务知识组合

    本文提出了一种新的神经网络结构 MSFA，这种结构通过模块化的方式发现了对预测有用的状态特征并学习了它们自己的预测表示形式，相比于传统的基准架构和模块化架构，MSFA 能够更好地泛化。

    Jan, 2023

  • 基于乐观的线性支持和继承特征的最优策略转移

    介绍了一种基于 SF 的新算法，它允许 RL 代理结合现有策略，并在任意新问题上直接识别出最优策略，无需进一步与环境进行交互。该算法可通过广义策略改进将策略组合形成最优行为，且性能优于现有竞争算法。

    Jun, 2022

  • 具备变分内在继承特征的快速任务推理

    本文介绍了一种将马尔可夫决策过程和继承特征相结合的算法 (VISR)，该算法通过学习可控特征对继承特征进行增强，从而实现对 Atari 游戏中奖励的快速学习和泛化能力，并在 14 个游戏中实现了人类水平的表现。

    Jun, 2019

  • 使用后继特征和泛化策略改进的深度强化学习转移

    本文通过扩展 successor features (SFs) 和 generalised policy improvement (GPI) 框架的基本假设，实现从一组任务到另一组任务的优雅而健壮的技能迁移方法，并在一个复杂的三维环境下进行了实证验证。

    Jan, 2019

  • 通过单个预训练的加强代理指导的仿制品特征选择

    我们引入一种创新的特征选择框架，通过强化学习，以模拟特征和经优化的 “knockoff” 特征指导特征选择过程，从而识别出最优和有效的特征子集。

    Mar, 2024

  • 通用后继特征逼近器

    我们提出了一种新型的普适继承特征逼近器，利用其可进行上下文下多种策略迁移与推论，提高了强化学习算法的鲁棒性和实用性，并在一款首人称三维环境导航应用上展示了其广泛适用性。

    Dec, 2018

  • 基于混合模型的继承特征强化学习在任务间的不确定性迁移

    使用混合模型驱动的继任特征算法和不确定性感知探索的方法，能够在具有不同转换动力学或 / 和奖励函数的任务之间实现高效的知识传输，并且在决策时间上所需的计算量较少。通过与最近的继任特征算法和模型驱动方法进行对比，结果表明我们的算法能够在不同的转换动力学中泛化知识，使用明显更少的样本学习下游任务，并且优于现有方法。

    Oct, 2023

  • 继承特征将模型无关和基于模型的强化学习元素相结合

    本文分析了不同潜在状态空间的属性，发现了模型学习与模型自由强化学习之间的新联系，并表明对未来奖励结果预测有用的表征可在转换和奖励变化条件下进行推广，从而进一步实现模型学习和继承特征之间的联系。

    Jan, 2019