Feb, 2024

高维度探索中的聚类和预训练表示方法

PDF
TL;DR该论文采用密度估计问题的视角，研究在强化学习中基于表示的探索方法，提出了在 3D 环境中使用聚类表示进行探索的有效性，并探索了随机表示和预训练 DINO 表示进行聚类计数状态的方法，最终在 VizDoom 和 Habitat 环境中证明了该方法在探索方面优于其他已知方法。
explorationreinforcement learningdensity estimationclusteringpre-trained dino representations
发现论文，激发创造
  • 奖励预测聚类

    通过聚类算法，构建奖励预测深度网络所需的状态抽象，加速高维可视控制任务的学习并实现通过预先训练的奖励预测表示网络在不重新训练的情况下加速学习的系统性跨分布传递。

    Nov, 2022

  • Minecraft 中的无监督技能发现和技能学习

    本文介绍了一种使用无监督技术和自监督学习的状态表征方法，可以帮助强化学习智能体快速学习到基本导航技能。在使用像素地图进行评估时，我们发现像素表示和条件政策学习适用于玩具例子，但不适用于逼真和复杂的地图。因此我们还研究了相对位移等替代观测输入。

    Jul, 2021

  • 解锁表征在长期基于新奇性探索中的力量

    本文中介绍了 RECODE （Robust Exploration via Clustering-based Online Density Estimation）方法，该方法是一种基于相似性的聚类计数探索算法，能够有效地跟踪状态出现的次数，并且结合一种新颖的多步预测方法，RECODE 取得了各种挑战性的 3D 环境中最先进的性能，在 Atari 游戏中取得了新的最高记录，并成为首个到达 “Pitfall！” 游戏终点的人工智能代理。

    May, 2023

  • 学习潜在状态表示以加速探索

    通过先前的经验来学习有效的隐藏表示，以指示探索的区域，这对高维空间中的探索尤其有益。

    May, 2019

  • 利用语言抽象和预训练表示进行语义探索

    本研究提出使用词汇和形象语言所构建的视觉和语言表示形式来加强强化学习的探索能力，实验证明这种方法可以改善在高维连续部分可观测空间中进行探索所遇到的问题，促进算法性能的提高。

    Apr, 2022

  • 利用深度预测模型在强化学习中激励探索

    本文提出一种使用神经网络参数化的模型学习探索奖励的方法，可以用于具有复杂、高维状态空间的任务，同时在 Atari 游戏领域中获得了最一致的改进。

    Jul, 2015

  • 表征至关重要：提高机器人感知和探索能力

    本文在三个机器人任务中系统评估了多种常见的学习和手工工程化表示方法，并从三个方面对每种表现方法进行评估，即维度，可观测性和分离度，发现在输入代理或作为辅助任务的情况下，可以显著提高性能，并挑战了什么是控制机器人 ' 好' 表示的见解。

    Nov, 2020

  • 探索性示例模型用于深度强化学习

    本文提出了一种基于判别式训练范例模型的探索性新颖性检测算法，该算法可以应用于稀疏回报问题的深度强化学习任务，此方法在 vizDoom 基准测试中取得了最先进的结果。

    Mar, 2017

  • 基于机器人先验知识的无监督状态表示学习：一个稳健性基准测试

    利用神经网络简化世界，构建机器人手臂三维位置的低维状态表示，我们在高维图像中使用先验知识的失真函数学习无监督，并通过加大图像尺寸、添加干扰项和域随机化等手段实现转移学习，检验新先验在表示的稳定性上的贡献。

    Sep, 2017

  • 强化学习中基于特征空间的计数探索

    本文介绍了一种新的计数乐观探索算法，可在高维状态 - 动作空间中使用，并提出了一个新方法来计算泛化状态的访问次数，从而解决了限制训练经验进行广义状态估计的问题。实验表明，该算法在高维 RL 基准测试中取得了接近最新的结果，且计算代价较低。

    Jun, 2017