May, 2023

解锁表征在长期基于新奇性探索中的力量

HTML
PDF
TL;DR本文中介绍了 RECODE （Robust Exploration via Clustering-based Online Density Estimation）方法，该方法是一种基于相似性的聚类计数探索算法，能够有效地跟踪状态出现的次数，并且结合一种新颖的多步预测方法，RECODE 取得了各种挑战性的3D环境中最先进的性能，在 Atari 游戏中取得了新的最高记录，并成为首个到达“Pitfall！”游戏终点的人工智能代理。
发现论文，激发创造
  • 统一计数探索和内在动机

    使用密度模型衡量不确定性，提出了一种从任意密度模型中导出虚拟计数的新算法，并将其应用于Atari 2600游戏中，通过将这些虚拟计数转化为内在奖励，取得了显著的改进。

    Jun, 2016

  • 基于神经密度模型的计数探索

    这篇论文研究了在强化学习中，如何使用基于密度模型的伪计数、PixelCNN等技术进行探索，特别考虑了密度模型对探索的影响，并发现Monte Carlo更新在探索中的作用。结果发现结合PixelCNN和不同结构的代理可以显著提高在多个难的Atari游戏中的性能，当模型假设被违反时，该方法更实用和普适。

    Mar, 2017

  • 使用继承表示实现基于计数的探索

    介绍了基于继承代表（successor representation）的强化学习的简单方法，利用其转移概念的范数作为奖励来激励探索，以及用隐式计数实现高效完备探索，并在Atari 2600游戏中实现了最先进的性能。

    Jul, 2018

  • 通过潜在状态解码的丰富观测下可证明的高效强化学习

    该论文研究了在具有大量从少量潜在状态生成的丰富观察结果的情节MDPs中的探索问题。在某些可辨识性假设下，研究人员通过一系列回归和聚类步骤归纳地估计了从观察到潜在状态的映射，并使用它构建了良好的探索策略。

    Jan, 2019

  • Go-Explore：一种解决困难探索问题的新方法

    采用记忆、回归与模拟学习等技术结合的算法Go-Explore在复杂探索问题上有了显著提高，打破了Montezuma's Revenge甚至超越了Pitfall的人类高分纪录，为强化学习领域提供了新思路。

    Jan, 2019

  • 基于表征空间的新颖性搜索，用于高效探索

    通过将环境的低维编码与基于模型和无模型目标相结合的学习相结合，提出了一种有效探索的新方法，利用了基于低维表示空间最近邻之间的距离来衡量新颖性的固有奖励，进而在表示空间中利用这些固有奖励在奖励稀疏的困难探索任务中进行样本高效的探索。

    Sep, 2020

  • BYOL-Explore: 基于自举预测的探索

    BYOL-Explore通过优化单一预测损失，在潜在空间中学习世界表示、世界动态和探索策略，实现在视觉复杂环境下的好奇心驱动探索。此方法可有效解决部分可观察连续行动的具有挑战性的难度探索基准和Atari游戏等任务。

    Jun, 2022

  • 强化学习中的探索问题：基于情节访问差异性的奖励机制

    该研究提出一种针对高维度观察和稀疏奖励环境的计算高效和数量化探索方法——基于奖励的情节访问差异度（REVD）。研究表明，REVD可以显著提高增强学习算法的样本效率并优于基准方法。

    Sep, 2022

  • 使用翻硬币的方法估计强化学习中的假计数以进行探索

    我们在高维状态空间中提出了一种新的基于计数的探索方法，通过平均来自Rademacher分布（或硬币翻转）的样本，得到计数，并使用一个简单的监督学习目标进行优化，可以获得状态的访问计数。此方法在9个具有挑战性的探索任务中表现优异，并优于现有的方法。

    Jun, 2023

  • 高维度探索中的聚类和预训练表示方法

    该论文采用密度估计问题的视角，研究在强化学习中基于表示的探索方法，提出了在3D环境中使用聚类表示进行探索的有效性，并探索了随机表示和预训练DINO表示进行聚类计数状态的方法，最终在VizDoom和Habitat环境中证明了该方法在探索方面优于其他已知方法。

    Feb, 2024