Sep, 2021

关于补贴驱动的 Arcade 学习环境中的探索方法

PDF
TL;DR研究强化学习探索，特别是在 Atari 2600 游戏中探索 Montezuma's Revenge 等困难问题中，通过探索奖励增强等方法，评估其性能表现，其在 Montezuma's Revenge 游戏方面表现出更高的得分，但在简单探索 Atari 2600 游戏方面表现不出色，而最近关于 Montezuma's Revenge 的进展可能更多地归因于架构变化，而不是更好的探索计划。
reinforcement learningatari 2600exploration bonusesmontezuma's revengegame-playing
发现论文，激发创造
  • 基于奖励的探索方法在 Arcade Learning Environment 上的基准测试

    在使用 Rainbow 算法的情况下，通过给予不同的激励奖励来比较不同探索算法在《蒙特祖玛的复仇》等难度大的游戏中的性能影响，结果表明这些新算法并没有显著的提高性能，在一些不需要探索的游戏中甚至表现更差。

    Aug, 2019

  • 从单次演示中学习 Montezuma's Revenge

    提出了一种新的利用单一示范来学习解决 Montezuma's Revenge 等复杂探索任务的方法，该方法通过最大化奖励来训练代理，缩短了学习时间，降低了任务复杂度。

    Dec, 2018

  • Go-Explore：一种解决困难探索问题的新方法

    采用记忆、回归与模拟学习等技术结合的算法 Go-Explore 在复杂探索问题上有了显著提高，打破了 Montezuma's Revenge 甚至超越了 Pitfall 的人类高分纪录，为强化学习领域提供了新思路。

    Jan, 2019

  • 利用深度预测模型在强化学习中激励探索

    本文提出一种使用神经网络参数化的模型学习探索奖励的方法，可以用于具有复杂、高维状态空间的任务，同时在 Atari 游戏领域中获得了最一致的改进。

    Jul, 2015

  • 通过椭圆周期性奖励进行探索

    研究了强化学习（RL）方法在探索复杂环境时的有效性，并引入通过椭圆形周期性奖励探索方法（E3B）以扩展计数周期性奖励至连续状态空间，使用反向动力学模型学习嵌入以捕获环境可控方面，可扩展到高维像素感知和现实环境中。在挑战任务中实现了全新的 state-of-the-art，而不需要特定于任务的归纳偏差，并在稀疏奖励、基于像素的 VizDoom 环境中与现有方法匹配，在 Habitat 上的无奖励探究中优于现有方法。

    Oct, 2022

  • 仔细观察：在 Atari 上实现一致的性能表现

    在本文中，我们提出了一个算法，它能够解决深度强化学习在 Atari 游戏集上遇到的三个关键难题，包括处理不同密度和规模的奖励分布、思考长时间序列以及有效地探索，该算法超过了人类在 40 个游戏上的表现，其中包括 Montezuma's Revenge 的第一关。

    May, 2018

  • 使用深度强化学习和人类检查点重现玩雅达利游戏

    这篇文章提出了一种使用深度强化学习来学习玩最困难的 Atari 2600 游戏的新方法，即基于人类游戏经验的检查点回放，并使用卷积神经网络作为模型，其结果显著优于先前的学习方法和随机玩家，同时提出了一种使用人类游戏经验来训练深度强化学习智能体的方法。

    Jul, 2016

  • 通过受限制优化提升内在奖励

    该研究提出了一种名为 EIPO 的优化策略，通过自动调整内在奖励的重要性来平衡任务奖励和内在奖励的关系，以获得最佳探索结果。经过在 61 个 ATARI 游戏中的测试，表现优异。

    Nov, 2022

  • 强化学习中纯探索的快速主动学习

    研究表明，对于纯探索目标的奖励免费探索，按比例缩放的奖励可以带来更快的学习率，从而提高了对于时限的依赖性的已知上限。此外，在最佳策略识别设置中，改进的停止时间分析可以将样本复杂度提高一倍。

    Jul, 2020

  • 基于状态抽象的近似探索

    研究强化学习中探索和近似之间的相互作用，提出一种基于密度建模的方法来改善探索，探讨伪计数奖励在此方法中的应用，发现了在其应用中可能存在的过度或不足探索问题，并提出一种新的伪计数奖励来缓解这些问题。

    Aug, 2018