Dec, 2022

先 Go，后 Post-Exploration：后探索在内在动机中的益处

PDF
TL;DR该论文研究了强化学习领域中的一种新方法 “Go-Explore”，通过后探索 (post-exploration) 的方式探明未知状态，通过试验在 MiniGrid 和 Mujoco 环境下得出结论，该方法具有通用性，易于实现，RL 研究人员可考虑在 intrinsically motivated goal exploration process 中采用 post-exploration。
go-explorereinforcement learningpost-explorationintrinsically motivated goal exploration processrl researchers
发现论文，激发创造
  • 何时出发，何时探索：后探索对内在动机的益处

    本文对 Go-Explore 论文中未解决的问题进行了系统研究，通过对一系列 MiniGrid 环境的实验发现，采用后探索策略能够显著提高强化学习的性能，并利用新的自适应方法进一步提高了效果，证明了自适应后探索是强化学习探索研究的一个有前途的方向。

    Mar, 2022

  • 先回报，后探索

    Go-Explore 算法通过显式地记住有前途的状态并在有意探索之前首先回到这些状态的简单原则，直接解决了探索中的 “detach” 和 “derailment” 问题，并在所有难探索游戏上超越了现有技术，并在稀疏奖励抓取放置机器人任务上展示了其实际潜力。

    Apr, 2020

  • Go-Explore：一种解决困难探索问题的新方法

    采用记忆、回归与模拟学习等技术结合的算法 Go-Explore 在复杂探索问题上有了显著提高，打破了 Montezuma's Revenge 甚至超越了 Pitfall 的人类高分纪录，为强化学习领域提供了新思路。

    Jan, 2019

  • 探索前进：在深度强化学习中利用探索进行泛化

    提供一种新的方法 Explore-Go，通过增加代理训练的状态数目，从而有效地增加代理的起始状态分布，以提高强化学习中的泛化性能。

    Jun, 2024

  • 超越想象：通过世界模型最大化情节可达性

    本文介绍了一种名为 GoBI（Go Beyond Imagination）的新型内在奖励设计，结合传统的终身新颖性动机和以步进可达性扩展为目标设计的情节内在奖励，通过应用学习到的世界模型生成具有随机动作的预测未来状态，从而给予那些在情节记忆中没有独特预测的状态高内在奖励，该方法在 12 个最具挑战性的 Minigrid 导航任务上大大优于之前最先进的方法，并提高了 DeepMind Control Suite 中运动任务的样本效率。

    Aug, 2023

  • 针对居住能源管理的 Go-Explore 算法

    利用 Go-Explore 算法来解决居民能源管理问题中的节约成本任务，并与众所周知的强化学习算法相比，取得了高达 19.84% 的改进。

    Jan, 2024

  • 通过受限制优化提升内在奖励

    该研究提出了一种名为 EIPO 的优化策略，通过自动调整内在奖励的重要性来平衡任务奖励和内在奖励的关系，以获得最佳探索结果。经过在 61 个 ATARI 游戏中的测试，表现优异。

    Nov, 2022

  • 先探索，再利用：元学习智能探索

    提出了一种新的元强化学习框架（First-Explore），它有两个策略：一个策略仅学习探索，另一个策略仅学习开发，该方法避免了尝试同时进行探索和开发的冲突，解决了普通 RL 和元 RL 方法中学习智能探索的核心障碍，提高了样本效率，并在需要牺牲奖励的领域中优于传统 RL 和元 RL 方法，从而可以学习人类级别的探索，解决具有挑战性的未知难探索领域。

    Jul, 2023

  • 稀疏奖励多智能体强化学习中基于好奇心的探索

    本研究讨论了在稀疏奖励情况下深度强化学习方法的稀疏性会影响其样本效率，而内在动机学习是一种解决稀疏奖励问题的有效方法，文章将内在动机学习方法与 Go-Explore 框架相结合提出了一种叫 I-Go-Explore 的方法以缓解其所带来的 detachments 问题。

    Feb, 2023

  • 为高效探索确定目标取向轨迹

    本研究查明了纯随机漫步无法在大多数环境中成功扩展探索领域，并提出将单个随机操作选择替换为随机目标选择，该方法与任何基于好奇心的探索和脱机强化学习代理兼容，并生成比单个随机操作更长且更安全的轨迹。

    Jul, 2018