先回报，后探索

Apr, 2020

First return, then explore

Adrien Ecoffet, Joost Huizinga, Joel Lehman, Kenneth O. Stanley, Jeff Clune

TL;DRGo-Explore 算法通过显式地记住有前途的状态并在有意探索之前首先回到这些状态的简单原则，直接解决了探索中的 “detach” 和 “derailment” 问题，并在所有难探索游戏上超越了现有技术，并在稀疏奖励抓取放置机器人任务上展示了其实际潜力。

Abstract

The promise of reinforcement learning is to solve complex sequential decision problems autonomously by specifying a high-level reward function only. However, reinforcement learning algorithms struggle when, as is

reinforcement learning exploration go-explore sparse rewards intelligent agents

发现论文，激发创造

Go-Explore：一种解决困难探索问题的新方法

采用记忆、回归与模拟学习等技术结合的算法 Go-Explore 在复杂探索问题上有了显著提高，打破了 Montezuma's Revenge 甚至超越了 Pitfall 的人类高分纪录，为强化学习领域提供了新思路。

Jan, 2019

何时出发，何时探索：后探索对内在动机的益处

本文对 Go-Explore 论文中未解决的问题进行了系统研究，通过对一系列 MiniGrid 环境的实验发现，采用后探索策略能够显著提高强化学习的性能，并利用新的自适应方法进一步提高了效果，证明了自适应后探索是强化学习探索研究的一个有前途的方向。

Mar, 2022

先 Go，后 Post-Exploration：后探索在内在动机中的益处

该论文研究了强化学习领域中的一种新方法 “Go-Explore”，通过后探索 (post-exploration) 的方式探明未知状态，通过试验在 MiniGrid 和 Mujoco 环境下得出结论，该方法具有通用性，易于实现，RL 研究人员可考虑在 intrinsically motivated goal exploration process 中采用 post-exploration。

Dec, 2022

探索前进：在深度强化学习中利用探索进行泛化

提供一种新的方法 Explore-Go，通过增加代理训练的状态数目，从而有效地增加代理的起始状态分布，以提高强化学习中的泛化性能。

Jun, 2024

为高效探索确定目标取向轨迹

本研究查明了纯随机漫步无法在大多数环境中成功扩展探索领域，并提出将单个随机操作选择替换为随机目标选择，该方法与任何基于好奇心的探索和脱机强化学习代理兼容，并生成比单个随机操作更长且更安全的轨迹。

Jul, 2018

针对居住能源管理的 Go-Explore 算法

利用 Go-Explore 算法来解决居民能源管理问题中的节约成本任务，并与众所周知的强化学习算法相比，取得了高达 19.84% 的改进。

Jan, 2024

强化学习的无奖励探索

该论文提出了一个新的 “无奖励强化学习” 框架，通过在探索阶段从 MDP 采集轨迹来找到探索策略，并使用黑盒近似规划器计算接近最优的策略。

Feb, 2020

提高代理学习的方法：保证所有回合实现目标

强化学习是解决环境并实现目标达成的框架，该研究提出了一种灵活的算法来提升学习效率并确保目标达成的性质。通过实验证明，该算法能够增强学习效果并保持目标的达成性质。

May, 2024

前向 - 后向强化学习

通过训练一个模型来从已知的目标状态开始进行逆向预测，将强化学习中的目标函数引入到代理中，从而加速训练过程，并在 Gridworld 和汉诺塔游戏中进行了实验验证。

Mar, 2018

先探索，再利用：元学习智能探索

提出了一种新的元强化学习框架（First-Explore），它有两个策略：一个策略仅学习探索，另一个策略仅学习开发，该方法避免了尝试同时进行探索和开发的冲突，解决了普通 RL 和元 RL 方法中学习智能探索的核心障碍，提高了样本效率，并在需要牺牲奖励的领域中优于传统 RL 和元 RL 方法，从而可以学习人类级别的探索，解决具有挑战性的未知难探索领域。

Jul, 2023