采用记忆、回归与模拟学习等技术结合的算法Go-Explore在复杂探索问题上有了显著提高，打破了Montezuma's Revenge甚至超越了Pitfall的人类高分纪录，为强化学习领域提供了新思路。

Jan, 2019

Go-Explore算法通过显式地记住有前途的状态并在有意探索之前首先回到这些状态的简单原则，直接解决了探索中的“detach”和“derailment”问题，并在所有难探索游戏上超越了现有技术，并在稀疏奖励抓取放置机器人任务上展示了其实际潜力。

Apr, 2020

本文对Go-Explore论文中未解决的问题进行了系统研究，通过对一系列MiniGrid环境的实验发现，采用后探索策略能够显著提高强化学习的性能，并利用新的自适应方法进一步提高了效果，证明了自适应后探索是强化学习探索研究的一个有前途的方向。

Mar, 2022

本文旨在探讨强化学习中的探索问题以及先锋内在动机技术对不同设计因素的可变性和易感性的影响，强调这些设计方面的谨慎选择以及环境和任务的探索要求，以保证公正比较。

May, 2022

本文研究如何将内在动机与深度强化学习相结合，以用于连续系统的有向探索行为。我们基于动物激励系统的现有理论，提出了一种创新的、可扩展的有向探索策略，它受到价值函数误差的最大化的影响。大量实证研究表明，我们的框架可以扩展到更大、更多样化的状态空间，显著提高基线，明显优于非定向策略。

Oct, 2022

本研究基于强化学习，通过在人工设计产生的广泛目标空间中寻找可控、可达、新颖和相关目标的自主发现过程，弥补探索广域领域中新奇性和涵盖性行为不足的问题，并在三种具有挑战性的环境中证明了目标导向的探索的有效性。

Feb, 2023

本研究讨论了在稀疏奖励情况下深度强化学习方法的稀疏性会影响其样本效率，而内在动机学习是一种解决稀疏奖励问题的有效方法，文章将内在动机学习方法与Go-Explore框架相结合提出了一种叫I-Go-Explore的方法以缓解其所带来的detachments问题。

Feb, 2023

本篇论文提出了Successor-Predecessor Intrinsic Exploration (SPIE)算法，并将其应用于深度强化学习代理中，展示了在稀疏奖励和瓶颈状态下，相对于其它算法，SPIE能够产生更具效率和更符合生态的探索行为，并取得更强的实证效果。

May, 2023

提供一种新的方法Explore-Go，通过增加代理训练的状态数目，从而有效地增加代理的起始状态分布，以提高强化学习中的泛化性能。

Jun, 2024

本研究解决了强化学习中探索不足的问题，特别是在外部奖励稀少或缺失的环境中。通过利用预训练的基础模型，该研究提出了一种新颖的方法，强调发掘情节新颖性项在提高代理探索有效性方面的重要作用。实验结果表明，完整状态信息的内在模块显著提高了样本效率，并加速了学习过程，显示出基础模型的嵌入效果优于代理在训练期间构建的嵌入。

Oct, 2024