May, 2024

智能 Go-Explore：站在巨人基础模型的肩膀上

PDF
TL;DRIntelligent Go-Explore (IGE) extends Go-Explore by replacing heuristics with giant foundation models (FMs), enabling instinctive identification of interesting states, capitalizing on serendipitous discoveries, and achieving impressive exploration capabilities in language-based tasks.
go-exploreintelligent go-exploreheuristicslanguage-based tasksexploration capabilities
发现论文，激发创造
  • Go-Explore：一种解决困难探索问题的新方法

    采用记忆、回归与模拟学习等技术结合的算法 Go-Explore 在复杂探索问题上有了显著提高，打破了 Montezuma's Revenge 甚至超越了 Pitfall 的人类高分纪录，为强化学习领域提供了新思路。

    Jan, 2019

  • 自动化可达性测试：在复杂的 3D 游戏环境中探索

    通过在游戏的导航网格上使用基于 Go-Explore 算法的简单启发式算法，以及并行处理器，实现了在测试游戏中发现难以察觉的到达性缺陷和全面探索复杂环境的目的，避免了需要人工演示或了解游戏动态的需求。Go-Explore 在覆盖导航网格和发现地图上的独特位置方面比包括驱动好奇心的强化学习在内的更复杂基线表现更好。

    Sep, 2022

  • 基于基础模型的机器人自学习框架：从探索中成长

    智能机器人是机器人领域的最终目标，本文提出了名为 GExp 的框架，通过自我探索、知识库构建和闭环反馈等模块，使机器人能够自主探索和学习，解决了机器人自主探索各种环境的挑战，并且提供了部署实际机器人系统作为全方位助手的工作流程。

    Jan, 2024

  • 免细胞潜在探索

    该论文利用学习到的潜在表示，引入了基于 “Go-Explore” 范例的 “潜在 Go-Explore”(LGE) 方法，该方法将普适应用于强化学习探索任务中，并在多个具有遥远探索难度的环境中展现比当下最佳算法更具鲁棒性和优异性能，例如 Montezuma's Revenge 环境。

    Aug, 2022

  • 超越想象：通过世界模型最大化情节可达性

    本文介绍了一种名为 GoBI（Go Beyond Imagination）的新型内在奖励设计，结合传统的终身新颖性动机和以步进可达性扩展为目标设计的情节内在奖励，通过应用学习到的世界模型生成具有随机动作的预测未来状态，从而给予那些在情节记忆中没有独特预测的状态高内在奖励，该方法在 12 个最具挑战性的 Minigrid 导航任务上大大优于之前最先进的方法，并提高了 DeepMind Control Suite 中运动任务的样本效率。

    Aug, 2023

  • 基于探索的基于文本游戏的语言学习

    本文介绍一种采用探索和模仿学习的代理程序，能够在玩基于文本的电脑游戏时表现出最先进的性能。该方法使用 Go-Explore 探索方法以及模仿学习策略去训练模型，实现了更高效的解决文本游戏和更强的泛化能力。

    Jan, 2020

  • 探索前进：在深度强化学习中利用探索进行泛化

    提供一种新的方法 Explore-Go，通过增加代理训练的状态数目，从而有效地增加代理的起始状态分布，以提高强化学习中的泛化性能。

    Jun, 2024

  • 先 Go，后 Post-Exploration：后探索在内在动机中的益处

    该论文研究了强化学习领域中的一种新方法 “Go-Explore”，通过后探索 (post-exploration) 的方式探明未知状态，通过试验在 MiniGrid 和 Mujoco 环境下得出结论，该方法具有通用性，易于实现，RL 研究人员可考虑在 intrinsically motivated goal exploration process 中采用 post-exploration。

    Dec, 2022

  • 想象，初始化和探索：一种有效的多智能体强化学习探索方法

    通过使用一种新的方法，称为 Imagine, Initialize, and Explore (IIE)，该方法使用转换模型使多个智能体达到关键状态，并以此为起点进行探索，实现高效多智能体探索。在实际测试中，IIE 在复杂环境下表现出优异的性能，超过了其他多智能体探索基线，特别在稀疏奖励任务中有更好的表现，并产生比 CVAE-GAN 和扩散模型更有效的课程。

    Feb, 2024

  • 复杂长时程机器人操作任务的内在语言引导探索

    在复杂稀疏环境中，提出使用大型语言模型（LLMs）的内在引导探索（IGE-LLMs）框架，以解决强化学习中的长期操纵任务的问题。结果显示，IGE-LLMs 在探索和长期操纵任务中表现出显著较高的性能，同时具有模块化性和对不同内在缩放参数的鲁棒性。

    Sep, 2023