生成式探索与利用

AAAIApr, 2019

Generative Exploration and Exploitation

Jiechuan Jiang, Zongqing Lu

TL;DR本文提出了一种新方法 Generative Exploration and Exploitation（GENE），通过自动生成初始状态鼓励代理探索环境并利用接收到的奖励信号，可以自适应地在探索和利用之间进行权衡并与任何强化学习算法结合使用，实证表明 GENE 在三个只有二进制奖励的任务中明显优于现有方法，并验证了渐进式探索和自动反转的出现。

Abstract

sparse reward is one of the biggest challenges in reinforcement learning (RL). In this paper, we propose a novel method called Generative explora

reinforcement learning sparse reward generative exploration and exploitation exploration exploitation

发现论文，激发创造

基于 GAN 的内在探索，用于高效样本的强化学习

在这篇研究中，我们提出了基于生成对抗网络的内在奖励模块来解决强化学习中有效探索的问题，该模块学习所观察到状态的分布并发送内在奖励以引导智能体探索未被探索过的状态，我们通过对无奖励和稀疏奖励的游戏场景实验表明了该方法的有效性。

Jun, 2022

生成对抗探索强化学习

本文提出一种新方法，即生成对抗性探索 (GAEX)，来通过引入来自生成对抗网络的内在奖励，鼓励强化学习中的探索，以帮助鉴别是否访问了新颖的状态，而不是像以前的工作一样仅依赖于启发式规则或距离度量。实验结果表明，在 DQN 上应用 GAEX，可以在不进一步调整复杂的学习算法的情况下，在具有挑战性的探索问题中实现令人信服的性能提升，包括游戏 Venture、Montezuma's Revenge 和 Super Mario Bros。据我们所知，这是首次使用 GAN 解决强化学习中的探索问题。

Jan, 2022

稀疏奖励多智能体强化学习中基于好奇心的探索

本研究讨论了在稀疏奖励情况下深度强化学习方法的稀疏性会影响其样本效率，而内在动机学习是一种解决稀疏奖励问题的有效方法，文章将内在动机学习方法与 Go-Explore 框架相结合提出了一种叫 I-Go-Explore 的方法以缓解其所带来的 detachments 问题。

Feb, 2023

PlanGAN：基于模型的稀疏奖励和多目标规划

本研究提出了 PlanGAN，一种使用模型的算法，专门针对具有稀疏奖励环境的多目标任务进行求解，该算法比最成功的基于无模型 RL 算法的方法在提高 4-8 倍的样本效率下达到可比较的表现。

Jun, 2020

竞争性经验回放

本研究提出了一种称为 competitive experience replay 的新型方法，在一个探索竞争环境中补充一种稀疏奖励，以两个代理之间的竞争推动探索。在一些基于二进制奖励任务中，对该方法进行了广泛的实验，证明这种方法会导致更快的收敛和改进的任务表现。

Feb, 2019

强化学习中的稀疏奖励问题处理

本研究探索和对比了现有的强化学习方法，以避免仅提供稀少回报的环境的难度，并在不同难度和奖励频率的几个电子游戏环境中实施和比较不同的解决方案，提出了一种结合好奇心驱动探索和无监督辅助任务两种方法的新型强化学习解决方案。

Oct, 2019

针对居住能源管理的 Go-Explore 算法

利用 Go-Explore 算法来解决居民能源管理问题中的节约成本任务，并与众所周知的强化学习算法相比，取得了高达 19.84% 的改进。

Jan, 2024

RIDE: 面向程序生成环境的奖励驱动探索

本文提出一种新的内在奖励方式，鼓励机器人采取能够导致其学习的状态表示发生显著变化的行动，这种方法在稀疏回报和面向过程环境中的探索中更加高效。

Feb, 2020

零样本强化学习中的泛化探索

研究如何在强化学习的零样本泛化中，通过训练一个能够有效探索领域的行为策略，来克服先前面临的过拟合问题。该研究通过使用一套名为 “ExpGen” 的算法，在多个 ProcGen 挑战任务中实现了良好的实验效果，尤其是在迷宫和抢劫等与任务可视化相关深度度量难解的情形下。

Jun, 2023

稀疏奖励环境下的品质多样化算法学习

本文介绍了一种新颖的通过解决奖励稀疏性问题的算法，即 Novelty Search，探讨了如何用 Quality-Diversity Methods 来解决这个问题，尝试提出了一种利用 AutoEncoder 学习低维度搜索空间表示的 TAXONS 算法以及能够高效地聚焦于感兴趣的搜索空间部分的 SERENE 算法。

Mar, 2022