Jan, 2022

生成对抗探索强化学习

PDF
TL;DR本文提出一种新方法，即生成对抗性探索 (GAEX)，来通过引入来自生成对抗网络的内在奖励，鼓励强化学习中的探索，以帮助鉴别是否访问了新颖的状态，而不是像以前的工作一样仅依赖于启发式规则或距离度量。实验结果表明，在 DQN 上应用 GAEX，可以在不进一步调整复杂的学习算法的情况下，在具有挑战性的探索问题中实现令人信服的性能提升，包括游戏 Venture、Montezuma's Revenge 和 Super Mario Bros。据我们所知，这是首次使用 GAN 解决强化学习中的探索问题。
reinforcement learningexplorationgenerative adversarial explorationnovelty detectiongan
发现论文，激发创造
  • 基于 GAN 的内在探索，用于高效样本的强化学习

    在这篇研究中，我们提出了基于生成对抗网络的内在奖励模块来解决强化学习中有效探索的问题，该模块学习所观察到状态的分布并发送内在奖励以引导智能体探索未被探索过的状态，我们通过对无奖励和稀疏奖励的游戏场景实验表明了该方法的有效性。

    Jun, 2022

  • 探索前进：在深度强化学习中利用探索进行泛化

    提供一种新的方法 Explore-Go，通过增加代理训练的状态数目，从而有效地增加代理的起始状态分布，以提高强化学习中的泛化性能。

    Jun, 2024

  • 强化学习高效增强经验回放生成

    使用改进的生成对抗网络 (EGAN) 作为深度强化学习代理初始化器，加速深度强化学习在实际系统中的学习速率，特别适用于数据采样稀疏和缓慢的实时系统。

    May, 2017

  • 生成式探索与利用

    本文提出了一种新方法 Generative Exploration and Exploitation（GENE），通过自动生成初始状态鼓励代理探索环境并利用接收到的奖励信号，可以自适应地在探索和利用之间进行权衡并与任何强化学习算法结合使用，实证表明 GENE 在三个只有二进制奖励的任务中明显优于现有方法，并验证了渐进式探索和自动反转的出现。

    Apr, 2019

  • 探索性示例模型用于深度强化学习

    本文提出了一种基于判别式训练范例模型的探索性新颖性检测算法，该算法可以应用于稀疏回报问题的深度强化学习任务，此方法在 vizDoom 基准测试中取得了最先进的结果。

    Mar, 2017

  • 强化学习中勘探对泛化的重要性

    基于探索的深度强化学习方法对新环境具有良好的泛化能力，通过使用一种基于 Q 值分布集合的探索方法，该算法在 Procgen 和 Crafter 两个高维强化学习一般化基准上取得了最新的进展。

    Jun, 2023

  • 基于邻近状态的强化学习探索

    本文研究了强化学习中的探索开发平衡问题，并提出两种基于邻近状态的无模型探索算法，其中一种方法（${ho}$-explore）在离散环境中相比于基准算法 Double DQN，在评估奖励回报方面提高了 49％。

    Dec, 2022

  • 基于深度强化学习的逃避式生成对抗网络用于僵尸网络检测

    本文提出一种名为 RELEVAGAN 的 GAN 模型，结合深度强化学习（DRL）产生语义感知的样本以抵抗对基于机器学习的僵尸网络检测器的对抗性规避攻击。

    Oct, 2022

  • 可转移的图探索学习

    该研究考虑了人工智能中尚未开发过的环境在探索方面的问题，并提出了一种从环境分布中学习策略的方法，将其作为强化学习任务来处理，以期能够在最短的步数内访问尽可能多的独特状态。实验结果表明，该方法在空间地图探索和领域特定程序和现实世界移动应用的覆盖率导向软件测试方面表现出色。

    Oct, 2019

  • 通过强化学习控制 GAN 的潜在空间：基于任务的图像到图像翻译案例研究

    通过将强化学习（RL）代理与潜在空间生成对抗网络（l-GAN）相结合，我们提出了一种新的方法来解决 GAN 生成过程中控制的挑战。我们开发了一个具备精心设计的奖励策略的 actor-critic RL 代理，使其能够在 l-GAN 的潜在空间中导航并根据指定任务生成输出，通过使用 MNIST 数据集进行了一系列实验证明了我们方法的有效性。我们首次将 RL 代理与 GAN 模型集成，具有极大的潜力来增强生成网络。

    Jul, 2023