Sep, 2020

基于表征空间的新颖性搜索，用于高效探索

PDF
TL;DR通过将环境的低维编码与基于模型和无模型目标相结合的学习相结合，提出了一种有效探索的新方法，利用了基于低维表示空间最近邻之间的距离来衡量新颖性的固有奖励，进而在表示空间中利用这些固有奖励在奖励稀疏的困难探索任务中进行样本高效的探索。
发现论文，激发创造
  • 信息内容探索

    稀疏奖励环境对于强化学习代理是具有挑战性的，本文提出了一种新的内在奖励，系统地量化探索行为并通过最大化代理路径的信息内容来促进状态覆盖，通过与其他探索性内在奖励技术（即好奇心驱动学习和随机网络蒸馏）进行比较，证明了该信息理论奖励具有高效探索，其在包括 Montezuma Revenge 在内的各种游戏中的表现优于其他方法。最后，我们提出了一种在离散压缩的潜在空间中最大化信息内容的扩展方法，提高了样本效率并推广到连续状态空间。

    Oct, 2023

  • 学习潜在状态表示以加速探索

    通过先前的经验来学习有效的隐藏表示，以指示探索的区域，这对高维空间中的探索尤其有益。

    May, 2019

  • 基于 GAN 的内在探索，用于高效样本的强化学习

    在这篇研究中，我们提出了基于生成对抗网络的内在奖励模块来解决强化学习中有效探索的问题，该模块学习所观察到状态的分布并发送内在奖励以引导智能体探索未被探索过的状态，我们通过对无奖励和稀疏奖励的游戏场景实验表明了该方法的有效性。

    Jun, 2022

  • 探索性示例模型用于深度强化学习

    本文提出了一种基于判别式训练范例模型的探索性新颖性检测算法，该算法可以应用于稀疏回报问题的深度强化学习任务，此方法在 vizDoom 基准测试中取得了最先进的结果。

    Mar, 2017

  • 利用语言抽象和预训练表示进行语义探索

    本研究提出使用词汇和形象语言所构建的视觉和语言表示形式来加强强化学习的探索能力，实验证明这种方法可以改善在高维连续部分可观测空间中进行探索所遇到的问题，促进算法性能的提高。

    Apr, 2022

  • 基于无监督学习的目标领域非赏值驱动探索

    本研究提出使用深度表示学习算法学习目标空间的方法，通过此方法可以发现探索算法，与工程化表示法相比性能表现相匹配。

    Mar, 2018

  • RIDE: 面向程序生成环境的奖励驱动探索

    本文提出一种新的内在奖励方式，鼓励机器人采取能够导致其学习的状态表示发生显著变化的行动，这种方法在稀疏回报和面向过程环境中的探索中更加高效。

    Feb, 2020

  • 多智能体强化学习中避免重复探索

    在多智能体强化学习领域，内在动机作为一种重要的探索工具已经出现。我们提出了一种动态奖励缩放方法，以应对神经网络统计近似器的有限表达能力所带来的挑战，并有效控制多次重复访问任务空间的现象，在 Google Research Football 和 StarCraft II 微管理任务等挑战性环境中展示了改进的性能，尤其是在稀疏奖励设置下。

    Aug, 2023

  • 学习新任务的策略

    本文提出一种强化学习算法，通过自编码器将已发现策略的状态序列进行度量，以此产生新的策略，同时利用两个目标的策略梯度算法在策略更新中权衡任务奖励和新颖度奖励，最终得到一些解决特定任务和具有差异化行动序列的策略，并展示该方法在迷宫导航，机械臂和蹦跳机器人的运动任务以及对抗性任务中的有效性。

    May, 2019

  • 核和神经赌博中的纯探索

    本文研究了一种新的纯探索选择策略，通过自适应地将每个手臂的特征表示嵌入到低维空间中并仔细处理引起的模型错误，成果展示了该方法在核空间或神经表示中实现的有效维度。实验证明了该方法的有效性。

    Jun, 2021