Mar, 2023

利用别名观测加速潜在图的探索与学习

PDF
TL;DR该论文提出了一种名为 eFeX 的算法，该算法能够大大提高探索效率，尤其在存在问题的拓扑结构中更为有效，通过对概率观测的处理，在状态不明确的情况下，实现了取得观测结果的最优决策。
exploration efficiencylatent graphprobabilistic observationsreinforcement learningefex algorithm
发现论文，激发创造
  • 可转移的图探索学习

    该研究考虑了人工智能中尚未开发过的环境在探索方面的问题，并提出了一种从环境分布中学习策略的方法，将其作为强化学习任务来处理，以期能够在最短的步数内访问尽可能多的独特状态。实验结果表明，该方法在空间地图探索和领域特定程序和现实世界移动应用的覆盖率导向软件测试方面表现出色。

    Oct, 2019

  • 永不放弃：学习有向探索策略

    本篇论文提出了一种基于强化学习和 UVFA 框架的方法，通过学习一系列定向的探索策略来解决难以探索的游戏，并使用轨迹存储和 kNN 算法来构造一种内在奖励信号，以影响策略的学习方式，并在 Atari-57 游戏套件中得到了很好的表现结果。

    Feb, 2020

  • 强化学习政策级解释的生成

    为了解释深度强化学习序列的决策，该研究提出了抽象策略图，作为一系列状态的马尔可夫链，以及基于值函数和观测到的转换的抽象策略图生成方法。该方法适用于许多现有的强化学习方法，具有二次时间复杂度和可靠性。

    May, 2019

  • 通过潜在状态解码的丰富观测下可证明的高效强化学习

    该论文研究了在具有大量从少量潜在状态生成的丰富观察结果的情节 MDPs 中的探索问题。在某些可辨识性假设下，研究人员通过一系列回归和聚类步骤归纳地估计了从观察到潜在状态的映射，并使用它构建了良好的探索策略。

    Jan, 2019

  • 一种基于内在动机的学习方法，用于学习高度探索和快速运动策略

    本文提出一种新的代理与环境相互作用下的探索策略，旨在最小化步骤数、最大化稳态分布熵的下界，并引入三个下界分别对应三个最优化问题，再基于此提出 IDE$^{3}$AL 算法进行模型驱动的强化学习。

    Jul, 2019

  • 基于状态抽象的近似探索

    研究强化学习中探索和近似之间的相互作用，提出一种基于密度建模的方法来改善探索，探讨伪计数奖励在此方法中的应用，发现了在其应用中可能存在的过度或不足探索问题，并提出一种新的伪计数奖励来缓解这些问题。

    Aug, 2018

  • 深度循环神经网络结构预测中的状态别名研究

    通过实验和分析，本论文研究了基于循环神经网络 (RNNs) 代理的表示学习，尤其是在政策梯度和基于价值的方法下对循环神经网络进行了训练。我们展示了当使用政策梯度进行训练时，循环神经网络往往无法学习到导致最优策略的状态表示。这一现象被称为状态别名问题，我们通过实验表明它在政策梯度下出现，同时在迷宫设置和更复杂的文本游戏上提出了训练 RNN 代理的建议。

    Jun, 2019

  • 为高效探索确定目标取向轨迹

    本研究查明了纯随机漫步无法在大多数环境中成功扩展探索领域，并提出将单个随机操作选择替换为随机目标选择，该方法与任何基于好奇心的探索和脱机强化学习代理兼容，并生成比单个随机操作更长且更安全的轨迹。

    Jul, 2018

  • 基于学习的图搜索问题算法

    在这篇研究论文中，我们考虑了最近由 Banerjee 等人（2022）提出的预测图搜索问题。我们设计了一种算法来应对未知图上的搜索任务，并且在预测误差上提供了最优或接近最优的算法依赖关系的保证。此外，我们还提出了 Banerjee 等人（2022）算法在已知图上的性能边界，并为该情景建立了新的下界。

    Feb, 2024

  • 有效多智能体 Q-Learning 的图探索

    本文提出了一种基于图通信的多智能体强化学习探索技术，通过邻近智能体的协作来估计状态 - 动作空间的不确定性，从而在不需要计数机制且可以应用于连续状态环境的前提下执行更有效的探索行为，可以实现最小的信息交换和完全分散的通信方式，并用理论和实验结果分别验证了其在离散状态和连续状态下的性能。

    Apr, 2023