Jun, 2023

使用前驱和后继表示的最大状态熵探索

PDF
TL;DR研究了一种基于过去经验的探索学习方法，通过最大化单个轨迹的状态访问分布的熵来学习探索策略，并证明了此方法在有限样本下最大化状态覆盖的有效性。
exploration algorithmsefficiencylearningentropystate visitation
发现论文，激发创造
  • 可证明高效的最大熵探索

    该研究采用条件梯度法，利用近似 MDP 求解器提供高效算法，解决了在没有奖励信号的情况下对一类内在目标进行优化的问题。

    Dec, 2018

  • 使用值条件状态熵探索加速强化学习

    本文提出了一种基于价值条件下的状态熵探索技术，该技术通过最大化条件价值估计的状态熵的平均值，分别估计每个状态的状态熵，再通过只考虑状态价值估计相似的访问状态来计算内在奖励，从而避免了低价值状态分布影响高价值状态周围的探索，加速了多种 RL 算法在各种任务中的表现。

    May, 2023

  • 如何在 POMDPs 中通过信念进行探索：状态熵最大化

    本文研究了强化学习中的状态熵最大化，针对部分观测的真实状态提出了一种内存和计算效率高的策略梯度方法，解决了目标近似、优化和幻觉问题，旨在推广状态熵最大化到更现实的领域。

    Jun, 2024

  • 学习潜在状态表示以加速探索

    通过先前的经验来学习有效的隐藏表示，以指示探索的区域，这对高维空间中的探索尤其有益。

    May, 2019

  • 继承 - 前继内在探索

    本篇论文提出了 Successor-Predecessor Intrinsic Exploration (SPIE) 算法，并将其应用于深度强化学习代理中，展示了在稀疏奖励和瓶颈状态下，相对于其它算法，SPIE 能够产生更具效率和更符合生态的探索行为，并取得更强的实证效果。

    May, 2023

  • 基于自由能原理的在观测噪声下无害探索的内在回报的模拟研究

    在强化学习中，人工智能代理通过执行任务来最大化数值奖励，探索是至关重要的，因为代理必须在利用之前发现信息。熵和好奇心是促进有效探索的两种奖励方式。这篇论文基于自由能原理（FEP）提出了隐藏状态好奇心，并发现熵和好奇心可以实现高效探索，特别是两者结合。特别是，在好奇心陷阱方面，具有隐藏状态好奇心的代理展示出了韧性，而预测误差好奇心的代理则受到了干扰。这表明实施 FEP 可能增强强化学习模型的鲁棒性和泛化性，并潜在地调整人工和生物代理的学习过程。

    May, 2024

  • 几何熵探索

    本文介绍了通过 Geometric Entropy Maximisation (GEM) 算法，实现在离散和连续领域中最大化状态访问的 Shannon 熵的几何感知，以解决复杂的强化学习问题。该算法的优势在于可以很好地解决具有稀疏奖励的强化学习问题，并被证实比其他深度强化学习探索方法更有效。

    Jan, 2021

  • 通过最大化 Rényi 熵进行无奖励强化学习框架探索

    通过最大化 Renyi 熵的方法，提出了一种适用于元 RL 的无奖励强化学习框架，该框架有效地解决了探索和利用分离的问题，并设计了相应的强化学习算法 (batch RL algorithm) 以便在规划阶段中能更好地处理任意奖励函数。

    Jun, 2020

  • 基于非参状态熵估计的策略梯度无任务探索

    本文通过提出新的策略搜索算法 MEPOL（Maximum Entropy POLicy optimization)，并在实验中展示了它在高维、连续控制领域中学习最大熵策略的能力，为研究 agent 在无奖励环境中探索最优策略的内在目标提供了一种可行的选择。

    Jul, 2020

  • 一种基于内在动机的学习方法，用于学习高度探索和快速运动策略

    本文提出一种新的代理与环境相互作用下的探索策略，旨在最小化步骤数、最大化稳态分布熵的下界，并引入三个下界分别对应三个最优化问题，再基于此提出 IDE$^{3}$AL 算法进行模型驱动的强化学习。

    Jul, 2019