Oct, 2023

f-策略梯度: 一种使用f-散度的目标条件化强化学习的通用框架

HTML
PDF
TL;DR此研究论文介绍了一种名为 $f$-PG 的新型鼓励探索方法，通过最小化智能体状态访问分布与目标之间的 f-分歧来实现稀疏奖励环境下的优化策略，同时引入了熵正则化策略优化目标 $s$-MaxEnt RL 用于优化度量为 L2 的奖励，在多个环境中展示了与标准策略梯度方法相比更好的性能。
发现论文，激发创造
  • 通过探索未被重视的奖励来改进政策梯度

    本文提出了一种新颖的无模型强化学习策略梯度算法，采用基于概率的有指导性的探索策略，相比现有熵正则化方法更有效地探索高维度的稀疏奖励空间，并在一系列算法任务上得到了成功的应用。

    Nov, 2016

  • 学习自我模仿多样化策略

    本文提出了一种基于自我模仿学习的深度强化学习算法，旨在优化在稀疏和情景化奖励设置下的RL算法的效率，并使用Stein变分策略梯度下降来解决自我模仿学习的局限性，并在连续控制MuJoCo运动任务的一个具有挑战性的变体上展示了其有效性。

    May, 2018

  • 强化学习中的探索与利用：一种随机控制方法

    研究探讨了在连续时间内通过采用熵正则化奖励函数促进探索和利用现有知识之间达到的最佳折衷方案，提出使用行为分布的微分熵来规范化奖励函数的熵正则化，并通过高斯分布表征推导出最佳反馈控制分布来平衡利用和探索性搜索，最后通过熵正则化 LQ 问题的解法证明当探索比重衰减至零时，解法能够收敛于经典 LQ 问题的解。

    Dec, 2018

  • 在线马尔可夫决策过程中全局凸奖励的强化学习中的勘探利用权衡

    研究了在Markov决策问题中，代理人通过在线凸规划算法设计非固定策略，以最大化全局凹奖励函数和矢量结果的均值，以解决多目标优化和Markov环境下的受限优化问题。

    May, 2019

  • 强化学习的无奖励探索

    该论文提出了一个新的“无奖励强化学习”框架，通过在探索阶段从 MDP采集轨迹来找到探索策略，并使用黑盒近似规划器计算接近最优的策略。

    Feb, 2020

  • 通过最大化Rényi熵进行无奖励强化学习框架探索

    通过最大化Renyi熵的方法，提出了一种适用于元RL的无奖励强化学习框架，该框架有效地解决了探索和利用分离的问题，并设计了相应的强化学习算法(batch RL algorithm)以便在规划阶段中能更好地处理任意奖励函数。

    Jun, 2020

  • 泛用效用的强化学习变分策略梯度方法

    该研究通过引入泛函的方法，提出了一种新的策略梯度算法，用于解决马尔可夫决策问题中带通用上限效用函数的策略优化问题，并证明了其全局收敛性和收敛速度。

    Jul, 2020

  • 针对强化学习的政策镜面下降算法：线性收敛、新采样复杂度和广义问题类

    本文提出了新的政策镜反射（PMD）方法，用于解决具有强凸性或一般凸性正则化的强化学习（RL）问题，并使用不同的采样方案建立了这些问题的随机对应物。我们证明了PMD方法在快速收敛到全局最优解方面的线性速率，提出了计算这些正则化梯度的复杂度，并展示了此正则化的应用性。

    Jan, 2021

  • 通用效用的强化学习：更简单的方差缩减和大状态行动空间

    我们提出了一种更简单的单循环，无参数归一化策略梯度算法，用于解决具有一般效用的强化学习问题，其中包括约束强化学习，纯探索以及从演示中学习等问题，同时通过线性函数逼近解决大状态-动作空间的设置，并展示了简单的策略梯度法的样本复杂度。

    Jun, 2023

  • 多模态轨迹优化的重参数化策略学习

    我们研究了在高维连续动作空间中参数化强化学习（RL）策略的挑战。我们的目标是开发一种多模式策略，以克服常用的高斯参数化方法固有的限制。为了实现这一目标，我们提出了一个原则性框架，将连续RL策略建模为最优轨迹的生成模型。通过将策略条件化于潜变量，我们导出了一种新颖的变分下界作为优化目标，以促进环境的探索。然后，我们提出了一种实用的基于模型的RL方法，称为重新参数化策略梯度（RPG），它利用多模式策略参数化和学习的世界模型来实现强大的探索能力和高效数据利用率。实证结果表明，我们的方法可以帮助Agent在具有密集奖励的任务中避免局部最优值，并通过结合面向对象的内在奖励来解决具有挑战性的稀疏奖励环境。我们的方法在各种任务中始终优于以前的方法。项目页面提供了代码和补充材料。

    Jul, 2023