Oct, 2023

f - 策略梯度：一种使用 f - 散度的目标条件化强化学习的通用框架

PDF
TL;DR此研究论文介绍了一种名为 $f$-PG 的新型鼓励探索方法，通过最小化智能体状态访问分布与目标之间的 f - 分歧来实现稀疏奖励环境下的优化策略，同时引入了熵正则化策略优化目标 $s$-MaxEnt RL 用于优化度量为 L2 的奖励，在多个环境中展示了与标准策略梯度方法相比更好的性能。
goal-conditioned reinforcement learningsparse rewardsdense reward function$f$-policy gradients$state$-maxent rl
发现论文，激发创造
  • 联邦自然策略梯度方法用于多任务强化学习

    多任务情境下的联邦强化学习，通过策略优化实现分布式决策，并建立了全局收敛性保证。

    Nov, 2023

  • 泛用效用的强化学习变分策略梯度方法

    该研究通过引入泛函的方法，提出了一种新的策略梯度算法，用于解决马尔可夫决策问题中带通用上限效用函数的策略优化问题，并证明了其全局收敛性和收敛速度。

    Jul, 2020

  • 学习自我模仿多样化策略

    本文提出了一种基于自我模仿学习的深度强化学习算法，旨在优化在稀疏和情景化奖励设置下的 RL 算法的效率，并使用 Stein 变分策略梯度下降来解决自我模仿学习的局限性，并在连续控制 MuJoCo 运动任务的一个具有挑战性的变体上展示了其有效性。

    May, 2018

  • 联合策略梯度方法在存在对手情况下的全局收敛保证

    在 Federated Reinforcement Learning 中，我们提出了一种基于策略梯度的方法，能够在存在对抗性代理的情况下，实现全局收敛性保证，并具有较低的样本复杂度。

    Mar, 2024

  • PC-PG: 基于策略覆盖指导探索的可证明策略梯度学习

    介绍了 Policy Cover-Policy Gradient (PC-PG) 算法，其通过学习的策略集 (策略保证) 来平衡探索和开发的权衡，同时具有强大的模型误差优化保证

    Jul, 2020

  • 提高熵以提升个性化任务的政策梯度性能

    基于策略梯度的强化学习代理为了多样性，探究了正则化对行动多样性的影响，并通过实验结果证明了多样性促进的策略正则化在个性化任务的性能提升方面具有显著优势，同时不损失准确性。

    Oct, 2023

  • 政策梯度背后的探索神话

    我们提出了一种新的分析方法，并区分了探索技术的两个不同影响。首先，它们使得能够平滑学习目标并消除局部最优解，同时保留全局最优解。其次，它们修改了梯度估计，增加了随机参数更新最终提供最优策略的概率。在这些影响的基础上，我们讨论并通过熵奖励进行了实证研究，突出了其局限性，并为该策略的设计和分析开辟了未来的研究方向。

    Jan, 2024

  • AlgaeDICE: 来自任意经验的策略梯度

    本文提出一种新颖的强化学习算法，利用双重变量不等式技术，通过辅助最优化问题得到二阶鞍点，无需使用重要性加权，实现了从任意行为策略上学习并优化目标策略。

    Dec, 2019

  • 熵正则化强化学习的套娃政策梯度：收敛和全局最优性

    本研究介绍并研究了一种名为 Matryoshka Policy Gradient（MPG）的新型策略梯度算法，可在最大熵强化学习环境下学习相互关联的有限任务，证明了其收敛性和全局最优性，适用于神经网络参数化的策略优化，以及在标准测试基准上的数值评估。

    Mar, 2023

  • 进化策略梯度

    该研究提出了一种元学习方法，用于学习基于梯度的加强学习算法，即演化可微损失函数，以便代理可以最小化该损失来优化其策略并获得高回报。经实证结果表明，与现成的策略梯度方法相比，所提出的演化策略梯度算法（EPG）在几个随机环境上实现了更快的学习，且其学习的损失可以推广到测试时间外的任务，并呈现出与其他流行的元学习算法截然不同的行为。

    Feb, 2018