Jun, 2020

多元化演员 - 评论家：针对样本高效探索的样本感知熵正则化

PDF
TL;DR提出了基于样本感知的策略熵正则化方法，以增强传统策略熵正则化方法用于探索的性能；通过利用回放缓存中可获取的样本分布，最大化加权和策略行为分布和缓存中样本行为分布的熵来完成对样本高效的探索。并基于提出的样本感知熵正则化方法，开发出了一个名为多样性演员 - 评论家算法（DAC）的实用算法，并通过数值实验获得了在增强学习应用中的显著性能优势。
policy entropyexplorationreplay buffersample distributiondiversity actor-critic
发现论文，激发创造
  • 扩散演员 - 评论者与熵调节器

    提出了一种名为 DACER 的在线强化学习算法，通过利用扩散模型的能力来拟合多模态分布，增强策略的表征能力，并提出了一种估算扩散策略熵的方法，在 MuJoCo 基准和多模态任务上实验证明了算法的最先进性能。

    May, 2024

  • ACE：具有因果感知熵调整的离策略演员 - 评论家算法

    我们提出了 ACE 算法：基于因果关系的策略梯度法，通过引入因果关系熵项和梯度休眠现象引导重置机制，取得了在连续控制任务上显著的性能优势。

    Feb, 2024

  • 提高熵以提升个性化任务的政策梯度性能

    基于策略梯度的强化学习代理为了多样性，探究了正则化对行动多样性的影响，并通过实验结果证明了多样性促进的策略正则化在个性化任务的性能提升方面具有显著优势，同时不损失准确性。

    Oct, 2023

  • DSAC-C: 基于约束的最大熵算法用于鲁棒离散软演员评论家

    我们提出了一种新颖的 Soft Actor-Critic（SAC）算法扩展。基于最大熵原理，我们认为通过从替代性评论策略中得出的附加统计约束，可以进一步改进离散 SAC 算法。此外，我们的研究结果表明，这些约束对于潜在领域转移提供了额外的稳健性，这对于在现实世界中安全部署强化学习代理至关重要。我们提供了理论分析并展示了对 Atari 2600 游戏的分布内和分布外低数据范例的实证结果。

    Oct, 2023

  • 演员 - 评论家算法对高熵最优策略存在隐式偏差

    通过交互式学习使用线性 softmax 策略和线性 MDP 更新的最简单的 actor-critic 方法，通过高熵优化实现了无需正则化或探索即可找到最优政策，从而消除了 MDP 中均匀混合假设的限制。

    Oct, 2021

  • 熵正则化神经自然演员 - 评论家算法的有限时间分析

    本文针对神经网络近似的 NAC 算法进行了有限时间分析，并指出了神经网络、正则化和优化技术在样本复杂性、迭代复杂性和过度参数化上达到证明良好性能的作用，特别地，我们证明熵正则化和平均化通过提供足够的探索避免了过于确定性和严格次优策略，正则化导致了在正则化 MDPs 中的尖锐样本复杂度和网络宽度，这在策略优化中产生了有利的偏差 - 方差权衡，而在此过程中，我们还发现了在全局优化中实现演员神经网络的均匀逼近能力的重要性，因为其具有分布转移的特征。

    Jun, 2022

  • 离散化正则化的多智能体演员 - 评论家算法

    本文研究了分歧规则化在合作多智能体强化学习中的应用，提出了一种新的脱机分歧规则化多智能体演员 - 评论家框架 (DMAC)，理论上证明了 DMAC 更新规则是自然的脱机更新，并在原始 MDP 和分歧正则化 MDP 中保证单调政策改进和收敛，实验证明 DMAC 明显提高了现有 MARL 算法的性能。

    Oct, 2021

  • 解耦的 Actor-Critic

    我们提出了一种名为 Decoupled Actor-Critic（DAC）的离策略算法，通过梯度反向传播学习两个不同的演员：一个保守的演员用于时序差分学习，一个乐观的演员用于探索。在 DeepMind Control 任务中，DAC 在低和高回放比例的情况下，并结合了多个设计选择，取得了最新的表现和样本效率。

    Oct, 2023

  • 相对熵正则化策略迭代

    我们提出了一种基于离线策略的 Actor-Critic 算法，结合了随机搜索梯度 - free 优化和学习的动作价值函数，通过评估参数化动作 - 价值函数、估计局部非参数化策略和拟合参数化策略的三个步骤，在 31 个连续控制任务中进行对比与实验，并取得了良好的效果。

    Dec, 2018

  • DSAC: 基于分布式的软演员 - 评论家算法用于风险敏感强化学习

    DSAC 是一种新的强化学习算法，它通过利用积累奖励的分布信息来获得更好的性能。通过将 SAC 与基本分布式目标观点无缝集成， DSAC 考虑了行动和回报中的随机性，并在几个连续控制基准测试中超越了现有技术基线。除此之外，我们还探讨了三个具体的与风险相关的度量标准：百分位数，均值 - 方差和扭曲期望，通过分布建模实现了 RL 中的风险敏感。

    Apr, 2020