Meta-SAC: 通过 Metagradient 自动调整软演员批评家的熵温度

ICMLJul, 2020

Meta-SAC: 通过 Metagradient 自动调整软演员批评家的熵温度

Meta-SAC: Auto-tune the Entropy Temperature of Soft Actor-Critic via Metagradient

Yufei Wang, Tianwei Ni

TL;DR本文提出一种新方法 Meta-SAC，基于 Soft Actor-Critic (SAC) 算法，使用元梯度及元目标来自动调整熵温度，以平衡任务原始奖励与策略熵，从而解决了探索利用困境的问题，并在 Mujoco 基准测试任务中达到了令人满意的性能。

Abstract

exploration-exploitation dilemma has long been a crucial issue in reinforcement learning. In this paper, we propose a new approach to automatically balance between these two. Our method is built upon the Soft Act

exploration-exploitation dilemma reinforcement learning soft actor-critic (sac) algorithm meta-sac mujoco benchmarking tasks

发现论文，激发创造

利用抑制网络的软 AC 框架加速重训练

本文提出了一种受神经科学研究启发的新方法，使用抑制性网络，以允许分离和自适应状态值评估，以及不同的自动熵调整，最终我们的方法允许控制抑制来处理利用较少风险获取的行为和探索新行为之间的冲突，以克服更具挑战性的任务，并通过在 OpenAI Gym 环境中进行实验验证。

Feb, 2022

自动温度调节的 Soft Actor-Critic 算法正则化

本文通过自动温度调整来规范化 Soft Actor-Critic（SAC）算法，重构政策评估、政策改进和温度调整的理论，以更明确的方式优化原始算法。

May, 2023

软性演员 - 评论家算法及其应用

本文介绍了一种基于最大熵强化学习框架的离线演员 - 评论家算法 Soft Actor-Critic，其中演员旨在同时最大化期望回报和熵，以在任务中成功执行尽可能随机的动作。作者通过对其进行一系列改进，如约束模型等，提高了模型的稳定性和训练速度，并在基准任务以及四足机器人的运动和灵巧手的机器人操作等现实世界挑战任务中取得了最先进的性能，在样本效率和渐近性能方面优于以往的在线和离线算法。

Dec, 2018

具有真正不等约束的软演员 - 评论算法

本篇论文在软性演员批评的强化学习中加入松弛变量，以适当处理不等式约束，最大化策略熵，从而实现了更高的稳定性和更稳定的学习，适用于真实世界的机器人控制。

Mar, 2023

DSAC-C: 基于约束的最大熵算法用于鲁棒离散软演员评论家

我们提出了一种新颖的 Soft Actor-Critic（SAC）算法扩展。基于最大熵原理，我们认为通过从替代性评论策略中得出的附加统计约束，可以进一步改进离散 SAC 算法。此外，我们的研究结果表明，这些约束对于潜在领域转移提供了额外的稳健性，这对于在现实世界中安全部署强化学习代理至关重要。我们提供了理论分析并展示了对 Atari 2600 游戏的分布内和分布外低数据范例的实证结果。

Oct, 2023

一个自调节的演员 - 评论算法

本文介绍了一种使用 metagradients 自动调整强化学习中超参数的算法 (Self-Tuning Actor-Critic)，此算法能够增加自主任务的数目并使用一个新颖的 leaky V-trace operator 来提高脱机学习的性能。在实验中，使用此算法进行了强化学习实验来证明算法的有效性。

Feb, 2020

S$^2$AC：基于能量的 Stein Soft Actor Critic 强化学习

学习表达性随机策略而不是确定性策略已经被提出，以实现更好的稳定性、采样复杂度和鲁棒性。我们提出了 Stein Soft Actor-Critic (S^2AC)，这是一种能够高效学习表达性策略的最大熵强化学习算法，通过使用参数化的 Stein 变分梯度下降（SVGD）作为基础策略，并导出了该策略的熵的闭合表达式。实证结果表明，在多目标环境中，S^2AC 相较于 SQL 和 SAC 能够提供更优的最大熵目标解，并在 MuJoCo 基准测试中胜过 SAC 和 SQL。

May, 2024

SARC：软性演员回顾评论家

本文提出了软演员回溯评论家（SARC）算法，通过增加回溯损失项来改进 SAC 的评论家学习，从而提高政策梯度估计和实现更好的策略，在基准环境中展示了 SARC 对 SAC 的持续改进表现。

Jun, 2023

实践中是否需要熵奖励？

本文研究熵作为内在奖励的效果，并在一种普遍的 MaxEnt RL 方法 —— 软性演员 - 评论家（SAC）中进行各种消融研究。我们发现熵奖励应谨慎用于策略评估，并且仅使用熵正则化来进行策略改进可获得可比甚至更好的性能和鲁棒性。因此，我们建议要么将熵奖励归一化为零平均值（SACZero），要么仅仅从策略评估中删除它（SACLite）以获得更好的实际结果。

Jan, 2022

多元化演员 - 评论家：针对样本高效探索的样本感知熵正则化

提出了基于样本感知的策略熵正则化方法，以增强传统策略熵正则化方法用于探索的性能；通过利用回放缓存中可获取的样本分布，最大化加权和策略行为分布和缓存中样本行为分布的熵来完成对样本高效的探索。并基于提出的样本感知熵正则化方法，开发出了一个名为多样性演员 - 评论家算法（DAC）的实用算法，并通过数值实验获得了在增强学习应用中的显著性能优势。

Jun, 2020