提出了一个基于 Actor-Critic 算法的多智能体强化学习算法，解决了多智能体场景下的信息筛选问题，可应用于大多数多智能体学习问题。

Oct, 2018

本文提出并调研了一种带有均匀大规模经验回放机制的演员 - 评论家增强学习算法，提供了解决两个挑战的方案：（a）利用经验回放的高效演员评论家学习（b）离线策略学习的稳定性。通过分析重要性权重采样中的偏差 - 方差权衡，提出了混合经验回放采样和在线策略采样的新的信任区间方案，旨在处理 V-trace 不稳定的数据分布，为超参数扫描提供了快速有效的解决方案，并在 Atari 游戏中证明了该设置的数据效率的优势。

Sep, 2019

我们提出了一种新颖的多智能体强化学习方法，即选择性多智能体优先经验中继，在此方法中，智能体在训练过程中与其他智能体共享所观察到的有限数量的过渡现象。我们展示了该方法优于基准的非共享分散训练和最先进的多智能体强化学习算法。此外，仅共享少量高度相关的经验优于智能体之间的所有经验的共享，而选择性经验共享的性能提升在许多超参数和 DQN 变体范围内都是稳定的。我们的算法的参考实现可在此 https URL 获得。

Nov, 2023

传统强化学习算法通常在机器人技术中用于学习具有固定控制频率的控制器。本文提出 Soft Elastic Actor-Critic（SEAC），这是一种新颖的离策略演员 - 评论家算法，旨在解决控制频率选择问题，通过实现弹性时间步长（具有已知可变时长的时间步长），使代理能够根据情况变化其控制频率，从而最大程度地减少计算资源和数据使用，提高能量效率和总体时间管理能力，尤其是在强化学习算法难以收敛的控制频率下，SEAC 表现出更快速和更稳定的训练速度。此外，与类似方法 Continuous-Time Continuous-Options（CTCO）模型相比，SEAC 的任务性能更好，突出了 SEAC 在实际机器人强化学习应用中的潜力。

Feb, 2024

本论文提出了一种新的强化学习算法 —— 乐观的 Actor-Critic 方法 (OAC)，通过在状态动作值函数上近似上限和下限的置信区间，实现了在探索性上的乐观及方向性采样，从而提高了算法对连续控制任务的采样效率。

Oct, 2019

本文提出协作多智能体探索（CMAE）方法，通过归一化熵技术从多个状态空间中选择目标，实现智能体之间探索的协调性，取得了多项任务的良好表现。

Jul, 2021

本文介绍了一个具有经验重放的 Actor-critic 深度强化学习算法，通过引入截断重要性采样、随机 Dueling 网络结构以及一种新的信任区域策略优化方法，稳定、高效地在包括离散的 57 种 Atari 游戏环境和多种连续控制问题中表现出色。

Nov, 2016

介绍了两种神经网络算法 ——trust region actor-critic with experience replay (TRACER) 和 episodic natural actor-critic with experience replay (eNACER)，以加速深度强化学习，在线学习过程中的效果，并利用演示数据来预先训练深度强化学习模型，以缓解冷启动问题。

Jul, 2017

本文研究深度强化学习在多智能体领域的应用，提出一种基于演员 - 评论家方法的适应性策略，可成功学习需要多智能体协作的复杂策略，并通过使用每个智能体的策略集进行训练，得到了更强大、更健壮的策略。在合作和竞争场景中，我们的方法相比现有方法能够发现各种物理和信息协调策略。

Jun, 2017

提出一种名为 MACE 的简单而有效的多智能体协同探索方法，通过仅传递本地新奇性，代理可以考虑其他代理的本地新奇性来近似全局新奇性，并引入加权互信息来衡量代理行为对其他代理累积新奇性的影响，在后见中将其转换为内在奖励，以鼓励代理对其他代理的探索产生更多影响并促进协同探索，并在三个稀疏奖励的多智能体环境中展示了 MACE 在性能上的优越性。

Feb, 2024