本研究提出了一种名为value propagation的基于softmax时间一致性和分布式优化的MARL算法，实现了非线性函数逼近、非asymptotic收敛率、离线策略转移和控制的收敛保证。

Jan, 2019

本综述文章探讨了最新的多智能体强化学习算法，特别关注建模和解决合作多智能体强化学习问题的五种常见方法，以及MARL在真实世界应用中的成功，并提供了可用于MARL研究的环境列表和可能的研究方向。

Aug, 2019

本研究提供一个系统化的评估来比较三种不同类别的多智能体深度强化学习算法（独立学习、集中式多智能体策略梯度、价值分解）在多样化的合作多智能体学习任务中的表现，为算法在不同学习任务中的预期性能提供参考，并提供了有关不同学习方法有效性的见解。我们开源了EPyMARL，延伸了PyMARL代码库以包括其他算法，并允许对算法实现细节进行灵活配置，例如参数共享。最后，我们还开源了两个多智能体研究的环境，重点是在稀疏奖励下的协调。

Jun, 2020

本文提出了一种新的动态稀疏训练方法用于加速深度强化学习的过程，通过在持续控制任务上实验证明，该方法可以显著提高深度强化学习的性能，降低参数数量和浮点运算数，并使训练步骤减少40-50%。

Jun, 2021

本文提出了一种基于梯度建网络拓扑演化的新型稀疏深度强化学习（DRL）训练框架RLx2，通过动态容量回放缓冲器实现稀疏模型中的坚韧价值学习和效率拓扑探索，实现了7.5~20倍的模型压缩，同时保持不到3% 的性能降低并减少20~50倍的FLOPs训练和推理开销。

May, 2022

在深度强化学习领域，这项工作系统地研究了应用多种现有的稀疏训练技术在各种强化学习代理和环境中的可行性，结果发现，稀疏网络比密集网络在相同数量参数下表现更好，我们提供了有关如何改善稀疏训练方法有效性以及推进其在深度强化学习中应用的有益思路。

Jun, 2022

本研究旨在训练多个视觉环境下的RL代理以提高观察泛化性能，并提出了一种延迟评论者策略梯度（DCPG）算法，该算法可以使用单一统一的网络架构来实现，极大地提高了Procgen基准测试的样本效率和观测泛化性能。

Oct, 2022

本研究提出了一种新的显式学分分配方法，名为具有贪心边际贡献的自适应价值分解（AVGM），它基于一种自适应价值分解，可以学习动态变化的多个智能体组的协作价值，并使用由价值分解计算出的贪心边际贡献作为个体信用来激励智能体学习最优协作策略。实验结果表明，我们的方法在多个非单调领域取得了显着的性能提高。

Feb, 2023

本文提出了一种新的多智能体价值算法，混合Q-函数（MQF），通过同时评估多种动作，改善了多智能体连续领域中基于价值的方法，促进了智能体之间的合作，并在六个合作多智能体场景中实证发现MQF通过快速动作评估和增加样本效率优于四个变种的深度确定性策略梯度算法。

Feb, 2024

合作多智能体强化学习是一个在过去五年中越来越重要的研究主题，因其在现实世界中的巨大应用潜力。本文提出了一个通用的训练框架MARL-LNS，通过在交替的智能体子集上进行训练，并使用现有的深度MARL算法作为底层训练器来解决维度灾难的问题，而不需要额外的参数进行训练。基于该框架，我们提供了三种算法变种：随机大邻域搜索（RLNS），批量大邻域搜索（BLNS）和自适应大邻域搜索（ALNS），这些算法以不同的方式交替使用智能体子集。我们在StarCraft Multi-Agent Challenge和Google Research Football上测试了我们的算法，并证明我们的算法可以自动减少至少10％的训练时间，同时达到与原始算法相同的最终技能水平。

Apr, 2024