离线多智能体强化学习（MARL）是一个备受期待的新兴领域，然而，当前离线 MARL 研究存在基准和评估协议的不一致性问题，这使得准确评估进展、信任新提出的创新以及研究人员在前人工作上构建变得困难。本文首先通过代表性的离线 MARL 研究，确认了现有方法测量新算法性能的显著缺陷。其次，通过与这些前人工作的直接比较，我们展示了简单、良好实施的基准方法能够在各种任务中达到最新水平结果。具体而言，在前人工作中的 47 个数据集中的 35 个（约占 75%）中，我们达到或超越了当前号称的最优结果。令人惊讶的是，我们的基准方法通常远远优于这些更复杂的算法。最后，我们通过引入简便易行的评估标准方法并提供基准实现的具有统计学可靠性的结果，纠正了这些前人工作中的缺陷，并为未来的比较研究提供了有用的参考。我们的提议包括简单、合理易行的步骤，结合可靠的基准和对比结果，可能会大大提高离线 MARL 的实证科学水平。

Jun, 2024

提出了一种适用于基于数字孪生的无线网络的离线多智能体保守分位回归 (MA-CQR) 方案，通过集成分布式强化学习和保守 Q 学习来解决环境的内在的随机性不确定性和数据有限性导致的认识不确定性。在无人机网络中应用该方案，展示了其对轨迹规划问题的优势。

Feb, 2024

OMIGA 是一种新的离线多智能体强化学习算法，具有隐式的全局到局部值正则化，能够在实例学习中同时实现多智能体值分解和离线正则化的策略学习，通过在离线多智能体任务中的全面实验表明，OMIGA 在几乎所有任务中表现优于最先进的离线多智能体强化学习方法。

Jul, 2023

本研究提出了一种基于 actor-work-learner 架构的分布式 MARL 框架，在 MaCA 军事模拟环境和 SMAC 3D 实时战略游戏环境中验证了其在多智能体强化学习性能提升方面的有效性。

May, 2022

离线多智体强化学习通过静态经验数据集来学习最优的多智体控制，但从静态数据中进行学习面临一些独特的挑战。本文聚焦于协调失败问题，并研究了在离线数据中联合动作在多智体策略梯度方法中的作用，提出了一种基于数据的 ' 最佳响应 ' 方法，并通过分析工具二人多项式博弈展示了该方法存在的简单但被忽视的故障模式，该故障模式可能导致离线环境中的彻底协调失败。基于这些见解，我们提出了一种缓解此类故障的方法，通过优先选择具有联合动作相似性的样本来进行策略学习，并在详细实验中展示了其有效性。然而，我们认为基于优先选择的数据集采样是离线多智体强化学习中一个具有创新潜力的领域，可以与其他有效方法（例如评论家和策略规则化）相结合。重要的是，我们的工作展示了从简化、可追踪的游戏中得出的见解如何转化为对更复杂环境有用的理论基础见解。本项目提供一个交互式笔记本，几乎可以在浏览器中复现出我们的所有结果。

Jul, 2024

多智能体强化学习领域面临再现性危机，本文引入 BenchMARL 作为第一个用于标准化基准测试的训练库，具备高性能和最新技术实现，从而满足多智能体 PyTorch 用户的需求。

Dec, 2023

本文回顾了多智能体强化学习的一个分支领域 —— 网络化智能体下的去中心化多智能体强化学习。该领域的研究主要集中在多个代理在公共环境中执行顺序决策，而无需任何中央控制器的协调。代理可以通过通信网络与其邻居交换信息。此设置在机器人，无人驾驶车辆，移动传感器网络和智能电网的控制和操作中具有广泛应用。

Dec, 2019

本文总结了分布式无模型多智能体强化学习在多机器人协作中面临的挑战以及现有的解决方案类别，并介绍了基准测试和机器人应用，同时讨论了当前的研究方向。

Apr, 2022

在离线多智能体强化学习中，通过将生成过程建模为动态贝叶斯网络，我们的方法 MACCA 可以准确、可解释地分配每个个体的贡献，并且在离线数据集的设置下，已证明了其建模的正确性。实验证明，MACCA 在离散和连续动作环境中优于最先进方法并提高了其性能。

Dec, 2023

本研究提供一个系统化的评估来比较三种不同类别的多智能体深度强化学习算法（独立学习、集中式多智能体策略梯度、价值分解）在多样化的合作多智能体学习任务中的表现，为算法在不同学习任务中的预期性能提供参考，并提供了有关不同学习方法有效性的见解。我们开源了 EPyMARL，延伸了 PyMARL 代码库以包括其他算法，并允许对算法实现细节进行灵活配置，例如参数共享。最后，我们还开源了两个多智能体研究的环境，重点是在稀疏奖励下的协调。

Jun, 2020