Jun, 2024

通过标准基线和评估披露离线多智体增强学习中进展的幻觉

PDF
TL;DR离线多智能体强化学习（MARL）是一个备受期待的新兴领域，然而，当前离线 MARL 研究存在基准和评估协议的不一致性问题，这使得准确评估进展、信任新提出的创新以及研究人员在前人工作上构建变得困难。本文首先通过代表性的离线 MARL 研究，确认了现有方法测量新算法性能的显著缺陷。其次，通过与这些前人工作的直接比较，我们展示了简单、良好实施的基准方法能够在各种任务中达到最新水平结果。具体而言，在前人工作中的 47 个数据集中的 35 个（约占 75%）中，我们达到或超越了当前号称的最优结果。令人惊讶的是，我们的基准方法通常远远优于这些更复杂的算法。最后，我们通过引入简便易行的评估标准方法并提供基准实现的具有统计学可靠性的结果，纠正了这些前人工作中的缺陷，并为未来的比较研究提供了有用的参考。我们的提议包括简单、合理易行的步骤，结合可靠的基准和对比结果，可能会大大提高离线 MARL 的实证科学水平。
offline multi-agent reinforcement learningevaluation protocolsbaselinesperformancecomparisons
发现论文，激发创造
  • 离网 MARL: 一个数据集生成框架，具备合作离线多智能体强化学习基线

    该研究为填补离线多智能体强化学习（MARL）领域中缺乏标准基准和评估方法的空白，提出了一个名为 OG-MARL 的离线 MARL 数据集和算法框架，包括一套标准评估方案。OG-MARL 的数据集本质上是从在线 MARL 基准中生成的，具有复杂的动态、非静态性、局部可观察性、次优性和稀疏奖励等特征。

    Feb, 2023

  • 一年间能发生多大变化？重新审视多智能体强化学习中的评估

    确立良好的实验标准和严谨性对于任何不断发展的研究领域都非常重要。深度多智能体强化学习是一个新兴的研究领域，虽然取得了令人激动的进展，但近期在合作设置方面，它受到了可复制性问题和缺乏标准化评估方法的质疑。尽管已经提出了一些协议来缓解这个问题，但积极监测该领域的健康状况仍然非常重要。本研究通过扩展之前已发表的评估方法数据库，包含了来自顶级会议的深度多智能体强化学习出版物的元数据，并将从此更新的数据库中提取到的结果与其工作中的趋势进行比较。我们的分析表明，许多性能报告方面令人担忧的趋势仍然存在，包括不报告不确定性量化、未报告所有相关评估细节和算法开发类别的狭窄。值得期望的是，我们观察到 SMAC-v1 中更困难场景的趋势，如果这一趋势延续到 SMAC-v2，将鼓励新颖的算法开发。我们的数据表明，多智能体强化学习社区需要更加积极地面对可复制性，以确保在我们迈向令人激动的新领域时对该领域的信任。

    Dec, 2023

  • 面向协作多智能体强化学习的标准化性能评估协议

    本篇论文通过元分析探究了近年来多智能体强化学习中合作场景下的评价方法，并提出了一个标准化的性能评估协议以提高未来相关研究的可信度与可复现性。

    Sep, 2022

  • BenchMARL: 多智能体强化学习基准

    多智能体强化学习领域面临再现性危机，本文引入 BenchMARL 作为第一个用于标准化基准测试的训练库，具备高性能和最新技术实现，从而满足多智能体 PyTorch 用户的需求。

    Dec, 2023

  • 基于模型的多智能体强化学习：最新进展和前景展望

    本文回顾了现有的关于基于模型的多智能体强化学习的研究，包括理论分析、算法和应用，并分析了基于模型的多智能体强化学习的优势和潜力。此外，我们提供了算法的详细分类，并根据多智能体情景中固有的挑战指出每个算法的优点和缺点。最后，我们总结了这一领域未来发展的有前途的方向。

    Mar, 2022

  • 合作任务中的多智能体深度强化学习算法评估

    本研究提供一个系统化的评估来比较三种不同类别的多智能体深度强化学习算法（独立学习、集中式多智能体策略梯度、价值分解）在多样化的合作多智能体学习任务中的表现，为算法在不同学习任务中的预期性能提供参考，并提供了有关不同学习方法有效性的见解。我们开源了 EPyMARL，延伸了 PyMARL 代码库以包括其他算法，并允许对算法实现细节进行灵活配置，例如参数共享。最后，我们还开源了两个多智能体研究的环境，重点是在稀疏奖励下的协调。

    Jun, 2020

  • 多智能体强化学习的速度性能表征

    通过加速角度对多智能体强化学习算法进行分类，并对三个最先进的算法进行性能瓶颈分析，从而提出了多智能体强化学习的延时受限吞吐量作为关键性能指标。

    Sep, 2023

  • 离线多智能体强化学习协调问题的基于模型的解决方案

    该研究针对现有离线多智能体强化学习算法在协作中存在的问题进行研究，并提出了一种基于模型的离线多智能体近端策略优化算法（MOMA-PPO），利用合成的交互数据帮助智能体在策略调整中更好地协调，成功解决了现有算法在多智能体任务中出现的协作问题。

    May, 2023

  • 多智能体强化学习：方法、应用、前景和挑战

    本文旨在回顾多智能体强化学习的基本方法、应用场景和当前存在的问题，提出未来十年的研究方向。研究重点包括多智能体强化学习的可扩展性、非平稳性、可信性、安全性、鲁棒性、泛化性和伦理约束等方面。另外，人机交互等人文因素是实际应用中必须考虑的问题。

    May, 2023

  • 从多智能体到多机器人：一款可扩展的多机器人强化学习训练和评估平台

    本文介绍了一个用于多机器人强化学习的可扩展仿真平台 SMART，该平台包含了一个仿真环境和一个真实的多机器人系统，以提供多样化的交互场景进行训练，并支持基于插件的算法实现。在此基础上，我们研究了合作驾驶变道场景所涉及到的若干具有挑战性的问题，并开源我们的仿真环境及其相关基准测试任务和最先进的基线模型，以推动和强化多机器人强化学习的研究。

    Jun, 2022