MAexp：基于强化学习的多智能体探索通用平台

Apr, 2024

MAexp：基于强化学习的多智能体探索通用平台

MAexp: A Generic Platform for RL-based Multi-Agent Exploration

Shaohao Zhu, Jiacheng Zhou, Anjun Chen, Mingming Bai, Jiming Chen...

TL;DR我们提出了一个通用的多 Agent 探索平台 MAexp，该平台整合了各种最先进的 MARL 算法和代表性场景，通过使用点云来表示探索场景，实现了高保真度的环境映射和大约比现有平台快 40 倍的采样速度。此外，MAexp 还配备了基于注意力的多 Agent 目标生成器和单 Agent 运动规划器，可以适应任意数量的 Agent 和各种类型的机器人。我们进行了大量实验，建立了一个旨在为具有连续动作的机器人在典型场景下展示几种高性能 MARL 算法的第一个基准。

Abstract

The sim-to-real gap poses a significant challenge in RL-based multi-agent exploration due to scene quantization and action discretization. Existing platforms suffer from the inefficiency in sampling and the lack of diversity in Multi-Agent Reinforcement Learning (MARL) algorithms acros

sim-to-real gap rl-based multi-agent exploration marl algorithms point clouds benchmark

发现论文，激发创造

从多智能体到多机器人：一款可扩展的多机器人强化学习训练和评估平台

本文介绍了一个用于多机器人强化学习的可扩展仿真平台 SMART，该平台包含了一个仿真环境和一个真实的多机器人系统，以提供多样化的交互场景进行训练，并支持基于插件的算法实现。在此基础上，我们研究了合作驾驶变道场景所涉及到的若干具有挑战性的问题，并开源我们的仿真环境及其相关基准测试任务和最先进的基线模型，以推动和强化多机器人强化学习的研究。

Jun, 2022

MESA：基于状态动作空间结构的多智能体学习中的合作元探索

MESA 是一种新颖的元探索方法，通过从训练任务中识别代理的高奖励联合状态 - 动作子空间，然后学习一组多样性的探索策略来解决多智能体协同学习中有效探索的问题。实验证明，通过学习到的探索策略，MESA 在稀疏奖励环境和挑战性任务中均能显著提高性能，并具备在测试时泛化到更复杂任务的能力。

May, 2024

高效的多智能体强化学习规划

多智能体强化学习算法（MARL）通过采取模型化方法来提高样本效率并在多个任务中表现出可比或更好的性能。

May, 2024

异步多智能体强化学习用于高效实时多机器人协同探索

我们提出了一种异步的多智能体强化学习算法，Asynchronous Coordination Explorer (ACE)，可以在处理机器人探索问题时减少实际探索时间，并通过使用基于 CNN 的策略将遗失的机器人维护在一个团队中。

Jan, 2023

有效多智能体 Q-Learning 的图探索

本文提出了一种基于图通信的多智能体强化学习探索技术，通过邻近智能体的协作来估计状态 - 动作空间的不确定性，从而在不需要计数机制且可以应用于连续状态环境的前提下执行更有效的探索行为，可以实现最小的信息交换和完全分散的通信方式，并用理论和实验结果分别验证了其在离散状态和连续状态下的性能。

Apr, 2023

FoX：多智能体强化学习中的形成感知探索

在多个合作多代理任务中，为解决探索受到多个 agent 的部分可观测性和探索空间呈指数增长的挑战，本研究提出了一种新的基于形成意识的探索框架（FoX），通过引导部分可观测 agent 在不同形成中访问状态，显著优于先前算法。

Aug, 2023

从经验回放缓冲生成子目标的多智能体强化学习

本论文提出了一种名为 MASER 的新方法，它通过从经验回放缓存生成子目标来解决稀疏奖励的协作多代理强化学习问题。数值结果表明，与其他最先进的 MARL 算法相比，MASER 在 StarCraft II 微管理基准测试中显著优于其他算法。

Jun, 2022

协作多智能体强化学习的高效分布式框架

本研究提出了一种基于 actor-work-learner 架构的分布式 MARL 框架，在 MaCA 军事模拟环境和 SMAC 3D 实时战略游戏环境中验证了其在多智能体强化学习性能提升方面的有效性。

May, 2022

JaxMARL：基于 JAX 的多智能体强化学习环境

此研究论文利用 JAX 实现的开源代码库 JaxMARL，通过 GPU 加速以及更灵活的环境设计，提供了高效且全面的多智能体强化学习训练框架，有效应对了计算负担、样本复杂性等挑战。

Nov, 2023

高效的样本有效的多智能体强化学习：优化视角

我们研究了多智能体强化学习 (MARL) 在一般和马尔可夫博弈 (MG) 下具有一般函数逼近的情况。通过引入一种新颖的复杂度度量，即多智能体解耦系数 (MADC)，我们旨在找到基于样本高效学习的最小假设。利用该度量，我们提出了首个统一的算法框架，可以在低 MADC 的情况下保证在模型为基础和模型无关的 MARL 问题中学习纳什均衡、粗粒度相关均衡和相关均衡的样本效率性。此外，我们还展示了与现有工作相比，我们的算法提供了可比较的次线性遗憾。此外，我们的算法结合了一个均衡求解器和一个单一目标优化次程序，用于求解每个确定性联合策略的正则化收益，从而避免在数据相关的约束条件下求解约束优化问题 (Jin et al. 2020; Wang et al. 2023)，或在复杂的多目标优化问题 (Foster et al. 2023) 中执行抽样过程，因此更适合于实证实现。

Oct, 2023