带有定向协调图的分布式合作多智能体强化学习
本文提出了一种可行的分布式学习框架来处理多智能体协作强化学习中的信任问题,这种方法使用图的结构描述不同类型的多智能体之间的关系,并提出了两种基于本地价值函数的分布式 Reinforcement Learning (RL) 方法,能够在保证有效性的前提下,大幅减少采样复杂性。
Feb, 2022
本文提出了一种新的多智能体强化学习方法,旨在学习在有向无环图 (DAG) 约束条件下的多个协调智能体。我们的方法利用智能体之间的 DAG 结构,有效提高学习性能,并通过提出一种基于合成奖励的 MARL 模型的新型替代值函数来证明其作为最优值函数的下限。计算上,我们提出了一种实用的训练算法,利用新的领导智能体和奖励生成器 / 分配智能体引导分解的从属智能体更好地探索具有 DAG 约束的环境的参数空间。实证上,我们利用了四个 DAG 环境,包括英特尔高容量封装和测试工厂的真实排程,对我们的方法进行基准测试,证明其优于其他非 DAG 方法。
Jul, 2023
本研究提出了一种名为 value propagation 的基于 softmax 时间一致性和分布式优化的 MARL 算法,实现了非线性函数逼近、非 asymptotic 收敛率、离线策略转移和控制的收敛保证。
Jan, 2019
本文提出了两种具有函数逼近的分布式学习算法来解决网络智能体的多智能体强化学习问题,这两个算法均为完全去中心化的 Actor-Critic 算法,能够应用于大规模多智能体学习问题中,并在模拟实验中验证了算法的有效性和可收敛性。
Feb, 2018
本文提出了一种基于图通信的多智能体强化学习探索技术,通过邻近智能体的协作来估计状态 - 动作空间的不确定性,从而在不需要计数机制且可以应用于连续状态环境的前提下执行更有效的探索行为,可以实现最小的信息交换和完全分散的通信方式,并用理论和实验结果分别验证了其在离散状态和连续状态下的性能。
Apr, 2023
本文提出了一种基于 Cooperation Graph 结构的 Multiagent Reinforcement Learning(CG-MARL)算法,通过设计一个网络结构来有效处理多智能体领域中的稀疏奖励问题,并在实验中展示出全面领先的性能表现。
Aug, 2022
提出了基于 LTDE-Neural-AC 和演员 - 评论家方法的多智能体强化学习算法,应用于自驾车、拼车、数据和交通路由模型的图网络,其解决了分散式多智能体强化学习网络结构的问题,并具有收敛保证的优势。
Aug, 2021
本文研究了网络系统控制中的多智能体强化学习问题,提出了基于空间折扣因子的 NMARL 问题并引入了一种可微的通信协议 NeurComm 以提高学习效率和控制性能。实验结果表明,合适的空间折扣因子可以有效提高 MARL 算法的非通讯性学习曲线,而 NeurComm 在学习效率和控制性能方面均优于现有的通信协议。
Apr, 2020
本文回顾了多智能体强化学习的一个分支领域 —— 网络化智能体下的去中心化多智能体强化学习。该领域的研究主要集中在多个代理在公共环境中执行顺序决策,而无需任何中央控制器的协调。代理可以通过通信网络与其邻居交换信息。此设置在机器人,无人驾驶车辆,移动传感器网络和智能电网的控制和操作中具有广泛应用。
Dec, 2019