Sep, 2018

CM3：合作多目标多阶段多智能体强化学习

PDF
TL;DR本文提出了一种名为 CM3 的结构，包括单个代理目标达成先于多个代理协作的学习过程和一种新的多目标多代理政策梯度，具有局部信任分配的信用功能。该结构在解决多个多目标多代理问题方面具有明显优势。
cooperative multi-agent controlindividual goal attainmentmulti-goal multi-agent policy gradientcredit functionfunction augmentation
发现论文，激发创造
  • 具有图卷积通信的反事实多智体强化学习

    该研究提出了一种基于图卷积和多因素策略梯度的架构，用于解决在多观察环境下多智能体之间合作最大化系统功用时的通信和奖励分配问题，并在一系列任务中取得了优异表现。

    Apr, 2020

  • 学会合作：基于多智能体强化学习的多场景排名

    本文提出了一种能够对多种不同场景中排名策略进行联合优化的多智能体模型，其中包括了一个通信组件、多个私有智能体以及一个中央协调者，并通过在线评估结果证明了该模型能够显著提高整体性能。

    Sep, 2018

  • 反事实多智能体策略梯度

    通过提出一种新的多智能体演员 - 评论家方法，使用中心化评论家估算 Q 函数和分散化演员来优化智能体的策略，使用反事实基线来处理多智能体学分分配的挑战，该方法能够有效地学习到分散式问题的解决方案，并在星际争霸微操作测试环境中显著提高了绩效表现。

    May, 2017

  • 多智能体强化学习的最大互信息框架

    本文提出了一个最大互信息（MMI）框架，用于多智能体强化学习，通过在行动之间的互信息上采取正则化累积回报，使多个智能体学习协调行为。通过引入潜在变量来诱导非零互信息，并应用变分界，我们推导了所考虑的 MMI - 正则化目标函数的可处理下界。将策略迭代应用于最大化所得到的下界，我们提出了一个名为变分最大互信息多智能体演员 - 评论家（VM3-AC）的实用算法，它遵循中央化学习与分散执行（CTDE）的方法。我们在几个需要协调的游戏中评估了 VM3-AC，并且数值结果表明 VM3-AC 在需要协调的多智能体任务中优于 MADDPG 和其他 MARL 算法。

    Jun, 2020

  • 多智能体强化学习中基于互信息协调的变分方法

    本文提出了一种新的用于多智能体强化学习的互信息框架，以实现多个智能体协调行为，并通过同时多智能体行为间的互信息来规范累积收益。将多个智能体行为间的互信息引入一个潜在变量，应用变分下界，得到了一个可处理的目标函数下界，该下界可以解释为最大熵强化学习与其他智能体行为的不确定性降低相结合，通过将此下界最大化，提出了一个名为变分最大互信息的多智能体演员 - 批评家算法 (VM3-AC)，其遵循集中式学习与分散式执行。在多个需要协调的游戏中对 VM3-AC 进行了评估，数值结果表明 VM3-AC 在需要高质量协调的多智能体任务上胜过其他多智能体强化学习算法。

    Mar, 2023

  • 高效的基于模型的多智能体平均场强化学习

    提出基于模型的强化学习算法 $ ext {M}^3 ext {-UCRL}$ 来解决具有未知系统动态的多智能体系统的协同最大化奖励问题，并且使用平均场类型分析获得针对 $ ext {MFC}$ 的前沿纠悔界，最终在控制具有无限智能体的群体运动问题上进行了实验。

    Jul, 2021

  • 多阶段强化学习任务的协作策略开发

    本文提出了合作连续策略（CCP) 方法，可以让连续的代理合作解决长时间跨度的多阶段任务，在多个测试领域中，该方法成功地超越了一组简单策略，单一代理以及另一个顺序 HRL 算法。

    May, 2022

  • 合作多智能体增强学习中的共识达成与目标想象

    多智能体协调中，达成共识是关键。本文提出一种基于模型的共识机制，通过想象出一个共同目标来引导多智能体达成共识，进而引导他们合作地达到有价值的未来状态。

    Mar, 2024

  • 多智能体协作中个体和整体目标的对齐

    通过建模为可微分博弈，并引入一种名为利他梯度调整（AgA）的新型优化方法，本研究成功地实现了个体和集体目标之间的对齐，加速了收敛并促进了利他和公平的协作。

    Feb, 2024

  • 学习团队对齐：基于多智体团队的自适应 Credo 框架

    在多智能体团队中使用混合激励机制具有优势，作者们提出了一个框架，在此框架下，学习智能体可以通过其奖励函数的不同部分自我调节其激励配置。他们的模型基于分层强化学习和元学习的思想，可以学习支持行为策略发展的奖励函数的配置。初步结果表明，通过自我调整各自的团队配置参数，智能体可以实现更好的全局结果。

    Apr, 2023