May, 2023

集中式培训与分散式执行框架对于多智能体强化学习而言是否足够集中？

PDF
TL;DR本文介绍了一种名为 CADP（Centralized Advising and Decentralized Pruning）的框架，解决了现有的 CTDE 框架无法充分利用全局信息的问题，在保证了各个智能体独立策略的同时，通过启用显式的通信渠道，实现了智能体之间的有效信息交流与更加集中的训练，最终在 StarCraft II 和 Google Research Football 等基准测试中取得了优秀的性能表现。
centralized trainingdecentralized executionmulti-agent reinforcement learningcentralized advisingdecentralized pruning
发现论文，激发创造
  • 分散协作多智能体强化学习的部分调查

    多智能体强化学习在最近几年变得非常流行。有许多方法可以将其分为三种主要类型：中心化训练和执行（CTE）、中心化训练分布式执行（CTDE）和分散化训练和执行（DTE）。该论文探讨了这些方法及其应用于合作型多智能体强化学习的相关问题。

    May, 2024

  • 利用中央化训练的近期多智能体强化学习算法调查

    为了实现人类般的协作，大量工作致力于探索实现集中式学习与分散式执行 (CLDE) 方法的多智能体强化学习 (MARL) 范式。在这里，我们讨论了集中式训练的变化，并描述了最近算法方法的调查。探讨不同的信息共享机制的中心化学习系统的实现如何在执行合作任务的多智能体系统中产生不同的团体协调行为。

    Jul, 2021

  • 从显式通信到默示合作：一种新的协作多智能体强化学习范式

    该研究提出了一种新的训练方法，该方法在训练初期通过共享信息和重构信息来促进智能体之间的合作，随着训练的进行，逐渐过渡到完全去中心化的执行模式，实验结果表明该方法的性能不逊于基于传统通信的方法。

    Apr, 2023

  • 基于蒸馏执行的个性化多智体强化学习训练

    本文提出了一种新的多智能体强化学习范式 (PTDE) ，通过对全局信息进行个性化设置，将个体的全局信息提炼成本地信息，用于分权执行，实现更好的性能，其可与现有的算法结合使用，提高性能。

    Oct, 2022

  • AgentMixer: 多智能体相关策略分解

    通过引入策略修改，构建联合完全可观察策略的非线性组合，以实现分散执行，并联合训练联合策略和个体策略以确保一致性，理论上证明了该方法收敛到一个近似关联均衡，并在三个 MARL 基准上展示了强大的实验表现。

    Jan, 2024

  • 可伸缩的多智能体模型基强化学习

    本文提出了一种名为 MAMBA 的新方法，通过利用基于模型的强化学习（MBRL）进一步利用合作环境中的集中式训练，从而使代理之间的通信足以在执行阶段维持每个代理的世界模型，而虚拟推演可用于培训，从而通过减少与环境的互动次数，以与 Model-Free 的现有方法相比，在 SMAC 和 Flatland 的具有挑战性的领域中实现良好的性能。

    May, 2022

  • 相对熵正则化的有效多智能体深度强化学习控制

    本文提出了一种新颖的多智能体强化学习方法，即多智能体连续动态策略梯度（MACDPP），用于解决多智能体控制的各种场景中的能力有限性和样本效率的问题。通过在中央化训练与分散执行的框架中引入相对熵正则化以及参与者 - 判别者结构，缓解了多个智能体策略更新的不一致性。通过多智能体协作和竞争任务以及传统控制任务，包括 OpenAI 基准和机械臂操纵，评估了 MACDPP 在学习能力和样本效率方面相对于相关的多智能体和广泛实施的信号 - 智能体基准的显著优越性，从而扩展了多智能体强化学习在有效学习具有挑战性的控制场景中的潜力。

    Sep, 2023

  • 利用转化和蒸馏框架实现合作多智能体强化学习的全局最优

    本文提出了一种名为 TAD 的框架用于解决多智能体强化学习中去中心化执行策略下的优化问题，并理论上证明了使用 devaluation descent 优化方法时多个流行的多智能体强化学习算法是次优的。使用该框架实施的 TAD-PPO 算法在一系列合作多智能体任务中，相对于基于 PPO 算法的算法具有显著的优越性能。

    Jul, 2022

  • 基于集中训练和分散执行的多智能体深度强化学习在交通基础设施管理中的应用

    我们提出了一个多智能体深度强化学习框架，用于管理大型交通基础设施系统的全生命周期。该框架通过约束的部分可观测马尔可夫决策过程，解决了在存在不确定性、风险考量和有限资源的情况下，对交通基础设施进行优化管理的问题。通过开发一种名为 DDMAC-CTDE 的 Deep Decentralized Multi-agent Actor-Critic 方法，该框架在美国弗吉尼亚州的一个具有代表性和现实性的交通网络应用中展示了优越的性能。与传统的管理策略相比，该方法在真实约束和复杂性下提供了近乎最优的解决方案。

    Jan, 2024

  • 集中式与分散式多智能体强化学习在增强电动车充电网络控制中的比较

    电动汽车的广泛采用对电力分配网络和智能电网基础设施提出了几个挑战，特别是在高峰时段可能会显著增加电力需求。本文介绍了一种利用多智能体强化学习（MARL）框架的分布式和协作充电策略的新方法，该方法采用深度确定性策略梯度（DDPG）算法，适用于一个住宅社区中的一群电动汽车，在此社区中的所有电动汽车都连接到一台共享变压器。通过降低总体变异程度约 36％和平均充电成本约 9.1％，我们的理论和数值结果表明，尽管政策梯度方差较高且训练复杂度更高，CTDE-DDPG 框架显着提高了充电效率。

    Apr, 2024