Jul, 2021

利用中央化训练的近期多智能体强化学习算法调查

HTML
PDF
TL;DR为了实现人类般的协作，大量工作致力于探索实现集中式学习与分散式执行 (CLDE) 方法的多智能体强化学习 (MARL) 范式。在这里，我们讨论了集中式训练的变化，并描述了最近算法方法的调查。探讨不同的信息共享机制的中心化学习系统的实现如何在执行合作任务的多智能体系统中产生不同的团体协调行为。
发现论文，激发创造
  • 合作多智能体深度强化学习综述

    本综述文章探讨了最新的多智能体强化学习算法，特别关注建模和解决合作多智能体强化学习问题的五种常见方法，以及MARL在真实世界应用中的成功，并提供了可用于MARL研究的环境列表和可能的研究方向。

    Aug, 2019

  • 评估多智能体强化学习在不同智能体数量下的泛化和转移能力

    本研究采用集中式训练和分散式执行的范式来评估多智能体强化学习模型的推广和转移能力，结果表明通过使用更少的智能体进行训练可以获得类似或更高的评估性能。

    Nov, 2021

  • 同质化马尔可夫博弈的高效通信演员-评论方法

    该论文研究了协作多智能体强化学习中的集中式训练和策略共享，提出了一种基于一致性的去中心化演员-评论家方法，以减少通信成本并保证收敛，从而有效地降低了训练时的通信成本。

    Feb, 2022

  • 合作多智能体强化学习中常见实践的重新审视

    围绕合作多智能体强化学习，实现了依照价值分解及参数共用两大设计原则，其中心的Q函数通过局部化的Q网络在代理间共享参数。然而，我们证明在某些环境中，比如高度多模式的奖励环境下，价值分解以及参数共享会引起问题并导致不良结果。相反，个体策略的策略梯度方法在这些情况下可以收敛到最优解，并部分支持最近在许多MARL测试床上表现良好的PG方法。得出实验结果后，我们提出实用建议，并在简化的矩阵和网格世界游戏以及StarCraft多代理挑战和谷歌研究足球等各种领域进行了实证验证。希望我们的研究能够为开发更普遍和更强大的MARL算法的社区带来益处。

    Jun, 2022

  • 更集中化的训练，仍分散化的执行：多智能体条件策略分解

    本研究探索了如何在协作多智能体强化学习中融合价值分解和演员-评论家, 并提出了多智能体条件策略分解 (MACPF) 的方法，以更好地实现部分可观察环境下的学习。同时，通过在不同的合作MARL任务中进行实验证明MACPF相对于基线的表现更优。

    Sep, 2022

  • 集中式培训与分散式执行框架对于多智能体强化学习而言是否足够集中？

    本文介绍了一种名为CADP（Centralized Advising and Decentralized Pruning）的框架，解决了现有的CTDE框架无法充分利用全局信息的问题，在保证了各个智能体独立策略的同时，通过启用显式的通信渠道，实现了智能体之间的有效信息交流与更加集中的训练，最终在StarCraft II和Google Research Football等基准测试中取得了优秀的性能表现。

    May, 2023

  • 完全去中心化的合作多智能体强化学习：调查

    该论文系统地回顾了两种全面分散设置下的全面分散方法，即最大化所有代理的共享奖励和最大化所有代理的个人奖励之和，并讨论了未来研究方向。

    Jan, 2024

  • 分散协作多智能体强化学习的部分调查

    多智能体强化学习在最近几年变得非常流行。有许多方法可以将其分为三种主要类型：中心化训练和执行（CTE）、中心化训练分布式执行（CTDE）和分散化训练和执行（DTE）。该论文探讨了这些方法及其应用于合作型多智能体强化学习的相关问题。

    May, 2024

  • 基于层次一致性的多智能体强化学习在多机器人协作任务中的应用

    多代理强化学习中的中央化训练与分散执行框架存在全局状态引导和地方观测依赖的差距。通过引入基于分层一致性的多智能体强化学习框架，采用对比学习来促进智能体之间的全局一致性，从而实现协同行为而无需直接通信。该框架允许智能体从地方观测中形成全局一致性，并在执行期间将其作为额外信息来指导协同行动，通过多层次的一致性满足各种任务的动态需求。采用自适应注意机制调整每个一致性层的影响，优化即时反应和战略规划之间的平衡，以适应特定任务的要求。通过大量实验和在多机器人系统中的实际应用，展示了我们框架相对于基准的卓越性能，取得了显著的进展。

    Jul, 2024

  • 集中训练与分散执行在合作多智能体强化学习中的介绍

    本文研究了合作多智能体强化学习中的集中训练与分散执行（CTDE）方法，解决了现有方法在执行时需依赖本地信息的问题。通过介绍CTDE的基本概念和常用方法，强调其在合作场景中的自然适用性，本文的核心发现是CTDE可以在不需要执行阶段通信的情况下，提升智能体的可扩展性和性能。

    Sep, 2024