Apr, 2024

通过局部集中执行减少多智能体协调中的冗余计算

PDF
TL;DR通过引入局部集中式团队变换器 (LCTT) 方法，本研究解决了多智能体强化学习中的冗余计算问题，并提出了团队变换器架构 (T-Trans) 和领导权转换机制，实现了更加高效的学习收敛，同时无损于奖励水平。
multi-agent reinforcement learningdecentralized executionredundant computation problemlocally centralized team transformerteam-transformer architecture
发现论文，激发创造
  • 多智能体变压器加速 RL 以满足 STL 规范

    我们提出了一种基于时间依赖多智能体变压器的中心化方法，能够有效地解决在多智能体问题中存在的时间依赖性，并且在两个问题上显著优于文献基准算法。

    Mar, 2024

  • 通过学习队友模型实现的分散 MCTS

    本文提出一种可训练的在线分散式规划算法，基于分散蒙特卡洛树搜索，结合先前的剧集运行学习的队友模型，利用深度学习和卷积神经网络生成精确的策略逼近器，提高了策划性能。此算法支持去中心化在线规划的多代理系统.

    Mar, 2020

  • 集中编排区块链协作：基于多智能体强化學習的住宅能量灵活协调

    深层多智能体强化学习可实现住宅能量灵活性的可扩展和隐私保护的协调，结果表明，通过使用中心化但分化的评论家，可以在执行前排练协调。

    May, 2023

  • 自适应、基于交易的多智能体系统的分散调度

    该研究采用交易方法，将多智能体强化学习应用于模拟的调度环境中，研究分布式代理体系结构及自主定价在任务分配中的应用。

    Jul, 2022

  • TransfQMix: 利用多智能体强化学习问题的图形结构的 Transformer

    本文提出了 TransfQMix，一种用于多智能体强化学习（MARL）中更好地学习协作策略的新方法，将协作问题表示为潜在图结构的顶点特征，使用 transformer 代理进行图推理。文章介绍了该方法的设计，性能以及在 Spread 和 StarCraft II 环境中的比较结果

    Jan, 2023

  • 分散的变压器与集中的聚合是高效的多智能体世界模型

    为了解决多智能体强化学习中的可扩展性和非稳态性问题，我们提出了一种新的多智能体世界模型，通过学习分散的局部动力学来实现可扩展性，并通过中心化表示的聚合来解决非稳态性问题。我们引入了 Perceiver Transformer 作为一种有效的解决方案，通过 Transformer 体系结构对复杂的局部动力学进行建模，从而提供准确而一致的长期想象。在 Starcraft Multi-Agent Challenge（SMAC）上的结果显示，该模型在样本效率和整体性能方面优于强化学习和现有的基于模型的方法。

    Jun, 2024

  • 集中式培训与分散式执行框架对于多智能体强化学习而言是否足够集中？

    本文介绍了一种名为 CADP（Centralized Advising and Decentralized Pruning）的框架，解决了现有的 CTDE 框架无法充分利用全局信息的问题，在保证了各个智能体独立策略的同时，通过启用显式的通信渠道，实现了智能体之间的有效信息交流与更加集中的训练，最终在 StarCraft II 和 Google Research Football 等基准测试中取得了优秀的性能表现。

    May, 2023

  • 合作多智体强化学习的共识学习

    本研究提出了一种协作多智能体强化学习的共识学习方法，通过基于本地观察的共识学习，在分散式执行期间将推断出来的共识明确地作为智能体网络的输入，从而发展他们的合作精神，并在若干完全合作任务上获得了令人信服的结果。

    Jun, 2022

  • 均场多智体强化学习：一种分散网络方法

    提出了基于 LTDE-Neural-AC 和演员 - 评论家方法的多智能体强化学习算法，应用于自驾车、拼车、数据和交通路由模型的图网络，其解决了分散式多智能体强化学习网络结构的问题，并具有收敛保证的优势。

    Aug, 2021

  • 利用转化和蒸馏框架实现合作多智能体强化学习的全局最优

    本文提出了一种名为 TAD 的框架用于解决多智能体强化学习中去中心化执行策略下的优化问题，并理论上证明了使用 devaluation descent 优化方法时多个流行的多智能体强化学习算法是次优的。使用该框架实施的 TAD-PPO 算法在一系列合作多智能体任务中，相对于基于 PPO 算法的算法具有显著的优越性能。

    Jul, 2022