Mar, 2024

合作多智能体增强学习中的共识达成与目标想象

PDF
TL;DR多智能体协调中，达成共识是关键。本文提出一种基于模型的共识机制，通过想象出一个共同目标来引导多智能体达成共识，进而引导他们合作地达到有价值的未来状态。
consensusmulti-agent coordinationcooperative multi-agent reinforcement learningmodel-based consensus mechanismmulti-agent goal imagination
发现论文，激发创造
  • 合作多智体强化学习的共识学习

    本研究提出了一种协作多智能体强化学习的共识学习方法，通过基于本地观察的共识学习，在分散式执行期间将推断出来的共识明确地作为智能体网络的输入，从而发展他们的合作精神，并在若干完全合作任务上获得了令人信服的结果。

    Jun, 2022

  • 目标足够：在 IMFs 中诱发未知多智体系统的无约束合作

    通过使用 AI-based supervisor agent，我们提出了一种框架，可以并行地编排预训练的 agent，该框架通过为 MARL 代理分配最佳目标并激励它们展示特定的期望行为来实现。在网络仿真器上的结果显示，与基于规则的方法相比，所提出的方法在更快和更好地实现期望的同时，甚至推广到环境变化。

    Oct, 2023

  • 多智能体强化学习的最大互信息框架

    本文提出了一个最大互信息（MMI）框架，用于多智能体强化学习，通过在行动之间的互信息上采取正则化累积回报，使多个智能体学习协调行为。通过引入潜在变量来诱导非零互信息，并应用变分界，我们推导了所考虑的 MMI - 正则化目标函数的可处理下界。将策略迭代应用于最大化所得到的下界，我们提出了一个名为变分最大互信息多智能体演员 - 评论家（VM3-AC）的实用算法，它遵循中央化学习与分散执行（CTDE）的方法。我们在几个需要协调的游戏中评估了 VM3-AC，并且数值结果表明 VM3-AC 在需要协调的多智能体任务中优于 MADDPG 和其他 MARL 算法。

    Jun, 2020

  • 多智能体强化学习系统中基于信任的共识

    该论文探讨了在多智能体强化学习中存在不可靠智能体的问题以及如何实现让智能体在存在不可靠智能体的情况下达成共识，通过提出基于强化学习的可信共识机制，使智能体能够根据与它们之间的交互经验自主决定与何人通信，并取得了更高的共识成功率。

    May, 2022

  • 在合作与拜占庭式分散团队中使用互信息进行迭代推理

    本文提出 InfoPG 算法，以最大化相互信息来优化多智能体协作决策，有效地在多个复杂任务中提高了学习效率和总奖励。

    Jan, 2022

  • 融合前瞻性和想象力：基于模型的协作多智能体强化学习

    本文提出了一种隐式的基于模型的多智能体强化学习方法，基于价值分解方法，能够提高在不同部分可观察的马尔可夫决策过程领域中的样本效率。

    Apr, 2022

  • 多智能体强化学习中的策略蒸馏与价值匹配

    本文提出了一种多智能体 Actor-Critic 算法，通过分解多智能体问题以及知识蒸馏和价值匹配等方法，使智能体之间能够共享信息并解决维度灾难问题，进而在离散和连续动作空间中实现更好的性能。

    Mar, 2019

  • 具备相关性图的深度多智能体强化学习

    本文提出了一种新的多智能体强化学习方法 MAGnet，将深度强化学习、自我关注机制、神经网络结构等技术应用于 Pommerman 游戏，实验结果表明，MAGnet 在该游戏中显著优于现有的 MARL 解决方案，如 DQN，MADDPG 和 MCTS 等。

    Nov, 2018

  • 离线多智能体强化学习协调问题的基于模型的解决方案

    该研究针对现有离线多智能体强化学习算法在协作中存在的问题进行研究，并提出了一种基于模型的离线多智能体近端策略优化算法（MOMA-PPO），利用合成的交互数据帮助智能体在策略调整中更好地协调，成功解决了现有算法在多智能体任务中出现的协作问题。

    May, 2023

  • 可伸缩的多智能体模型基强化学习

    本文提出了一种名为 MAMBA 的新方法，通过利用基于模型的强化学习（MBRL）进一步利用合作环境中的集中式训练，从而使代理之间的通信足以在执行阶段维持每个代理的世界模型，而虚拟推演可用于培训，从而通过减少与环境的互动次数，以与 Model-Free 的现有方法相比，在 SMAC 和 Flatland 的具有挑战性的领域中实现良好的性能。

    May, 2022