Mar, 2024

通过任务不可知通信来推广多智能体协作

PDF
TL;DR现有合作多机器人问题中的多智能体强化学习通信方法几乎全部是特定任务的，我们通过引入一种适用于给定环境中的任何任务的通信策略，解决了这种低效的问题。我们以一种自我监督的方式，使用一组自动编码器在没有特定任务奖励指导的情况下预训练通信策略，目标是从可变数量的智能体观察中学习一个固定大小的潜在马尔可夫状态。在温和的假设下，我们证明了使用我们的潜在表示的策略必定收敛，并上界了我们的马尔可夫状态近似引入的值误差。我们的方法使得无需微调通信策略即可无缝适应新任务，在训练期间支持更多智能体的扩展，并且能够检测环境中的异常事件。对不同的多智能体强化学习场景的实证结果验证了我们方法的有效性，在未知任务中优于特定任务的通信策略。
multi-agent reinforcement learningcooperative multi-robot problemscommunication strategylatent markov statetask-specific reward
发现论文，激发创造
  • 具有新兴通讯的网络多智能体强化学习

    本研究使用紧密联系的智能体通过互相交流离散符号彼此合作完成任务。通过分析他们之间的交流，证明了他们发展的语言与网络拓扑有关，并在交通控制器问题上实现了最先进的性能。

    Apr, 2020

  • 多智能体强化学习中的完全独立通信

    研究对多智能体强化学习的通信方法进行了调查，发现独立学习者在不共享参数的情况下仍然可以学习通信策略，并观察到通信在不同网络容量下的影响。

    Jan, 2024

  • 结构化状态抽象协作多智能体导航学习

    本研究提出了一个神经网络架构，旨在共同学习多个代理参与导航任务中的自适应状态空间抽象和通信协议，从而有效减少探索的状态空间的大小，并达到更好的政策性能。

    Jun, 2023

  • 多智能体强化学习与通信调查

    本文介绍了多个方面可以在设计和开发多智能体强化学习系统中扮演角色的通信，并提出了 Comm-MARL 系统分析、开发和比较的几个维度。

    Mar, 2022

  • 通过智能通信渠道协调多个代理商之间的政策

    本文提出了一种新的多智能体强化学习通信方式，通过智能协调员筛选和解释所有代理提供的信号来提高个体的集体表现，该架构优于现有基线方法在多个合作环境中的表现。

    May, 2022

  • 合作多智能体任务中的奖励机器学习

    本文提出了一种新的多智能体强化学习方法，该方法将合作任务分解与学习奖励机器相结合，以编码子任务的结构。该方法有助于处理部分可观察环境中奖励的非马尔可夫性质，并提高了完成合作任务所需的学习策略的可解释性。每个子任务关联的奖励机器以分散的方式学习，然后用于指导每个智能体的行为，从而减少了合作多智能体问题的复杂性，更有效的学习。结果表明，我们的方法是未来 MARL 研究的一个有前景的方向，特别是在具有大状态空间和多个智能体的复杂环境中。

    Mar, 2023

  • 基于情景无关表征实现多智能体迁移强化学习

    通过将各种状态空间统一为固定大小的输入，以便在 MAS 中的不同场景中使用一种统一的深度学习策略，我们介绍了一种新的框架，使得多智能体强化学习能够进行迁移学习。在 StarCraft Multi-Agent Challenge（SMAC）环境中，通过从其他场景学习到的机动技能，相比于从头学习的智能体，我们的方法在多智能体学习性能方面取得了显著的提升。此外，通过采用课程式迁移学习（CTL），使我们的深度学习策略逐步获取各个预先设计的同质学习场景中的知识和技能，促进智能体之间和智能体内部的知识传递，从而在更复杂的异质场景中实现高水平的多智能体学习性能。

    Feb, 2024

  • 可伸缩的多智能体模型基强化学习

    本文提出了一种名为 MAMBA 的新方法，通过利用基于模型的强化学习（MBRL）进一步利用合作环境中的集中式训练，从而使代理之间的通信足以在执行阶段维持每个代理的世界模型，而虚拟推演可用于培训，从而通过减少与环境的互动次数，以与 Model-Free 的现有方法相比，在 SMAC 和 Flatland 的具有挑战性的领域中实现良好的性能。

    May, 2022

  • 多智能体强化学习的上下文感知通信

    开发名为 CACOM 的上下文感知通信协议，通过多个阶段的粗略表示交换和注意机制，为多智能体强化学习提供了个性化的通信方案，采用学习的步长量化技术以减少通信开销，并在合作基准任务上实验结果证明 CACOM 在通信受限场景下提供了明显的性能提升。

    Dec, 2023

  • 多智能体强化学习中的策略蒸馏与价值匹配

    本文提出了一种多智能体 Actor-Critic 算法，通过分解多智能体问题以及知识蒸馏和价值匹配等方法，使智能体之间能够共享信息并解决维度灾难问题，进而在离散和连续动作空间中实现更好的性能。

    Mar, 2019