May, 2024

多智能体强化学习中的行为多样性控制

PDF
TL;DR多智能体强化学习中行为多样性的研究是一个新兴且有潜力的领域。本研究提出了一种名为 DiCo 的多样性控制方法，通过在策略架构中应用约束，能够在不改变学习目标的情况下精确控制多样性，从而增加多智能体强化学习算法的性能和样本利用率。
behavioral diversitymulti-agent reinforcement learningdiversity controlpoliciesactor-critic marl algorithm
发现论文，激发创造
  • 通过测量合作多智能体 RL 中角色多样性进行策略诊断

    通过量化角色多样性作为度量多智能体任务特征的因素，我们发现，MARL 中的误差限可以分解为 3 个部分，并且这些分解因素对 3 个热门方向的政策优化具有显著影响，通过 MPE 和 SMAC 平台的实验验证，角色多样性可以作为多智能体协作任务特征的强劲度量，并帮助诊断政策是否适合当前的多智能体系统以实现更好的性能。

    Jun, 2022

  • 共享多智能体强化学习中的多样性庆祝

    本研究介绍了多智能体强化学习中多样性的重要性，并提出了信息理论正则化和共享神经网络架构中的代理特定模块的方法，以促进代理之间的协作和多样性，实验结果表明该方法在 Google Research Football 和超难的星际争霸 II 微观管理任务上取得了最先进的表现。

    Jun, 2021

  • 合作智能体的政策多样性

    标准的多智能体强化学习方法旨在找到完成任务的最优团队合作策略。然而，在不同的合作方式中可能存在多种选择，这往往极大地增加了领域专家的任务复杂性。因此，我们提出了一种名为 Moment-Matching Policy Diversity 的方法，该方法通过形式化不同策略所选智能体的行为差异来生成不同的团队策略。理论上，我们证明了该方法是通过使用最大均值差异来实现约束优化问题的简单方式。我们的方法的有效性在一个具有挑战性的基于团队的射击游戏中得到了验证。

    Aug, 2023

  • 多智能体强化学习中的策略蒸馏与价值匹配

    本文提出了一种多智能体 Actor-Critic 算法，通过分解多智能体问题以及知识蒸馏和价值匹配等方法，使智能体之间能够共享信息并解决维度灾难问题，进而在离散和连续动作空间中实现更好的性能。

    Mar, 2019

  • 多智能体强化学习的策略距离测量

    多样性在提高多智能体强化学习 (MARL) 性能方面起着关键作用，本文提出了一种通用的量化智能体政策差异的工具，多智能体政策距离 (MAPD)，并通过在线部署设计了一个多智能体动态参数共享 (MADPS) 算法来应用该工具。实验证明，我们的方法在衡量智能体政策差异和特定行为倾向方面是有效的，并且相比其他参数共享方法，MADPS 表现出更优越的性能。

    Jan, 2024

  • 基于群体的强化学习中有效的多样性

    本文介绍了一种基于行为多样性的优化方法，该方法使用任务不可知的行为嵌入度量整个人群的行为流形的体积，并通过在线学习技术适应多样性程度，从而提高探索能力，而不会降低性能。

    Feb, 2020

  • 合作多智能体深度强化学习综述

    本综述文章探讨了最新的多智能体强化学习算法，特别关注建模和解决合作多智能体强化学习问题的五种常见方法，以及 MARL 在真实世界应用中的成功，并提供了可用于 MARL 研究的环境列表和可能的研究方向。

    Aug, 2019

  • MA4DIV：多智能体强化学习用于搜索结果多样化

    多智能体强化学习方法 MA4DIV 能够在搜索结果多样化过程中直接优化多样性指标，并在合作任务中实现高效培训，并在工业规模数据集上实现了比现有基线方法更高的效果和效率提升。

    Mar, 2024

  • 机器人团队的分布式强化学习：回顾

    本文总结了分布式无模型多智能体强化学习在多机器人协作中面临的挑战以及现有的解决方案类别，并介绍了基准测试和机器人应用，同时讨论了当前的研究方向。

    Apr, 2022

  • 相对熵正则化的有效多智能体深度强化学习控制

    本文提出了一种新颖的多智能体强化学习方法，即多智能体连续动态策略梯度（MACDPP），用于解决多智能体控制的各种场景中的能力有限性和样本效率的问题。通过在中央化训练与分散执行的框架中引入相对熵正则化以及参与者 - 判别者结构，缓解了多个智能体策略更新的不一致性。通过多智能体协作和竞争任务以及传统控制任务，包括 OpenAI 基准和机械臂操纵，评估了 MACDPP 在学习能力和样本效率方面相对于相关的多智能体和广泛实施的信号 - 智能体基准的显著优越性，从而扩展了多智能体强化学习在有效学习具有挑战性的控制场景中的潜力。

    Sep, 2023