Mar, 2020

演化种群课程用于多智能体强化学习的扩展

PDF
TL;DR本研究提出了一种进化人口课程学习模式 (EPC)，以解决在多智能体游戏中训练大型人口的问题，采用进化方式解决利益不一致问题和保留每个阶段的多个智能体组以优化其适应性。并将 EPC 应用于 MADDPG 算法中，实验结果表明本方法在多智能体增长的情况下能够始终优于基准算法。
发现论文，激发创造
  • 面向多智体强化学习的熟练人口课程

    该论文介绍了一种名为 SPC 的新型自动课程学习框架，该框架将课程学习应用于多智能体协调中，通过赋予学生团体不变的通信和分层技能，在不同数量的代理任务中学习合作和行为技能，并在学生策略的条件下将老师建模为一个情境式赌博机，提高了 MARL 环境下的性能、可伸缩性和样本效率。

    Feb, 2023

  • 自适应多智能体强化学习

    本文介绍了自适应多智能体强化学习 (Self-paced MARL)，它可以根据任务的难度自动优化智能体数量，实验结果显示该方法在智能体数量对任务难度有足够影响时可以提高任务表现。

    May, 2022

  • 基于遗憾的环境设计进化课程

    通过把环境设计作为学生和教师之间的游戏，并使用基于遗憾的目标在学生代理的能力边界上生成环境实例（或水平），我们提出了一种新的方法 ACCEL，以在一个有原则的遗憾主导的课程中利用演化的能力，从而产生逐渐越来越复杂的课程。

    Mar, 2022

  • 大规模人口系统和可扩展多智能体强化学习调查

    这篇综述论文研究了在大规模群体系统中进行可控分析和多智能体强化学习的关键问题和挑战，介绍了现有的相关研究领域和方法，并讨论了未来的应用前景和方向。

    Sep, 2022

  • 深度强化学习代理的进化策划课程学习

    本文提出了一个针对深度强化学习代理的新的训练循环，采用进化生成器进行进化过程生成来构建训练课程，结果表明相较于没有导向的输入，进化课程的训练优化和泛化能力均有所提高。

    Jan, 2019

  • 用简单的进化思想辅助基于梯度的强化学习

    我们提出了一种简单而有效的强化学习算法，通过使用进化算子在强化学习中引入大的有向学习步骤，并使用具有共同经验缓冲区的强化学习代理人种群进行训练，从而有效地搜索策略空间。

    May, 2023

  • 具有好奇心驱动探索的情节式多智能体强化学习

    本篇论文提出了 Episodic Multi-agent 强化学习方法，并把个体 Q 值预测误差作为内部奖励，使用情节式记忆从经验中提升策略训练，从而实现多代理协作性问题的有效探索和高效学习。在 StarCraft II 微型管理基准测试中，我们的方法显著优于现有情况下的 MARL 基线。

    Nov, 2021

  • 基于平均回报的网络系统可扩展多智能体强化学习

    本文提出了一种可伸缩的演员 - 评论家（SAC）方法，可以解决具有本地依赖结构的网络多智能体强化学习（MARL）问题，其复杂度与本地邻域的状态 - 动作空间大小相比，而不是整个网络的规模，其效果取决于智能体在图中的距离，通过利用指数衰减性质，可以获得性能接近最优的局部策略。

    Jun, 2020

  • 演化引导的强化学习策略梯度

    本文介绍了一种基于人工进化算法和深度强化学习相结合的进化增强学习算法，该算法克服了传统深度强化学习算法中时序资格分配、探索效率和收敛性极度敏感的问题，使用基于种群的进化算法来训练深度强化学习代理人，实验结果表明，该方法在多种连续控制基准测试中显著优于传统深度强化学习和进化算法方法。

    May, 2018

  • 使用子博弈课程学习加速多智能体零和博弈中的强化学习

    本文介绍了一个基于子博弈课程学习框架（Subgame Automatic Curriculum Learning，SACL）的新算法，通过重置智能体到先前访问过的状态来加速学习，使用 SACL 可以生成比基线更强的策略，并且在 hide-and-seek quadrant 环境中使用了比 MAPPO 自我对抗训练只多一半的样本，得出了四个新的发展阶段。

    Oct, 2023