基于时间的代理注意力机制的剧集化多智能体强化学习中的奖励再分配

Jan, 2022

基于时间的代理注意力机制的剧集化多智能体强化学习中的奖励再分配

Agent-Temporal Attention for Reward Redistribution in Episodic Multi-Agent Reinforcement Learning

Baicen Xiao, Bhaskar Ramasubramanian, Radha Poovendran

TL;DR本文提出了一种称为 AREL 的多智能体强化学习技术，它使用注意机制来解决多智能体强化学习中的两大挑战：时间分配和智能体关注。AREL 可以预测密集的重新分配奖励，并可与任何给定的多智能体强化学习算法集成。在实验中，AREL 相比其他三种最先进的奖励重新分配方法，在 Particle World 任务中产生了更高的奖励，并在 StarCraft 中提高了赢率。

Abstract

This paper considers multi-agent reinforcement learning (MARL) tasks where agents receive a shared global reward at the end of an episode. The delayed nature of this reward affects the ability of the agents to assess the quality of their actions at intermediate time-steps. This paper f

multi-agent reinforcement learning reward redistribution temporal attention agent attention particle world

发现论文，激发创造

S2RL：在深度多智体强化学习中，我们真的需要感知所有状态吗？

提出一种基于稀疏注意力机制的多智能体强化学习框架（S2RL），通过自注意力机制和稀疏注意力机制分别估算局部效用函数，再结合到中央评论家中的标准联合值函数和辅助联合值函数中，为各种方法提供了通用的升级模块，可以显著提高 StarCraft II 的众多最先进方法的性能

Jun, 2022

基于注意力驱动的多智能体强化学习：增强专家指导的决策

利用领域知识和基于注意力机制的政策机制，该论文介绍了一种增强多智能体强化学习（MARL）的替代方法。该方法通过将领域专业知识纳入学习过程，简化了协同行为的开发，从而减少了与 MARL 通常相关的复杂性和学习开销，使代理能够集中于复杂任务的关键方面，优化了学习曲线。注意力机制在我们的模型中发挥着关键作用，它能够有效处理动态上下文数据和微妙的代理交互，从而实现更精细的决策。在标准 MARL 场景下的实验中，如斯坦福智能系统实验室（SISL）Pursuit 和多粒子环境（MPE）Simple Spread，我们的方法在提高学习效率和协同行为有效性方面都取得了改进。结果表明，我们基于注意力的方法可以成为提高 MARL 训练过程效率和将领域专业知识纳入行动层面的可行方法。

Apr, 2024

具备相关性图的深度多智能体强化学习

本文提出了一种新的多智能体强化学习方法 MAGnet，将深度强化学习、自我关注机制、神经网络结构等技术应用于 Pommerman 游戏，实验结果表明，MAGnet 在该游戏中显著优于现有的 MARL 解决方案，如 DQN，MADDPG 和 MCTS 等。

Nov, 2018

可解释多智能体强化学习应用于时间查询

该研究提出了一种基于 PCTL 逻辑公式和概率模型检验的方法，用于为多智能体强化学习系统（MARL）生成策略级对比解释以回答时间用户查询，以帮助用户理解复杂环境中 MARL 代理的新兴行为，并能够解释为何用户查询不可行。实验表明，该方法有效提高了用户的性能与满意度。

May, 2023

多智能体强化学习中的记忆和遗忘经验回放

将 Remember and Forget for Experience Replay（ReF-ER）算法扩展到了多智能体强化学习（MARL）领域，并在 Stanford Intelligent Systems Laboratory（SISL）环境中的对比实验中证明，采用单级前馈神经网络模型实现 ReF-ER MARL 算法，其性能表现优于现有复杂神经网络架构的算法。

Mar, 2022

多智能体强化学习的统一博弈论方法

本文提出了一种基于深度强化学习的近似最佳响应策略混合和实证博弈理论分析的算法，用以解决多智能体强化学习中独立强化学习过度拟合其他智能体政策的问题，并且在网格世界协调游戏和扑克牌等部分可观察环境中取得了不错的结果.

Nov, 2017

多智能体深度强化学习用于大规模交通信号控制

本文提出了一种可完全扩展和去中心化的多智能体 A2C 算法，以提高城市交通网络中的自适应交通信号控制的可观测性和减少学习难度，并在大型合成交通网格和摩纳哥城的大型实际交通网络下，通过模拟高峰流量动态，并将其与独立 A2C 和独立 Q-learning 算法进行比较，结果表明其优化性、鲁棒性和样本效率优于其他最先进的去中心化 MARL 算法。

Mar, 2019

合作多智能体任务中的奖励机器学习

本文提出了一种新的多智能体强化学习方法，该方法将合作任务分解与学习奖励机器相结合，以编码子任务的结构。该方法有助于处理部分可观察环境中奖励的非马尔可夫性质，并提高了完成合作任务所需的学习策略的可解释性。每个子任务关联的奖励机器以分散的方式学习，然后用于指导每个智能体的行为，从而减少了合作多智能体问题的复杂性，更有效的学习。结果表明，我们的方法是未来 MARL 研究的一个有前景的方向，特别是在具有大状态空间和多个智能体的复杂环境中。

Mar, 2023

基于平均回报的网络系统可扩展多智能体强化学习

本文提出了一种可伸缩的演员 - 评论家（SAC）方法，可以解决具有本地依赖结构的网络多智能体强化学习（MARL）问题，其复杂度与本地邻域的状态 - 动作空间大小相比，而不是整个网络的规模，其效果取决于智能体在图中的距离，通过利用指数衰减性质，可以获得性能接近最优的局部策略。

Jun, 2020

多智能体强化学习中吸收状态的使用与误用

本研究通过在 MARL 方法中使用 attention 而非全连接层以及吸收状态的创新架构，解决了后人学分配问题，在代理创建 / 销毁以及传统多智能体协调任务中都显著优于标准框架。

Nov, 2021