多智能体强化学习中基于任务嵌入的团队合作适应

Jul, 2022

多智能体强化学习中基于任务嵌入的团队合作适应

Learning Task Embeddings for Teamwork Adaptation in Multi-Agent Reinforcement Learning

Lukas Schäfer, Filippos Christianos, Amos Storkey, Stefano V. Albrecht

TL;DR本文提出了一种使用多智能体任务嵌入（MATE）解决团队合作适应性问题的新方法，使用深度学习技术将任务嵌入到低维空间中进行编码和解码，利用 MATE 训练范例建立三种任务编码模型，通过分析测试结果发现，MATE 学习的任务嵌入鲜明区分不同的任务，并能在多任务情境下产生非常好的适应性效果。

Abstract

Successful deployment of multi-agent reinforcement learning often requires agents to adapt their behaviour. In this work, we discuss the problem of teamwork adaptation in which a team of agents needs to adapt the

multi-agent reinforcement learning teamwork adaptation task embeddings mate training paradigms novel tasks

发现论文，激发创造

利用智能体群体学习顺序任务嵌入

本文提出了一个信息论框架，以学习固定维度的嵌入，用于强化学习任务。通过使用多样的智能体群集来衡量任务的相似性，本文描述了信息理论标准的直觉，该直觉是基于观察智能体在一个任务上的表现降低我们对其在另一项任务中表现的不确定性。在两个应用场景中，通过定量比较与强基线的效果，我们在预测智能体在测试任务上的表现以及从给定选项集中选择具有所需特性的任务方面展示了我们技术的有效性.

Jun, 2023

基于任务关系建模的多智体策略迁移

本文提出了一种基于任务表示的团队适应方法，通过学习任务之间的共同结构，使得团队可以在少量的源任务学习之后将协作知识传递到新任务上。我们发现微调转移策略有助于解决那些从头开始难以学习的任务。

Mar, 2022

学习在团队规模间转移角色分配

我们提出了一个基于角色的多智能体强化学习框架，该框架使用角色分配网络将学习代理分配到团队中，以适应不同的团队大小，并通过 StarCraft II 模拟来展示该方法的有效性。

Apr, 2022

任务嵌入与共享策略的元强化学习

本研究提出了一种 meta-RL 方法，通过捕捉不同任务之间的共享信息和快速抽象任务特定信息的能力，使用任务编码器生成任务嵌入并在所有任务之间共享策略，实现在训练和新任务上的更好学习能力和更高回报率。

May, 2019

使用子任务课程学习复杂的团队协作任务

使用专家提供的课程，针对复杂的多智能体任务，通过细化子任务，进行训练，并通过调节学习和探索的超参数，使子团队能够更好地完成更复杂的目标任务，取得了基于从头开始和简单微调技术的多智能体强化学习的更好效果。

Feb, 2023

多智能体团队中可迁移合作行为的学习

提出使用共享的代理 - 实体图来建模多智能体相互作用，并利用基于图的强化学习训练代理实现协作行为，实现了对多种任务的有效解决，并展示了其泛化能力。

Jun, 2019

学习有关的内容：使用任务相关嵌入的跨域模仿学习

本研究提出了一种基于对抗训练的可扩展框架，用于实现基于跨领域演示的自主智能体学习任务的能力，通过学习映射来实现不同领域间的策略转移，解决了其他方法在许多领域方面存在的问题。

Sep, 2022

少样本模仿学习任务嵌入控制网络

该论文提出了一种基于测量学习的元学习方法：利用任务嵌入用于学习新的单个、多个实例任务，实现在真实世界中从单个演示中学习新任务的能力。

Oct, 2018

合作多智能体任务中的奖励机器学习

本文提出了一种新的多智能体强化学习方法，该方法将合作任务分解与学习奖励机器相结合，以编码子任务的结构。该方法有助于处理部分可观察环境中奖励的非马尔可夫性质，并提高了完成合作任务所需的学习策略的可解释性。每个子任务关联的奖励机器以分散的方式学习，然后用于指导每个智能体的行为，从而减少了合作多智能体问题的复杂性，更有效的学习。结果表明，我们的方法是未来 MARL 研究的一个有前景的方向，特别是在具有大状态空间和多个智能体的复杂环境中。

Mar, 2023

Actor-Mimic: 深度多任务和转移强化学习

本研究提出了一种名为 “Actor-Mimic” 的多任务学习和迁移学习方法，通过深度强化学习和模型压缩技术来训练一个单一的策略网络，并通过多个专家教师的指导来学习在不同任务中的行为，并使用先前的知识解决新任务。研究结果表明，该方法的表征能力可以通过无先验的专家指导来推广到新的任务并加速学习。本方法可以应用于多样的问题，为了说明其效果，我们在 Atari 游戏上进行了测试。

Nov, 2015