利用世界模型的解缠以增强基于价值的多智能体强化学习

Sep, 2023

利用世界模型的解缠以增强基于价值的多智能体强化学习

Leveraging World Model Disentanglement in Value-Based Multi-Agent Reinforcement Learning

Zhizun Wang, David Meger

TL;DR通过提出一种名为价值分解框架与解耦世界模型的新型基于模型的多智能体强化学习方法，本研究解决了多智能体在相同环境下实现共同目标的挑战，降低了样本复杂度，并通过实验结果表明，在 StarCraft II 微管理挑战中，该方法在样本效率和击败敌军方面表现出卓越的性能。

Abstract

In this paper, we propose a novel model-based multi-agent reinforcement learning approach named value decomposition framework with Disentangled World Model to address the challenge of achieving a common goal of multiple agents interacting in the same environment with reduced sample com

multi-agent reinforcement learning value decomposition framework disentangled world model sample efficiency starcraft ii micro-management

发现论文，激发创造

融合前瞻性和想象力：基于模型的协作多智能体强化学习

本文提出了一种隐式的基于模型的多智能体强化学习方法，基于价值分解方法，能够提高在不同部分可观察的马尔可夫决策过程领域中的样本效率。

Apr, 2022

协作多智体学习的价值分解网络

利用价值分解网络架构解决合作多智能体强化学习中的观测部分性、虚假奖励和 “懒惰智能体” 问题，并在与共享权重、角色信息和信息通道相结合的情况下，在部分可观测的多智能体领域取得优越结果。

Jun, 2017

分散的变压器与集中的聚合是高效的多智能体世界模型

为了解决多智能体强化学习中的可扩展性和非稳态性问题，我们提出了一种新的多智能体世界模型，通过学习分散的局部动力学来实现可扩展性，并通过中心化表示的聚合来解决非稳态性问题。我们引入了 Perceiver Transformer 作为一种有效的解决方案，通过 Transformer 体系结构对复杂的局部动力学进行建模，从而提供准确而一致的长期想象。在 Starcraft Multi-Agent Challenge（SMAC）上的结果显示，该模型在样本效率和整体性能方面优于强化学习和现有的基于模型的方法。

Jun, 2024

强化学习智能体迭代设计的价值函数分解

本文介绍如何将价值分解结合到广泛类的演员 - 评论家算法中，以协助迭代代理设计过程，包括引入基于价值分解的工具和一种新的奖励影响度量方法。

Jun, 2022

组合：基于组件的世界模型用于实体多主体协作

通过在视觉观察的基础上模拟多个智能体的动作，提出一种全新的统一规划框架，通过生成模型和组合世界模型实现具体任务中的多智能体合作规划。

Apr, 2024

用于深度多智能体强化学习的 Q 值路径分解

本论文提出一种名为 Q-value Path Decomposition（QPD）的方法，该方法利用集成渐变归因技术对深度多智能体强化学习中的全局 Q 值进行分解，以便为代理分配信用，解决了多智能体信用分配的关键挑战，该方法在 StarCraft II 微观管理任务中优于现有协作 MARL 算法。

Feb, 2020

REValueD: 正则化的集合值分解方法用于可分解马尔可夫决策过程

Discrete-action 强化学习算法在具有高维离散行动空间的任务中常常表现不佳，由于可能的行动数量庞大。最近的一项进展利用来自多智能体强化学习的价值分解概念来解决这一挑战。本研究深入研究了价值分解的效应，揭示出其虽然减少了 Q-learning 算法固有的过高估计偏差，但却加大了目标方差。为了对抗这一挑战，我们提出了一个评论家集合来减轻目标方差。此外，我们引入了一种正则化损失，帮助减轻一个维度上的探索性行动对其他维度上的最优行动价值的影响。我们的新算法 REValueD 在 DeepMind Control Suite 任务的离散化版本上经过测试，展示了卓越的性能，特别是在挑战性的人形和犬类任务中。我们进一步解剖了影响 REValueD 性能的因素，评估了正则化损失的重要性以及随着每个维度子行动数量的增加，REValueD 的可扩展性。

Jan, 2024

世界模型

本研究旨在使用生成神经网络建立流行的强化学习环境下的世界模型，并利用该世界模型进行无监督学习，学习环境的空间和时间紧凑表示。通过使用从世界模型提取的特征作为代理输入，我们可以训练出非常紧凑和简单的策略来解决所需任务。我们甚至可以在代理自己的幻象梦境中完全进行训练，并将该策略传输回实际环境中。

Mar, 2018

基于解耦通用值函数的强化学习在物品推荐中的应用

本文介绍基于强化学习在推荐系统中应用的挑战及其解决方法 GoalRec，提出一种新型分离式通用价值函数，可以泛化到各种不同的目标，并根据高方差的环境动态和奖励信号进行分离。在一系列模拟和实际应用中，GoalRec 显示出优越的实用性，解决了大规模 RL-based 推荐系统的重要挑战。

Apr, 2021

针对协作式多智能体强化学习的可扩展价值分解探索算法

本文提出了一种可扩展的价值分解探索方法（SVDE），包括可扩展的训练机制、内在奖励设计和探索性经验回放，以加速样本生成并改善探索问题。实验结果显示，在 StarCraft II 微观管理游戏中，该方法在几乎所有地图上实现了最佳性能。

Mar, 2023