多智能体特征行列式 Q 学习
本文介绍了基于行列式点过程(DPPs)的概率模型,包括算法的细节,以及该方法在机器学习中的应用,例如生成多样化的搜索结果和摘要,分析图像中的非重叠人类姿势等。
Jul, 2012
该论文研究了一类多智能体马尔可夫决策过程,在其中,网络代理对全局可控状态和远程控制器的控制行为有不同的响应。在没有全局状态转移和本地代理成本统计信息之前,论文探讨了一种分布式强化学习设置,并提出了一种分布式版本的 Q-learning 方法来实现网络目标。通过稀疏(可能随机)通信网络上的局部处理和信息交流,实现了代理协作。在只知道其本地在线成本数据和代理之间的弱连接通信网络的假设下,提出的分布式方案在几乎确定的情况下被证明会渐进性地实现各个网络层面上的期望值函数和最优静止控制策略。所开发的分析技术可用于处理交互分布式方案导致的混合时间尺度随机动态的 “共识 + 创新” 形式,这些技术对独立的利益具有重要意义。
Apr, 2012
本文旨在提高多智能体控制的数据效率,采用基于模型的学习方式,通过多个代理通过本地通信进行合作完成任务,实现分散的基于模型的策略优化框架,提出了扩展的价值函数,理论上证明了产生的策略梯度是真实策略梯度的一个紧密近似,并在智能交通系统的多项基准测试上展示了出色的数据效率和与真实模型的无模型方法匹配的性能。
Jul, 2022
本论文提出一种名为 Q-value Path Decomposition(QPD)的方法,该方法利用集成渐变归因技术对深度多智能体强化学习中的全局 Q 值进行分解,以便为代理分配信用,解决了多智能体信用分配的关键挑战,该方法在 StarCraft II 微观管理任务中优于现有协作 MARL 算法。
Feb, 2020
本文探讨了如何通过重新参数化核矩阵,并提出了一种新的基于大间隔分离原则的参数估计技术来学习标记训练数据的 DPP 的参数(核矩阵),以及在文档和视频摘要的挑战性应用中使用我们提出的方法进行建模。
Nov, 2014
QMIX 是一种基于价值的方法,可以在中央化端到端方式下训练去中心化策略,其在 StarCraft II 微管理任务中表现良好并优于现有的基于价值的多智能体强化学习方法。
Mar, 2018
本文提出了一种强化学习算法来解决多智能体马尔可夫决策过程 (MMDP),通过黑韦尔的可接近性定理,目标是将每个智能体的时间平均成本降低到预先指定的特定界限以下。通过在 Q-learning 算法中结合每个智能体成本的加权组合,其中成本是通过具有 Metropolis-Hastings 或乘法权重形式的传闻算法来调制传闻的平均矩阵,我们使用了多个时间尺度的算法,并证明在温和条件下,它近似实现了每个智能体的期望界限。我们还在具有联合控制的每个阶段成本的更一般的 MMDP 设置中展示了该算法的实证性能。
Nov, 2023
QMIX 是一种新的价值方法,可以在集中端到端的方式下训练分散的策略,通过使用混合网络来估计联合行动价值,并通过混合网络中的非负权重和每个代理价值的单调组合来保证中心化和分散策略之间的一致性,并在 StarCraft 多智能体挑战赛(SMAC)中获得了显著的优越性。
Mar, 2020
Distributed Distributional DrQ 是一个无模型离线 RL 算法,用于连续控制任务,基于代理的状态和观测,是一个带有数据增强和评论家值函数分布性观点的演员 - 评论家方法。通过使用分布分布式 DDPG 作为基础,该算法在各种连续控制任务中取得了出色的性能。
Apr, 2024