基于分布式 Q 学习的多智能体马尔可夫决策过程和满足性准则

Nov, 2023

基于分布式 Q 学习的多智能体马尔可夫决策过程和满足性准则

Decentralised Q-Learning for Multi-Agent Markov Decision Processes with a Satisfiability Criterion

Keshav P. Keval, Vivek S. Borkar

TL;DR本文提出了一种强化学习算法来解决多智能体马尔可夫决策过程 (MMDP)，通过黑韦尔的可接近性定理，目标是将每个智能体的时间平均成本降低到预先指定的特定界限以下。通过在 Q-learning 算法中结合每个智能体成本的加权组合，其中成本是通过具有 Metropolis-Hastings 或乘法权重形式的传闻算法来调制传闻的平均矩阵，我们使用了多个时间尺度的算法，并证明在温和条件下，它近似实现了每个智能体的期望界限。我们还在具有联合控制的每个阶段成本的更一般的 MMDP 设置中展示了该算法的实证性能。

Abstract

In this paper, we propose a reinforcement learning algorithm to solve a multi-agent markov decision process (MMDP). The goal, inspired by Blackwell's Approachability Theorem, is to lower the time average cost of

reinforcement learning multi-agent markov decision process q-learning algorithm gossip algorithm metropolis-hastings or multiplicative weights

发现论文，激发创造

多时间尺度集成 Q-learning 用于马尔科夫决策过程策略优化

提出了一种新颖的模型无关的集合强化学习算法，通过在多个合成的与马尔可夫决策过程相关的环境上运行多个 Q 学习算法，并使用基于 Jensen-Shannon 差异的自适应加权机制来融合输出，获得具有低复杂度的近似最优策略。与最先进的 Q 学习算法相比，数值实验结果显示，该算法平均策略误差可以减少高达 55％，运行时复杂度可以减少高达 50％，并验证了理论分析中的假设。

Feb, 2024

$QD$-Learning: 一种多智能体强化学习的合作式分布式策略，通过共识 + 创新实现

该论文研究了一类多智能体马尔可夫决策过程，在其中，网络代理对全局可控状态和远程控制器的控制行为有不同的响应。在没有全局状态转移和本地代理成本统计信息之前，论文探讨了一种分布式强化学习设置，并提出了一种分布式版本的 Q-learning 方法来实现网络目标。通过稀疏（可能随机）通信网络上的局部处理和信息交流，实现了代理协作。在只知道其本地在线成本数据和代理之间的弱连接通信网络的假设下，提出的分布式方案在几乎确定的情况下被证明会渐进性地实现各个网络层面上的期望值函数和最优静止控制策略。所开发的分析技术可用于处理交互分布式方案导致的混合时间尺度随机动态的 “共识 + 创新” 形式，这些技术对独立的利益具有重要意义。

Apr, 2012

利用强化学习在多智能体马尔科夫决策过程中实现公平

本文提出了一种基于强化学习和在线凸优化的方法来实现多智能体系统中的公平性，在保证植树的情况下为不同智能体提供公平奖励。该方法能够在未知环境中实现公平，并在实验中得到了验证。

Jun, 2023

无限视角平均报酬强化学习的量子加速

该研究探讨了量子加速在解决无限视界马尔可夫决策过程（MDP）以增强平均奖励结果方面的潜力。我们引入了一种创新的量子框架，用于代理与未知 MDP 的交互，扩展传统的交互范式。我们的方法包括设计一种基于乐观主义的表格型强化学习算法，通过高效的量子均值估计技术利用代理通过量子信号获取的数据。通过彻底的理论分析，我们证明了量子均值估计的量子优势能够在无限视界强化学习中实现指数级的遗憾保证。具体而言，所提出的量子算法实现了一个 $\tilde {\mathcal {O}}(1)$ 的遗憾上界，这是相对于经典对应方法展现的 $\tilde {\mathcal {O}}(\sqrt {T})$ 界限的显著改进。

Oct, 2023

基于平均奖励的马尔可夫决策过程更为精确的无模型强化学习

我们提出了多种经过证明有效的无模型强化学习算法，包括基于参考优势分解的在线无模型强化学习算法以及适用于模拟器环境的无模型强化学习算法，在平均报酬马尔科夫决策过程中实现更好的折扣估计和置信区间的高效构建。

Jun, 2023

合作多智能体马尔可夫决策过程中的近似线性规划和分散策略改进

我们提出了适用于合作多智能体有限和无限时域折扣马尔可夫决策过程的逼近策略迭代算法，其中使用近似线性规划计算近似值函数并实施分散策略改进。

Nov, 2023

带私有状态的自利智能体之间的最优协调规划

对于多智能体系统中的动态和不确定环境，我们提出了一种激励兼容机制，以实现感应随机博弈的马尔可夫完美均衡下的最佳联合计划，特别地，我们运用吉廷斯分配指数提供高效的分布式算法，并将最优策略的计算分配给代理。

Jun, 2012

马尔可夫决策过程中的联邦控制

研究马尔可夫决策过程中的联合控制问题，介绍了多个学习代理的概念，使用名为联合 Q 协议（FedQ）的通信协议解决大状态空间下的 MDP，理论分析了 FedQ 协议的正确性和派生算法 FedQ-X 的样本复杂度，实验证明了方法的有效性。

May, 2024

平均奖励马尔科夫决策过程的学习和规划

本研究提出了一种基于平均报酬 MDPs 的学习和规划算法，其中包括第一种无参考状态的普遍证明收敛的无模型控制算法、第一个证明收敛的无政策自由预测算法，以及第一个离线学习算法，其收敛于实际值函数而不是值函数增加一个偏移量。在使用时间差错错误而不是常规错误更新平均报酬估计时，我们的所有算法都基于此。

Jun, 2020

多智能体特征行列式 Q 学习

本文提出一种基于 Q-DPP 的多智能体 Q 学习方法，用于解决分布式合作任务中的中心化训练和分散执行，消除了限制性假设，并通过采样投影采样器在各种合作基准测试中证明了算法的有效性。

Jun, 2020