多智能体学习在竞争网络游戏中的行为通常在零和游戏的背景下进行研究，其中收敛保证可能会得到。然而，在这个类别之外，学习的行为被知道展现出复杂的行为且收敛不能始终保证。尽管如此，为了完整地了解多智能体学习在竞争环境中的行为，必须放弃零和的假设。因此，我们以此为动机研究 Q-Learning 动力学，这是一种在多智能体学习中探索和利用的流行模型，在竞争网络游戏中的应用。我们确定竞争程度、探索率和网络连接性对 Q-Learning 的收敛性的影响。为了研究通用的竞争游戏，我们使用代理支付之间的相关性对网络游戏进行参数化，并研究从这些参数选择的所有游戏的 Q-Learning 动力学的平均行为。这种统计方法确定了参数选择，使得 Q-Learning 动力学收敛到一个稳定的固定点。与以前的研究不同，我们发现 Q-Learning 的稳定性明显仅依赖于网络连通性而不是智能体的总数量。我们的实验验证了这些发现，并显示在某些网络结构下，智能体的总数量可以增加而不增加不稳定或混乱行为的可能性。

Dec, 2023

本论文研究了探索 - 利用困境下的平滑 Q 学习动态，并提出了一个探索速率的充分条件，使得该方法在任何游戏中都能收敛到唯一的均衡，这一结果适用于权重势博弈和权重零和多矩阵游戏。论文还比较了 Q 学习动态和实现均衡所能达到的社会福利，提供了一种充分条件，即使动态不收敛，Q 学习动态仍能超过均衡。

Jan, 2023

我们提出了一种计算多智能体系统中闭环最优策略的方法，并证明了在拥有无限个智能体的系统中成功收敛到最优行为，而且我们的方法具有完全分散的特性，能够在经济和控制理论中的实际应用中收敛到纳什均衡策略。

Mar, 2018

在大规模拥挤博弈中，即使使用自适应学习率，也无法消除混沌行为，我们的实验表明系统参数的微小变化会导致各种不可预测的结果。

Jun, 2023

通过研究充分考虑游戏奖励和探索成本平衡的原型学习模型 Q-learning，我们证明在使用积极探索率的具有异质性学习代理的权重零和多元矩阵游戏中，Q-learning 总是收敛于唯一的量刑 - 反应均衡（QRE），这是有界理性下游戏的标准解决方案概念，并展示了 Q-learning 在竞争环境中的快速收敛性，而无需任何参数微调，在竞争多代理环境中的均衡选择问题提供了算法所需的保证。

Jun, 2021

研究了多智能体系统和哈密顿动力学之间的联系，无论网络结构、复杂性以及使用的算法，都可以将零和网络博弈中的收敛动态映射到哈密顿动力学中。此外，该方法可以将在线优化，凸分析，博弈论和物理学之间的结果和方法进行互相转化。

Mar, 2019

本综述介绍了一个新的独立学习动力学网络，其保证了在零和随机博弈中的收敛性，同时也回顾了其他算法，以期推动研究有关动态环境下博弈的独立和自然学习动力学。

Nov, 2021

本研究通过对二人博弈中多智能体学习策略的分析，提出了一个令人惊讶的结论 —— 不论策略是否收敛，智能体的平均收益都会收敛于纳什均衡，在电子商务和拍卖中具有一定的适用性。

Jan, 2013

研究动态变化的人群中使用学习算法适应变化环境的重复博弈的质量，证明了如果玩家以一种保证低自适应遗憾的方式选择策略，则在许多种类的游戏中，即使变化非常频繁，也可以确保高社会福利，这一点比以前的工作更具现实意义。

May, 2015

对多智能体网络的学习行为进行了详细的瞬态分析，揭示了分布式策略学习能力的有趣结果。结果还建立了自适应网络的学习过程经历了三个明确定义的演化阶段，揭示了网络拓扑结构影响性能的方面并提出了相应的设计程序。

Dec, 2013