AAAIDec, 2023

竞争网络中多智能体学习的稳定性：延迟混沌的发生

PDF
TL;DR多智能体学习在竞争网络游戏中的行为通常在零和游戏的背景下进行研究，其中收敛保证可能会得到。然而，在这个类别之外，学习的行为被知道展现出复杂的行为且收敛不能始终保证。尽管如此，为了完整地了解多智能体学习在竞争环境中的行为，必须放弃零和的假设。因此，我们以此为动机研究 Q-Learning 动力学，这是一种在多智能体学习中探索和利用的流行模型，在竞争网络游戏中的应用。我们确定竞争程度、探索率和网络连接性对 Q-Learning 的收敛性的影响。为了研究通用的竞争游戏，我们使用代理支付之间的相关性对网络游戏进行参数化，并研究从这些参数选择的所有游戏的 Q-Learning 动力学的平均行为。这种统计方法确定了参数选择，使得 Q-Learning 动力学收敛到一个稳定的固定点。与以前的研究不同，我们发现 Q-Learning 的稳定性明显仅依赖于网络连通性而不是智能体的总数量。我们的实验验证了这些发现，并显示在某些网络结构下，智能体的总数量可以增加而不增加不稳定或混乱行为的可能性。
发现论文，激发创造
  • 多智能体学习的稳定性：多人网络博弈中的收敛性

    多智能体学习在网络游戏中表现出复杂的动态特性，通过研究 Q 学习的动态特性，确定了在任何网络游戏中收敛到唯一均衡的充分条件，并且在适当的网络条件下，可以实现任意数量智能体的稳定学习动态。

    Jul, 2023

  • 多智能体 Q 学习动态的渐近收敛与性能

    本论文研究了探索 - 利用困境下的平滑 Q 学习动态，并提出了一个探索速率的充分条件，使得该方法在任何游戏中都能收敛到唯一的均衡，这一结果适用于权重势博弈和权重零和多矩阵游戏。论文还比较了 Q 学习动态和实现均衡所能达到的社会福利，提供了一种充分条件，即使动态不收敛，Q 学习动态仍能超过均衡。

    Jan, 2023

  • 多智能体竞赛中的探索 - 利用：有界理性下的收敛

    通过研究充分考虑游戏奖励和探索成本平衡的原型学习模型 Q-learning，我们证明在使用积极探索率的具有异质性学习代理的权重零和多元矩阵游戏中，Q-learning 总是收敛于唯一的量刑 - 反应均衡（QRE），这是有界理性下游戏的标准解决方案概念，并展示了 Q-learning 在竞争环境中的快速收敛性，而无需任何参数微调，在竞争多代理环境中的均衡选择问题提供了算法所需的保证。

    Jun, 2021

  • 自适应学习速率仍无法解决大规模多智能体学习中的混沌问题

    在大规模拥挤博弈中，即使使用自适应学习率，也无法消除混沌行为，我们的实验表明系统参数的微小变化会导致各种不可预测的结果。

    Jun, 2023

  • 网络零和博弈中的多智能体学习是哈密顿系统

    研究了多智能体系统和哈密顿动力学之间的联系，无论网络结构、复杂性以及使用的算法，都可以将零和网络博弈中的收敛动态映射到哈密顿动力学中。此外，该方法可以将在线优化，凸分析，博弈论和物理学之间的结果和方法进行互相转化。

    Mar, 2019

  • 零和马尔可夫博弈的分散式 Q 学习

    本研究在非协调控制下，针对无限期、折现、零和马尔可夫博弈中的多智能体强化学习进行了研究。提出了一种无限期 Q 学习动态，该学习动态在没有集中控制器的情况下收敛到 Nash 均衡点，并且可以有效应对非固定环境的挑战。

    Jun, 2021

  • 深度强化学习下的多智能体合作与竞争

    本文探讨了如何在多智能体环境下，运用扩展后的 Deep Q-Learning Network，使两个由独立的 Deep Q-Networks 控制的 agents，相互作用以玩经典的电子游戏乒乓球，以及通过改变 Pong 经典奖励方案，演示出竞争和合作性行为的出现。研究表明 Deep Q-Networks 可以成为在高度复杂环境中研究分散式学习的多智能体系统的实用工具。

    Nov, 2015

  • 自适应网络学习行为研究 - 第一部分：瞬态分析

    对多智能体网络的学习行为进行了详细的瞬态分析，揭示了分布式策略学习能力的有趣结果。结果还建立了自适应网络的学习过程经历了三个明确定义的演化阶段，揭示了网络拓扑结构影响性能的方面并提出了相应的设计程序。

    Dec, 2013

  • 强化学习中的稳定边缘现象研究

    通过研究强化学习中的稳定性边界现象，发现优化动力学可以在不同的问题领域中发生转移，但深度强化学习的优化动力学在某些方面与监督学习不同。

    Jul, 2023

  • 连续游戏中基于梯度的学习

    本研究提出了一个广泛适用于多智能体领域的竞争性基于梯度的学习模型，并使用动态系统理论对其进行了分析，对于有限和无限游戏，我们表征了一组非常小的局部纳什均衡，这组均衡将被激活，如果每个智能体采用基于梯度的学习算法。同时研究了基于算法自身构建的不属于纳什均衡的收敛策略在有限和无限游戏中的存在性，这可能解释了在零和游戏中，应用相关算法时出现的困难。最后，为了验证理论贡献，我们给出了一个示例验证。

    Apr, 2018