研究了多智能体学习中的探索 - 利用问题，并在 Q-learning 模型中证明了其在博弈中拥有良好的理论基础，同时研究了探索对多智能体系统性能的影响，并提供了调整探索参数以实现平衡选择的正反面效果的正式理论处理。

Dec, 2020

本论文研究了探索 - 利用困境下的平滑 Q 学习动态，并提出了一个探索速率的充分条件，使得该方法在任何游戏中都能收敛到唯一的均衡，这一结果适用于权重势博弈和权重零和多矩阵游戏。论文还比较了 Q 学习动态和实现均衡所能达到的社会福利，提供了一种充分条件，即使动态不收敛，Q 学习动态仍能超过均衡。

Jan, 2023

多智能体学习在竞争网络游戏中的行为通常在零和游戏的背景下进行研究，其中收敛保证可能会得到。然而，在这个类别之外，学习的行为被知道展现出复杂的行为且收敛不能始终保证。尽管如此，为了完整地了解多智能体学习在竞争环境中的行为，必须放弃零和的假设。因此，我们以此为动机研究 Q-Learning 动力学，这是一种在多智能体学习中探索和利用的流行模型，在竞争网络游戏中的应用。我们确定竞争程度、探索率和网络连接性对 Q-Learning 的收敛性的影响。为了研究通用的竞争游戏，我们使用代理支付之间的相关性对网络游戏进行参数化，并研究从这些参数选择的所有游戏的 Q-Learning 动力学的平均行为。这种统计方法确定了参数选择，使得 Q-Learning 动力学收敛到一个稳定的固定点。与以前的研究不同，我们发现 Q-Learning 的稳定性明显仅依赖于网络连通性而不是智能体的总数量。我们的实验验证了这些发现，并显示在某些网络结构下，智能体的总数量可以增加而不增加不稳定或混乱行为的可能性。

Dec, 2023

研究探讨了在连续时间内通过采用熵正则化奖励函数促进探索和利用现有知识之间达到的最佳折衷方案，提出使用行为分布的微分熵来规范化奖励函数的熵正则化，并通过高斯分布表征推导出最佳反馈控制分布来平衡利用和探索性搜索，最后通过熵正则化 LQ 问题的解法证明当探索比重衰减至零时，解法能够收敛于经典 LQ 问题的解。

Dec, 2018

本文将软 Q - 学习技术应用于随机博弈中的多智能体系统，实现可调的智能体策略，通过理论和实验贡献，证明了软 Q - 学习可以在各种不同类型的博弈中实现优异表现。

Feb, 2018

多智能体学习在网络游戏中表现出复杂的动态特性，通过研究 Q 学习的动态特性，确定了在任何网络游戏中收敛到唯一均衡的充分条件，并且在适当的网络条件下，可以实现任意数量智能体的稳定学习动态。

Jul, 2023

本研究在非协调控制下，针对无限期、折现、零和马尔可夫博弈中的多智能体强化学习进行了研究。提出了一种无限期 Q 学习动态，该学习动态在没有集中控制器的情况下收敛到 Nash 均衡点，并且可以有效应对非固定环境的挑战。

Jun, 2021

本文论述的是如何在强化学习的算法中基于概率分布估算每个行动的信息价值，并选择能够平衡探索与利用的最佳行动。

Jan, 2013

我们研究了在一般和马尔可夫游戏中，多智能体强化学习中的风险敏感问题，其中智能体通过强化学习最大化奖励的熵风险衡量，并且可能具有不同的风险偏好。我们表明，使用现有文献中直接从后悔中获得的波动作为性能指标可能会导致存在偏差的策略，偏好最敏感风险的智能体并忽视其他智能体。为了解决这种直接后悔的不足，我们提出了一种新的后悔定义，称之为风险平衡后悔，并通过下界证明其克服了平衡偏差的问题。此外，我们开发了一种自我博弈算法，用于在风险敏感的马尔可夫游戏中学习纳什均衡、相关均衡和粗糙相关均衡。我们证明了该算法相对于风险平衡后悔在近乎最优的性能保证。

May, 2024

通过赋予智能体风险厌恶和有限理性等人类决策要素，我们展示了一类风险厌恶量子响应均衡解（Risk-Averse Quantal Response Equilibria，RQE），不依赖于底层游戏结构而只依赖于智能体的风险厌恶程度和有限理性，在所有 n 个玩家矩阵和有限时域马尔可夫博弈中可以高效计算。此外，我们还通过实证经济学研究所涉及的许多两人矩阵游戏验证了这类解集的丰富性，并对在有生成模型的有限时域马尔可夫博弈中计算这些均衡的样本复杂度进行了首次分析，同时在简单的多智能体强化学习基准测试中验证了我们的发现。

Jun, 2024