本论文研究了探索 - 利用困境下的平滑 Q 学习动态，并提出了一个探索速率的充分条件，使得该方法在任何游戏中都能收敛到唯一的均衡，这一结果适用于权重势博弈和权重零和多矩阵游戏。论文还比较了 Q 学习动态和实现均衡所能达到的社会福利，提供了一种充分条件，即使动态不收敛，Q 学习动态仍能超过均衡。

Jan, 2023

本文提出了一种基于乐观的镜像下降的无悔策略算法，可以在非稳态环境下实现 O (sqrt (T)) 的后悔度，并可在变分稳定游戏中收敛到纳什均衡。

Apr, 2021

研究了两个智能体在重复对局中报酬和悔恨之间的权衡，提出了一种广义均衡概念，讨论了不同对手情况下的最优战略和可行方案，探究了利用这种广义均衡学习最优策略的方法。

May, 2023

通过一种启发式的学习方案，我们派生出了一种由惩罚项调整的复制者漂移的新类连续时间学习动态，这种惩罚调节的动态相当于玩家保留他们正在进行的回报的指数折扣总和，然后基于这些表现分数使用平滑最佳响应选择行动。借助这种内在的对偶，所提出的动态满足一种进化博弈理论的民间定理的变体，并且它们以（任意精度的）纳什均衡的逼近收敛于潜在游戏。受到交通工程应用的启发，我们进一步利用这种对偶来设计离散时间的，基于回报的学习算法，该算法具有这些收敛性质，并且仅需要玩家观察他们在游戏中的回报

Mar, 2013

我们提出了基于进化博弈理论考虑的两种多智能体强化学习算法的变体。 一个变体的有意简化使我们能够证明它与一类常微分方程系统的复制子 - 变异体动力学的关系，从而通过它的常微分方程对应项在各种环境中展示了该算法的收敛条件。相较于更复杂的算法，另一个更复杂的变体允许与 Q 学习算法进行比较。我们在一系列环境中通过实验将这两个变体与 WoLF-PHC 和频率调整的 Q 学习进行比较，展示了我们的变体在维度增加的情况下保持收敛性的实例与更复杂算法的对比。解析结果的可用性相对于纯经验案例研究提供了一定的可转移性，展示了在处理收敛性和可靠的推广问题时，动力系统视角对多智能体强化学习的普适性。

May, 2024

在重复博弈中，我们研究了采用货币调节等教授动态学习策略的玩家对于行为激励的影响，包括其对学习动态、福利和分配的影响，并提出了一个简单的博弈论模型以解释这些情况。我们的研究表明，在一类广泛的博弈中，通过让学习代理在游戏动态过程中向其他玩家支付，玩家的福利得到提高，而在拍卖过程中，通过制定 “支付政策博弈” 的均衡，代理动态可以达到低收益的合谋结果，这为与机制设计相关的自动学习代理的系统提出了挑战。

May, 2024

旨在最大化社会福利，我们研究重复选择政策的问题，由私人效用和公共收入构成的加权和。通过实验证明，我们获得了与误差下界相匹配的上界，表明福利最大化比多臂赌博问题更困难，且我们的算法实现了最佳速率。

Oct, 2023

多智能体学习在网络游戏中表现出复杂的动态特性，通过研究 Q 学习的动态特性，确定了在任何网络游戏中收敛到唯一均衡的充分条件，并且在适当的网络条件下，可以实现任意数量智能体的稳定学习动态。

Jul, 2023

本文研究了一类竞争场景，其中代理和它们玩的游戏都在时间上演化。该系统中的信息论保存定律、泊松回归和 Nash 均衡特征表明，尽管代理和游戏共同演化，但其结果仍然遵循一定的规律。同时，针对这种共同演化的网络游戏提出了预测代理行为的多项式时间算法。

Dec, 2020

人工智能代理在现实世界中的部署需要与人类（以及其他异构的 AI 代理）可靠地合作。为了提供成功合作的形式化保证，我们必须对合作伙伴代理的行为做一些合理的假设。这项工作研究了在一个有限重复的、两个玩家的一般化总和矩阵游戏中与一个代理人群合作的问题，通过个体理性学习者的假设和在某个 Pareto 有效均衡策略下高概率实现至少与该策略相同效用，我们证明了这些假设本身不足以保证与目标人群成员的零 - shot 合作。因此，我们考虑了通过先前观察到的人群成员相互作用来学习与这样的人群合作的策略问题，并给出了学习有效合作策略所需样本数量的上限和下限。最重要的是，我们证明了这些界限可以比通过一种 “天真” 的问题简化到模仿学习中产生的界限更强。

Jun, 2024