联邦线性情境赌博机
提出了一种面向异构客户的联邦赌博学习算法，通过对客户进行聚类实现了协同赌博学习，在联邦学习设置下，该算法在所有客户端都能实现非平凡的次线性遗憾和通信成本，只要服务器在任何时候只共享一个模型。
Feb, 2024
本文就基于上下文线性赌博机的联邦学习问题提出了一种称为 FedUCB 的多代理私有算法，该算法在中央化和去中心化（点对点）联邦学习方案中均可使用，在保证通信隐私的同时，在后遗憾度和隐私保证方面表现出极强的实用性。
Oct, 2020
本文旨在探索线性上下文强化学习在联邦学习环境下的应用，提出了一种基于异步模型更新和通信的通用框架，并对分布式学习下的遗憾和通信成本进行了理论分析，并进行了广泛的实证评估，证明了该解决方案的有效性。
Oct, 2021
在联邦环境中，考虑具有公平性和隐私保证的上下文多臂赌博机问题。我们提出了一种新的通信协议，使得联邦学习更加有效，并提供了确保差分隐私的算法。我们通过广泛的模拟实验证明了我们提出算法的有效性。
Feb, 2024
本文研究联邦线性情境强化学习在用户级差分隐私下的模型，介绍了用户级中心差分隐私和本地差分隐私，并研究了学习遗憾与相应差分隐私保证之间的基本权衡。对于中心差分隐私，提出了一种联邦算法 Robin，并在满足用户级差分隐私的情况下证明了其近乎最优，对于本地差分隐私，获得了一些下界，表明在不同条件下，满足用户级 (ε，δ）-LDP 的学习必须遭受至少 min {1/ε，M} 或 min {1 / 根号下 ε，根号下 M} 的遗憾膨胀因子。
Jun, 2023
在联邦学习中，研究通过用户与感兴趣的应用程序交互产生的隐式信号，而非要求访问难以获取的显式标签的情况下，采用联合上下文强化学习框架来开发各种中心化环境下主要上下文强化学习算法的变体，并在公开可用数据集的一系列场景中仔细评估这些算法。我们的实验显示，简单且常用的 softmax 启发式方法可以在多种设置下平衡已知的探索和开发之间的权衡。
Mar, 2023
研究联邦线性赌臂模型，其中 M 个客户端与中央服务器通信，解决具有有限对抗行动集的线性上下文赌臂问题。提出了 FedSupLinUCB 算法，并证明其实现了总遗憾 O (dT) 的性能边界，并分析了其通信成本。将 FedSupLinUCB 进一步扩展到方差自适应和对抗性破坏的情景，通过实验证明了该算法的有效性。
Nov, 2023
FedConPE 是一种基于相位消除的联邦对话贪心算法，通过与中央服务器的协作来解决全局上下文线性贪心问题，并确保数据的安全管理。FedConPE 能够以增强的计算和通信效率以及升级的隐私保护方式，优于现有的对话贪心算法，并且使用更少的对话次数。
May, 2024
本文研究了集群上下文强化学习，其中回报和资源消耗是集群特定线性模型的结果，算法无法知晓各个元素的集群成员关系。通过拉动一根臂在一个时间段内会产生回报和对于多个资源的消耗，并且任何资源的总消耗超过约束条件会导致算法终止。因此，最大化总回报需要学习回报、资源消耗和集群成员关系的模型。我们提出了一种算法，在时间段的数量上具有亚线性的遗憾，并且不需要访问所有的臂。特别地，我们证明只需对随机选择的一部分臂执行一次聚类即可达到这个结果。为了实现这个结果，我们结合了计量经济学和约束条件强化学习的文献中的技术。
Aug, 2023