本文旨在探索线性上下文强化学习在联邦学习环境下的应用，提出了一种基于异步模型更新和通信的通用框架，并对分布式学习下的遗憾和通信成本进行了理论分析，并进行了广泛的实证评估，证明了该解决方案的有效性。

Oct, 2021

该论文介绍了一个用于在线组合优化和有限带反馈的联邦学习框架，该框架将任何具有复杂度为 O (psi/epsilon^beta)（其中省略了对数计算，psi 是一个函数，beta 是常数）的离线单代理（alpha-epsilon）逼近算法转化为具有 m 个通信代理和 alpha 遗憾度的在线多代理算法，并保证了与时间跨度 T 的次线性增长，且随着通信代理数量的增加而线性加速。此外，该算法还具有高效的通信特性，只需要亚线性数量的通信轮次，通过将该框架成功应用于在线随机子模块最大化，并实现了第一个单代理和多代理设置的结果，以及恢复了专门的单代理理论保证。我们还通过对随机数据摘要问题的实证验证来展示所提出的框架的有效性，即使在单代理场景中也是如此。

May, 2024

研究了线性随机机器人中的最佳臂标识，在标准多胳臂机器人中存在渐近最优算法，但是对于线性机器人中的最佳臂识别还没有出现这样的算法，本文提出了一种渐近最优算法。

Jul, 2020

研究具有多个代理通过通信网络合作的新的非随机联邦多臂老虎机问题，其中危害的损失是由特指所有代理的每个时间步长和每个代理的每个手臂的损失的笨拙对手分配的。对于任何联邦老虎机算法，根据不同的设置提供遗憾下限，当代理有完整信息反馈或老虎机反馈时。在老虎机反馈设置下，提出一种接近最优的联邦老虎机算法 FEDEXP3，证明 FEDEXP3 可以保证不交换代理之间选择的手臂编号或损失序列的情况下得到次线性遗憾。还提供我们算法的数值评估以验证我们的理论结果，并证明其在合成和现实世界数据集上的有效性。

Jan, 2023

研究了联合上下文组合级连续 Bandit 问题，考虑到异步通信模式下的异构用户行为，提出了一种 UCB 类型的算法，并通过理论分析在减少通信成本的同时获得了与同步框架相当的次线性后悔界限。经验评估验证了该算法在后悔和通信成本方面的优越性能。

Feb, 2024

研究多臂老虎机中多智能体协作学习，旨在探讨在交互受限制即沟通成本高昂的情况下，协作学习的效率与集中式算法的比较，提出多个新技术，对时间或置信度限制下的通信步数的下限问题进行了更加深入的分析。

Apr, 2019

本文提出了一种新型的联邦线性情境赌博机模型 Fed-PE，并采用协作算法来处理客户端的异质性，它基于新颖的多客户 G - 最优设计，并通过对不相交和共享参数情况下的对数通信成本，实现了几乎最优的遗憾。此外，本文还引入了一种新的概念 —— 共线依赖策略，并基于此导出了不相交参数情况下的严格极小化遗憾下界。实验结果表明，该算法在合成和真实数据集上均具有很好的鲁棒性。

Oct, 2021

提出了一种面向异构客户的联邦赌博学习算法，通过对客户进行聚类实现了协同赌博学习，在联邦学习设置下，该算法在所有客户端都能实现非平凡的次线性遗憾和通信成本，只要服务器在任何时候只共享一个模型。

Feb, 2024

研究多臂赌博机在 $k$ 个协作玩家中进行探索，以确定最佳手臂，结果表明协作与沟通可以实现更快的学习速度，最佳方案是 $k$ 倍的学习性能加速，且通信量只有 $log (1/ε)$。

Nov, 2013

本研究使用频率学派和贝叶斯算法以及运行协商算法解决多智能体多臂赌博机问题中的探索和开发的分布式合作决策问题，并证明了这些算法的性能，以及通信图结构对决策性能的影响。

Jun, 2016