联邦多臂赌博算法的实证评估

Mar, 2023

An Empirical Evaluation of Federated Contextual Bandit Algorithms

Alekh Agarwal, H. Brendan McMahan, Zheng Xu

TL;DR在联邦学习中，研究通过用户与感兴趣的应用程序交互产生的隐式信号，而非要求访问难以获取的显式标签的情况下，采用联合上下文强化学习框架来开发各种中心化环境下主要上下文强化学习算法的变体，并在公开可用数据集的一系列场景中仔细评估这些算法。我们的实验显示，简单且常用的 softmax启发式方法可以在多种设置下平衡已知的探索和开发之间的权衡。

Abstract

As the adoption of federated learning increases for learning from sensitive data local to user devices, it is natural to ask if the learning can be done using implicit signals generated as users interact with the

发现论文，激发创造

上下文赌博大比拼

本文是对背景上下文算法的一个全面的研究和综述，重点关注依靠监督学习的优化原则的实用方法，并利用大量的监督学习数据集进行了实证评估。研究发现，最近使用不确定性乐观主义的方法在整体上效果最好，其次是通过上下文多样性暗示进行探索的简单贪心基线。

Feb, 2018

异步上置信区间算法用于联邦线性赌臂机

本文旨在探索线性上下文强化学习在联邦学习环境下的应用，提出了一种基于异步模型更新和通信的通用框架，并对分布式学习下的遗憾和通信成本进行了理论分析，并进行了广泛的实证评估，证明了该解决方案的有效性。

Oct, 2021

联邦线性情境赌博机

本文提出了一种新型的联邦线性情境赌博机模型Fed-PE，并采用协作算法来处理客户端的异质性，它基于新颖的多客户G-最优设计，并通过对不相交和共享参数情况下的对数通信成本，实现了几乎最优的遗憾。此外，本文还引入了一种新的概念——共线依赖策略，并基于此导出了不相交参数情况下的严格极小化遗憾下界。实验结果表明，该算法在合成和真实数据集上均具有很好的鲁棒性。

Oct, 2021

联邦神经遗传算法

本篇论文介绍了联邦神经-上置信区间算法(FN-UCB)，该算法采用两个上界置信区间(UCB)的加权组合，以更好地利用联合设置，并证明了FN-UCB的累积后悔和通信轮数上限。

May, 2022

具有用户级差分隐私的联邦线性情境赌博机

本文研究联邦线性情境强化学习在用户级差分隐私下的模型，介绍了用户级中心差分隐私和本地差分隐私，并研究了学习遗憾与相应差分隐私保证之间的基本权衡。对于中心差分隐私，提出了一种联邦算法Robin，并在满足用户级差分隐私的情况下证明了其近乎最优，对于本地差分隐私，获得了一些下界，表明在不同条件下，满足用户级(ε，δ）-LDP的学习必须遭受至少min{1/ε，M}或min{1/根号下ε，根号下M}的遗憾膨胀因子。

Jun, 2023

激励通信的联邦赌博机

在联邦赌博学习的研究中，为了处理自我利益的客户，我们引入了一种激励通信问题，提出了一种名为Inc-FedUCB的激励通信协议，它在可证明的通信和激励成本保证下实现了接近最优的遗憾率。通过对合成和真实世界数据集的广泛实验进一步验证了该方法的有效性。

Sep, 2023

高效沟通的联邦非线性赌博机优化

我们提出了一种名为Fed-GO-UCB的新算法，用于具有通用非线性目标函数的联邦赌博优化问题，通过严格证明，Fed-GO-UCB能够以次线性速率实现累积遗憾和通信成本。

Nov, 2023

在联邦情境腕带中利用联邦学习的力量

本研究提出了一种名为FedIGW的新型FCB设计，以回归为基础的CB算法（即逆距离加权法）来更好地应用FL的创新，通过理论分析和实证评估证实了这一设计能够灵活并且无缝地整合现有和即将到来的FL协议，并模块化地插入FL分析以保证性能，并且无缝地整合了FL的附加功能，如个性化、鲁棒性和隐私保护。

Dec, 2023

异质客户的联邦线性情境赌博机

提出了一种面向异构客户的联邦赌博学习算法，通过对客户进行聚类实现了协同赌博学习，在联邦学习设置下，该算法在所有客户端都能实现非平凡的次线性遗憾和通信成本，只要服务器在任何时候只共享一个模型。

Feb, 2024

具有灵活个性化的联邦$\mathcal{X}$-臂赌博机

本文提出了一种在$\mathcal{X}$-臂赌博机框架下进行个性化联邦学习的新方法，旨在解决在高度异质环境中优化本地与全局目标的挑战。我们的方法通过结合个别客户偏好与聚合的全球知识的代理目标函数，灵活权衡个性化与集体学习。理论分析与实证评估表明，相较于现有方法，我们的方法表现出优越性，具有广泛的应用潜力。

Sep, 2024