具有异构观测数据的联邦离线策略学习
通过将离线强化学习与联邦学习相结合,本文研究了联邦离线强化学习在有限时间段下的马尔可夫决策过程中的优势,设计了一种名为 FedLCB-Q 的变体算法,通过合作利用多个智能体的离线数据集实现了线性加速,并实现了与单智能体方法相当的样本复杂度,同时具备通信效率。
Feb, 2024
本文介绍了一种使用联邦学习平台上的分布式计算资源,基于集成学习方法开发的、名为 FEDORA 的算法,以解决联邦离线强化学习问题。我们展示了 FEDORA 在各种复杂的连续控制环境和真实世界数据集中明显优于其他方法,包括离线 RL 在合并数据池中,最终在移动机器人上演示了 FEDORA 的表现。
May, 2023
在 Federated Learning 中,我们提出了一个统计模型来解决异构数据分布和拜占庭机器等统计和计算挑战。在此基础上,我们提出了一个优化算法来解决该问题,并获得了比非拜占庭鲁棒算法更好的估计误差。
Jun, 2019
我们提出了一个新的去中心化个性化在线联邦学习设置,用于在在线环境中学习,在每个客户端上学习个性化模型,并在去中心化环境中学习。我们解决了两个技术挑战:如何通过优化本地模型的性能来聚合来自邻近客户端的共享模型参数,并通过学习的聚合权重选择最有帮助的邻居减少通信成本。
Nov, 2023
提出了一种面向异构客户的联邦赌博学习算法,通过对客户进行聚类实现了协同赌博学习,在联邦学习设置下,该算法在所有客户端都能实现非平凡的次线性遗憾和通信成本,只要服务器在任何时候只共享一个模型。
Feb, 2024
本论文探索了近似策略迭代(API)在联邦学习中的应用,引入了客户端选择算法来解决环境异质性带来的估计误差,理论和实验结果表明该算法可以在联邦学习中显著降低估计误差。
May, 2023
研究了混合异构性如何影响联邦优化,通过调查服务器端优化表明,自适应地最大化梯度多样性在服务器更新方向上可以帮助缓解混合异构性的潜在负面影响,引入了具有理论保证的新型基于梯度的优化器 FedAWARE,通过在异构联邦设置中进行大量实验表明,我们的提议优化器可以显著提升不同程度的混合异构性下联邦学习的性能。
Oct, 2023
我们研究了数据异质性对联邦学习的影响,发现许多之前的联邦学习方法并没有深入探讨不同类型的数据异质性以及这些异质性如何影响参与客户端的准确性表现。我们研究发现,当前设置中的数据异质性不一定是问题,事实上,它对 FL 参与者有益。
Sep, 2022
本研究探讨了一种新的联邦学习形式,其中客户端训练个性化本地模型,并与服务器端共享模型联合进行预测,通过这种新的联邦学习框架,可以最小化中央共享模型的复杂性,同时获得联合训练提供的所有性能优势。这个框架对数据异质性具有鲁棒性,解决了传统联邦学习方法在客户端数据非独立同分布时面临的收敛缓慢问题。我们在实证测试中发现,与基准线相比,取得了巨大的性能提升。
Mar, 2020