本地思考，全球行动：具备本地和全局表示的联邦学习

Jan, 2020

本地思考，全球行动：具备本地和全局表示的联邦学习

Think Locally, Act Globally: Federated Learning with Local and Global Representations

Paul Pu Liang, Terrance Liu, Liu Ziyin, Nicholas B. Allen, Randy P. Auerbach...

TL;DR通过在设备上联合学习一种新的联邦学习算法，可以通过仅传递参数来训练全局模型，从而保持设备数据的私密性，这可以减少通信参数的数量并降低数据方差和设备分布差异，同时兼顾对隐私和公平性的要求。

Abstract

federated learning is a method of training models on private data distributed over multiple devices. To keep device data private, the global model is trained by only communicating parameters and updates which pos

federated learning global model local model privacy fairness

发现论文，激发创造

本地记忆化的个性化联邦学习

通过利用深度神经网络从非表格数据（如图像和文本）提取高质量特征向量来提出一种基于本地记忆的个性化机制，该机制与基于全局模型的交叉训练相结合，使用局部ｋ- 近邻模型实现个性化，并且在二元分类情况下给出了一般化边界。在一系列联合数据集上实验证明了这种方法的准确性和公平性显著优于现有的状态 - of-the-art 方法。

Nov, 2021

利用共享表示进行个性化联邦学习

本文提出了一个新的联邦学习框架和算法，用于在客户之间学习共享的数据表示和每个客户的独特的本地头。我们的算法利用了跨客户的分布式计算能力，以便每次更新表示时进行许多针对低维本地参数的局部更新。我们证明该方法在线性设置中获得与地面实况表示的线性收敛，并获得接近最优样本复杂度，从而在每个客户端高效地降低问题维度。这个结果超出了联合学习，是一类希望在数据分布中学习共享的低维表示的问题的广泛兴趣，例如在元学习和多任务学习中。此外，广泛的实验结果显示了我们的方法在异构数据的联邦环境中相对于可选的个性化联邦学习方法的经验改进。

Feb, 2021

使用共识图预训练不同特征的模型联邦学习

本文提出了一种通过特征融合方法来提高预测性能，解决了在分布式物联网中利用不同模型进行本地学习而合并本地模型以实现一致性的问题。通过在现实场景中的应用，如电力网和交通网络，证明了此方法的有效性。

Jun, 2023

混合全局和局部模型的联邦学习

提出针对联邦学习模型的新型优化公式，通过寻求全局模型与本地模型之间的平衡，使各参与设备能够从其私有数据中学习，而不需要通信。此方法类似于联邦平均 /local SGD，但能够改善具有异构数据的问题的通信，同时发现个性化能够降低通信复杂度。

Feb, 2020

联邦学习：挑战、方法和未来方向

本文介绍联邦学习的独特特征和挑战，提供当前方法的概述，并概述了与各种研究社区相关的几个未来方向。

Aug, 2019

联邦重构：部分本地化联邦学习

本文提出了联邦重构（Federated Reconstruction）方法，这是第一个适用于大规模交叉设备设置的局部联邦学习模型通用框架，可用于训练和推断，并在移动键盘应用中成功实现了基于本方法的联邦协同过滤。

Feb, 2021

基于动态正则化的联邦学习

我们提出了一种新的联邦学习方法，通过动态正则化器在限制设备异构性和大量设备、部分参与和不平衡数据的同时，在凸和非凸情况下实现了高效训练。

Nov, 2021

多目标进化联邦学习

此论文使用多目标进化算法优化神经网络模型的结构，以同时减少通信成本和全局模型测试误差，提高联邦学习的学习性能和效率。

Dec, 2018

设备上个性化联邦评估

该研究介绍了扩展联邦学习运算框架以评估全球模型个性化策略的方法，并提出了分析个性化效果以评估个性化是否产生理想模型的工具。作者还报告了在数千万用户的智能手机虚拟键盘中个性化语言模型的实验结果，并展示了相当一部分用户从个性化中受益。

Oct, 2019

联邦剩余学习

本研究探讨了一种新的联邦学习形式，其中客户端训练个性化本地模型，并与服务器端共享模型联合进行预测，通过这种新的联邦学习框架，可以最小化中央共享模型的复杂性，同时获得联合训练提供的所有性能优势。这个框架对数据异质性具有鲁棒性，解决了传统联邦学习方法在客户端数据非独立同分布时面临的收敛缓慢问题。我们在实证测试中发现，与基准线相比，取得了巨大的性能提升。

Mar, 2020