联邦学习中的显式个性化和本地化训练：倍增通讯加速

May, 2023

联邦学习中的显式个性化和本地化训练：倍增通讯加速

Explicit Personalization and Local Training: Double Communication Acceleration in Federated Learning

Kai Yi, Laurent Condat, Peter Richtárik

TL;DRScafflix 是一种新算法，它将显式个性化与本地训练有效地集成，利用这两种技术实现了双倍加速的通信，这一方法旨在实现 Federated Learning 中客户端个性化的联合学习。

Abstract

federated learning is an evolving machine learning paradigm, in which multiple clients perform computations based on their individual private data, interspersed by communication with a remote server. A common strategy to curtail communication costs is →

federated learning local training stochastic gradient descent personalization scafflix

发现论文，激发创造

联邦学习：提高通信效率的策略

本文探讨联邦学习中的机器学习算法以及通过结构化更新和草图更新的方式来降低通信成本，实验结果表明这两种方法可以将通信成本降低两个数量级。

Oct, 2016

通过本地训练增强联邦学习中的隐私保护

通过提出联邦私有局部训练算法（Fed-PLT），本文解决了联邦学习中昂贵的通信和隐私保护等挑战，通过局部参与和训练，在中央协调员和计算代理之间显著减少通信轮次，实现了局部训练对准确性的无影响匹配。同时，代理具有从不同局部训练求解器中选择的灵活性，如（随机）梯度下降和加速梯度下降，还探讨了如何利用局部训练来增强隐私，并推导了差分隐私边界及其与局部训练轮次的依赖关系，通过理论分析和分类任务的数值结果与其他技术进行比较，评估了所提算法的有效性。

Mar, 2024

高效沟通的自适应联邦学习

本文介绍了一种新的通信高效的自适应联邦学习方法 FedCAMS，该方法具有理论收敛保证并在各种基准测试上进行了广泛实验验证。

May, 2022

DualFL: 基于对偶的联邦学习算法，在一般凸域中具有通信加速

本文提出了一种名为 DualFL 的新型训练算法，可以解决联邦学习中分布式优化问题，并实现了在不同条件下的通信加速，在使用不精确本地解算器时也保持其最佳的通信复杂度。此外，这是第一个即使在成本函数为非平滑或非强凸时也能实现通信加速的联邦学习算法。

May, 2023

在无线联合边缘学习系统中加速 DNN 训练

研究节约时间、资源、保隐私的联邦边缘学习架构系统，通过 CPU 和 GPU 场景的联合批大小选取和通信资源分配，来缩短训练时间并提高训练准确性。

May, 2019

FedSpeed: 更大的本地间隔，更少的通信轮次，更高的泛化准确性

本文提出了 FedSpeed 方法，通过应用 prox-correction term 和混合随机梯度下降和额外梯度上升步骤的扰动方法，解决了分布式学习框架中由于本地不一致的最优和过度拟合引起的非消失偏差问题。实验表明 FedSpeed 在真实数据集上的效率显著快于几种基线算法，并实现了最先进的性能。

Feb, 2023

联邦学习中的个性化改善隐私 - 准确性权衡

研究分布式机器学习系统，并基于修正的随机优化算法实现私人级联学习，在保证局部模型私密性的同时，与全局模型进行协调，提升了准确性和隐私保护的平衡。

Feb, 2022

自我感知个性化联邦学习

本论文提出了一种自我感知的个性化联邦学习方法，通过采用贝叶斯分层模型，利用不确定性量化来平衡本地模型改进和全局模型调整，使用不确定性驱动的本地训练步骤和聚合规则来实现。通过实验研究，该方法显著提高了个性化性能。

Apr, 2022

自适应个性化联邦学习

本文提出了一种自适应个性化联邦学习算法，采用局部和整体模型混合的方法来提高模型的个性化能力，并使用通信高效的最优化方法来协同学习个性化模型，实验证明了该算法的有效性与泛化理论的正确性。

Mar, 2020

FedLALR：面向客户端的自适应学习速率实现非独立同分布数据的线性加速

我们提出了一种名为 FedLALR 的异构本地 AMSGrad 变体，该方法通过基于本地历史梯度平方和同步学习率来调整每个客户端的学习率，理论分析表明我们的方法具有良好的收敛性和与客户端数量线性加速，这为联邦优化提供了可扩展性。我们还通过与其他几种通信高效的联邦优化方法进行了实证比较，在计算机视觉和自然语言处理任务上的广泛实验结果显示我们提出的 FedLALR 方法的有效性，并与我们的理论发现相吻合。

Sep, 2023