自适应梯度稀疏化用于高效联邦学习：一种在线学习方法

Jan, 2020

自适应梯度稀疏化用于高效联邦学习：一种在线学习方法

Adaptive Gradient Sparsification for Efficient Federated Learning: An Online Learning Approach

Pengchao Han, Shiqiang Wang, Kin K. Leung

TL;DR本文提出了一种公平性感知的梯度稀疏化方法，以及一种自适应梯度稀疏化技术，能够在控制梯度稀疏度的情况下，最小化整体训练时间，实验结果表明，相对于传统方法，通过本文所提方法，能够在有限的训练时间内提升 40% 的模型准确度。

Abstract

federated learning (FL) is an emerging technique for training machine learning models using geographically dispersed data collected by local entities. It includes local computation and synchronization steps. To reduce the communication overhead and improve the overall efficiency of FL,

federated learning gradient sparsification non-i.i.d. local datasets fairness-aware online learning

发现论文，激发创造

具有差分隐私的梯度稀疏化，实现高效的无线联合学习

通过设计基于随机稀疏化算法的梯度稀疏化联邦学习框架，该框架在无线信道上进行训练，提升了训练效率且不牺牲收敛性能，同时降低了差分隐私所引起的性能下降和无线信道传输参数数量。

Apr, 2023

梯度同构引导的联邦稀疏训练

边缘计算允许在边缘设备上部署人工智能和机器学习模型，它们可以从本地数据中学习并协作形成全局模型。联邦学习是一种分布式机器学习技术，旨在在保护数据隐私的同时促进此过程。本文提出了一种新方法 —— 梯度一致性引导的联邦稀疏训练（FedSGC），它将动态稀疏训练和梯度一致性检查集成到联邦学习框架中，以解决高计算和通信成本的限制性设备、数据不同和分布不均以及解决数据中存在的局外数据等问题。我们在具有挑战性的非独立同分布环境中评估了我们的方法，并展示了它在各种场景中与最先进的联邦学习方法相比具有竞争力的准确性，同时最大程度地减少计算和通信成本。

May, 2024

基于分组串并训练的异构联邦学习

本论文提出了一个数据异构鲁棒的联邦学习方法 ——FedGSP，该方法使用动态序列 - 并行协作训练的新概念，通过将 FL 客户端分配到同质组中最小化组与组之间的整体分布差异，增加并行度并通过一种新颖的 Inter-Cluster Grouping (ICG) 算法来辅助分配，该算法利用重心等价定理简化 NP 难问题，实验结果表明 FedGSP 相比七种现有方法平均提高了 3.7％的准确率，并将训练时间和通信成本降低了 90％以上。

Jan, 2022

SalientGrads：稀疏模型用于通信高效和数据感知的分布式联邦训练

使用 Salient Grads 方法基于客户端数据计算模型参数显著性分数，并选择 “数据感知” 亚网络进行训练，仅在训练过程中通过传输高度稀疏的梯度，在解决联邦学习中的计算和通信瓶颈方面表现出良好的效果，具有可行性和实用性。

Apr, 2023

增强稀疏化隐私与自适应优化的联邦学习

这篇论文提出了一种新的联邦学习框架，采用随机稀疏化和梯度扰动来增强差分隐私保证，结合加速技术减少隐私代价，并利用 Renyi DP 紧密评估端到端 DP 保证。实验结果验证了该方法在隐私保证和通信效率方面的优于之前的方法。

Aug, 2020

用于快速且通讯高效的联邦学习自适应差分滤波器

本文提出了在卷积滤波器粒度上操作的新比例方法，以补偿联合学习过程中高度稀疏的更新，适应于新的数据领域，实现更高的压缩比率并提高性能。

Apr, 2022

联邦学习中的本地适应性：收敛和一致性

本文探讨在联邦学习中使用自适应优化方法对于本地更新的影响，指出自适应优化方法虽然可以加速模型收敛，但可能导致解决方案出现偏差，为此提出了纠正技术以克服这种不一致性，并在现实联合训练任务上进行了广泛实验，结果表明与没有局部自适应性的基线相比，所提出的算法可以实现更快的收敛和更高的测试准确性。

Jun, 2021

基于稀疏模型自适应的高效个性化联邦学习

提出一种名为 pFedGate 的方法，通过自适应和高效地学习稀疏本地模型来实现高效个性化联邦学习，并通过轻量级可训练的门控层使客户端生成不同的稀疏模型，同时考虑到异构的数据分布和资源限制，实现了计算和通信的效率提高，理论上的收敛性和泛化误差更优越，实验证明该方法相对于同类方法能够同时实现更高的全局准确性、个体准确性和效率，并能够适应不同的数据分布。

May, 2023

带自适应调参客户端的联邦学习

提出了一种名为 Delta-SGD 的算法用于优化联邦学习模型中的超参数，该算法能够在各个客户端之间自适应优化不同的参数，实验结果表明，该算法可以在不需要额外调整的情况下，在 73% 的实验中达到 TOP-1 准确度，在 100% 的实验中达到 TOP-2 准确度。

Jun, 2023

保护隐私的联邦原始 - 对偶学习用于模型稀疏化的非凸和非平滑问题

提出了一种用于非凸和非平滑联邦学习问题的新型原始 - 对偶算法，结合双向模型稀疏化和差分隐私，以保证强隐私，通过真实数据上的大量实验验证了该算法的有效性和比某些最先进的联邦学习算法更出色的性能，并验证了所有分析结果和特性。

Oct, 2023