非独立同分布数据上健壮且高效的联邦学习

Mar, 2019

非独立同分布数据上健壮且高效的联邦学习

Robust and Communication-Efficient Federated Learning from Non-IID Data

Felix Sattler, Simon Wiedemann, Klaus-Robert Müller, Wojciech Samek

TL;DR本研究提出了 Sparse Ternary Compression (STC)，一种针对 Federated Learning 环境的新型压缩框架。实验表明，STC 在常见 Federated Learning 场景下，即使客户端持有非 iid 数据、使用小的 batch size 进行训练或参与率较低，也比 Federated Averaging 表现更佳。此外，即使客户端持有 iid 数据并使用中等大小的批次进行训练，STC 仍在更少的训练迭代和更小的通信预算内实现了固定目标准确度，表现超越了 Federated Averaging。

Abstract

federated learning allows multiple parties to jointly train a deep learning model on their combined data, without any of the participants having to reveal their local data to a centralized server. This form of privacy-preserving collaborative learning however comes at the cost of a sig

federated learning privacy-preserving learning compression methods sparse ternary compression communication overhead

发现论文，激发创造

用于高效通讯联邦学习的三元压缩

研究提出了一种基于联邦学习的量化算法 FTTQ 和三值联邦平均协议 T-FedAvg，能够显著降低联邦学习系统的通信成本，并在 IID 数据上实现微小的性能提升。

Mar, 2020

FedFMC：在非独立同分布数据上进行序列高效联邦学习

我们提出了 FedFMC（Fork-Merge-Consolidate），它是一种能够处理非独立同分布数据的联邦学习算法，相较于以往的方法，FedFMC 不需要使用全局共享数据子集，同时也不会增加通信成本。

Jun, 2020

在联邦学习中协调安全性和通信效率

本文解决了跨设备联邦学习中通信效率问题并提出了一种基于安全聚合的压缩方法，使得在保证通信安全的前提下能够实现高效联邦学习。

Jul, 2022

FedComLoc: 通信高效的稀疏与量化模型的分布式训练

我们引入 FedComLoc 算法，集成了实用和有效的压缩技术到 Scaffnew 算法中，以进一步提高通信效率。通过使用流行的 TopK 压缩器和量化技术进行广泛实验，证明了在异构环境中大幅减少通信开销的能力。

Mar, 2024

压缩联邦学习：统一分析和精确保证

通过定期压缩通信的算法，分析其收敛性并探讨其与局部计算的关系，提出了一种本地梯度追踪方案，以缓解数据异质性，实现了更快的收敛速度和更好的算法效果。

Jul, 2020

通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

Jan, 2024

随机聚合联邦学习

本文提出了一种针对非独立同分布问题的新型聚类联邦学习方法 StoCFL，它实现了一种灵活的 CFL 框架，支持不同比例的客户端参与和新客户端加入，而且在保持模型性能的同时获得了良好的聚类结果。

Mar, 2023

联邦学习：提高通信效率的策略

本文探讨联邦学习中的机器学习算法以及通过结构化更新和草图更新的方式来降低通信成本，实验结果表明这两种方法可以将通信成本降低两个数量级。

Oct, 2016

高效沟通的自适应联邦学习

本文介绍了一种新的通信高效的自适应联邦学习方法 FedCAMS，该方法具有理论收敛保证并在各种基准测试上进行了广泛实验验证。

May, 2022

通信高效的联邦学习时间相关稀疏化

本文介绍了一种基于稀疏通信框架的时间相关稀疏化（TCS）方案，通过寻找联邦学习中连续迭代中使用的稀疏表示之间的相关性，以显著减少编码和传输的开销，以提高测试准确性，并演示了在 CIFAR-10 数据集上使用量化加时间相关稀疏化方法时，可实现 100 倍稀疏化的集中式训练准确性并减少高达 2000 倍的通信负载。

Jan, 2021