高效模型压缩的分层联邦学习
本研究提出了Sparse Ternary Compression (STC)，一种针对Federated Learning环境的新型压缩框架。实验表明，STC在常见Federated Learning场景下，即使客户端持有非iid数据、使用小的batch size进行训练或参与率较低，也比Federated Averaging表现更佳。此外，即使客户端持有iid数据并使用中等大小的批次进行训练，STC仍在更少的训练迭代和更小的通信预算内实现了固定目标准确度，表现超越了Federated Averaging。
Mar, 2019
本研究提出了一种新的框架FedZip，其中利用 Top-Z 稀疏化、量化和压缩三种不同的编码方法，实现在减小客户端和服务器之间传输的权重大小的同时，兼顾保护用户隐私和保护数据的目的。FedZip 表现出超过现有压缩框架的性能，压缩比率高达1085x，即使在通信过程中也保留了客户端的99%带宽和99%能量。
Feb, 2021
通过模型压缩和软聚类提出了一种可以同时用于上行和下行压缩的Federated Learning压缩算法，可以显著减少通信流量并在实际网络中提高学习效率。
May, 2021
本文提出了一种名为分层联邦学习（H-FL）的新框架，通过运行时分布重构策略，利用中介将客户端重新分配并重新安排客户端的本地训练，设计了一种压缩校正机制，同时不牺牲模型性能，降低通信开销，引入局部训练的差分隐私，注入适量的噪声到完整模型的一部分中，从而提供隐私保障，在真实的图像识别任务的不同数据集上实验结果表明，我们的H-FL框架实现了最先进的性能。
Jun, 2021
本论文系统地研究了通信成本和模型准确性之间的权衡，提出了一种自适应网络压缩率最大化最终模型准确性的框架，根据实验结果，这种解决方案可以有效降低网络流量并保持联邦学习中的高模型准确性。
Dec, 2021
本文提出通过在个体边缘设备上训练个性化模型以取代传统机器学习模型，以解决数据异质性带来的问题，并对新算法 Loopless Gradient Descent 进行了压缩优化，实验结果表明该算法比其他基于压缩的算法运行效率更高且收敛速度不低于 vanilla SGD。
Sep, 2022
Federated Learning的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法FedCompress得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。
Jan, 2024
本研究针对现有联邦学习中的数据压缩方法在带宽异质性和非独立同分布数据下，导致的性能下降和延迟问题，提出了一个带宽感知的压缩框架。该方法通过动态调整压缩比和引入参数掩码，显著提升了模型准确性，最大提升达13%，并加快了收敛速度，为未来的通信高效联邦学习研究奠定了基础。
Aug, 2024