Feb, 2024

Fed-CVLC：变长编码压缩联邦学习通信

HTML
PDF
TL;DR通过分析和实验证明可变长度对于Federated Learning中的压缩是有利的，因此提出了Fed-CVLC方法，用以根据模型更新动态来调整代码长度，最小化通信损耗并提高模型效用。通过实验证明Fed-CVLC优于现有基准方法，可以提升模型效用1.50%至5.44%，或减少通信流量16.67%至41.61%。
发现论文，激发创造
  • 非独立同分布数据上健壮且高效的联邦学习

    本研究提出了Sparse Ternary Compression (STC)，一种针对Federated Learning环境的新型压缩框架。实验表明，STC在常见Federated Learning场景下，即使客户端持有非iid数据、使用小的batch size进行训练或参与率较低，也比Federated Averaging表现更佳。此外，即使客户端持有iid数据并使用中等大小的批次进行训练，STC仍在更少的训练迭代和更小的通信预算内实现了固定目标准确度，表现超越了Federated Averaging。

    Mar, 2019

  • 压缩联邦学习：统一分析和精确保证

    通过定期压缩通信的算法，分析其收敛性并探讨其与局部计算的关系，提出了一种本地梯度追踪方案，以缓解数据异质性，实现了更快的收敛速度和更好的算法效果。

    Jul, 2020

  • 分布式和联邦学习的最优梯度压缩

    通过使用压缩技术来减少通信成本，我们研究了在压缩向量所需的比特数和压缩误差之间的基本权衡，为最坏情况和平均情况提供了紧密的下界。我们引入了一种高效的压缩算子和一种简单的压缩算子，它们都能达到最低下界，并在实验中取得了很好的效果。

    Oct, 2020

  • FEDZIP: 用于通信高效联邦学习的压缩框架

    本研究提出了一种新的框架FedZip，其中利用 Top-Z 稀疏化、量化和压缩三种不同的编码方法，实现在减小客户端和服务器之间传输的权重大小的同时，兼顾保护用户隐私和保护数据的目的。FedZip 表现出超过现有压缩框架的性能，压缩比率高达1085x，即使在通信过程中也保留了客户端的99%带宽和99%能量。

    Feb, 2021

  • 联邦学习中压缩通信的最优速率调适

    本论文系统地研究了通信成本和模型准确性之间的权衡，提出了一种自适应网络压缩率最大化最终模型准确性的框架，根据实验结果，这种解决方案可以有效降低网络流量并保持联邦学习中的高模型准确性。

    Dec, 2021

  • 使用速率失真理论在联邦学习中优化通信-准确性权衡

    研究了联邦学习中模型更新的统计学特性及各种压缩技术的作用和优劣，提出了基于失真作为可靠的模型精度代理的降低通信成本的新方法，并在Stack Overflow下一个真实具有挑战性的FL基准测试中实现了接近最优的通信成本降低，在多个数据集、优化器、客户端和训练轮次中，失真-失真前沿保持一致。

    Jan, 2022

  • 面向轻量通信设计的联邦学习压缩

    本文研究压缩技术对典型图像分类任务的联邦学习的影响，并证明了一种简单的方法可以在保持不到1%准确率损失的同时压缩50%的消息，与最先进的技术相媲美。

    Oct, 2023

  • FedCode: 通过传输密码本实现高效沟通的联邦学习

    FedCode是一种降低通信量的分布式机器学习方法，通过只传输代码簿来有效减少客户端与服务器之间的数据交互，同时保持与FedAvg相当的模型性能。

    Nov, 2023

  • 通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

    Federated Learning的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法FedCompress得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

    Jan, 2024

  • 带宽感知和重叠加权压缩用于通信高效的联邦学习

    本研究针对现有联邦学习中的数据压缩方法在带宽异质性和非独立同分布数据下，导致的性能下降和延迟问题，提出了一个带宽感知的压缩框架。该方法通过动态调整压缩比和引入参数掩码，显著提升了模型准确性，最大提升达13%，并加快了收敛速度，为未来的通信高效联邦学习研究奠定了基础。

    Aug, 2024