Mar, 2019

非独立同分布数据上健壮且高效的联邦学习

HTML
PDF
TL;DR本研究提出了Sparse Ternary Compression (STC)，一种针对Federated Learning环境的新型压缩框架。实验表明，STC在常见Federated Learning场景下，即使客户端持有非iid数据、使用小的batch size进行训练或参与率较低，也比Federated Averaging表现更佳。此外，即使客户端持有iid数据并使用中等大小的批次进行训练，STC仍在更少的训练迭代和更小的通信预算内实现了固定目标准确度，表现超越了Federated Averaging。
发现论文，激发创造
  • 用于高效通讯联邦学习的三元压缩

    研究提出了一种基于联邦学习的量化算法FTTQ和三值联邦平均协议T-FedAvg，能够显著降低联邦学习系统的通信成本，并在IID数据上实现微小的性能提升。

    Mar, 2020

  • 压缩联邦学习：统一分析和精确保证

    通过定期压缩通信的算法，分析其收敛性并探讨其与局部计算的关系，提出了一种本地梯度追踪方案，以缓解数据异质性，实现了更快的收敛速度和更好的算法效果。

    Jul, 2020

  • 分布式和联邦学习的最优梯度压缩

    通过使用压缩技术来减少通信成本，我们研究了在压缩向量所需的比特数和压缩误差之间的基本权衡，为最坏情况和平均情况提供了紧密的下界。我们引入了一种高效的压缩算子和一种简单的压缩算子，它们都能达到最低下界，并在实验中取得了很好的效果。

    Oct, 2020

  • 基于通信压缩的随机控制平均的联邦学习

    通过多样的虚拟学习方法，本文提出了对压缩联邦学习算法进行改进的方法，并验证了其在通信和计算复杂性方面的出色表现。

    Aug, 2023

  • 通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

    Federated Learning的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法FedCompress得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

    Jan, 2024

  • Fed-CVLC：变长编码压缩联邦学习通信

    通过分析和实验证明可变长度对于Federated Learning中的压缩是有利的，因此提出了Fed-CVLC方法，用以根据模型更新动态来调整代码长度，最小化通信损耗并提高模型效用。通过实验证明Fed-CVLC优于现有基准方法，可以提升模型效用1.50%至5.44%，或减少通信流量16.67%至41.61%。

    Feb, 2024

  • FedComLoc: 通信高效的稀疏与量化模型的分布式训练

    我们引入FedComLoc算法，集成了实用和有效的压缩技术到Scaffnew算法中，以进一步提高通信效率。通过使用流行的TopK压缩器和量化技术进行广泛实验，证明了在异构环境中大幅减少通信开销的能力。

    Mar, 2024

  • 高效模型压缩的分层联邦学习

    本文介绍了一个集成了聚类式联邦学习和模型压缩优势的新型层次式联邦学习框架，包括自适应聚类算法和局部聚合压缩算法。仿真结果证实，我们提出的算法不仅保持了可比较的预测准确性，还显著降低了相对于现有联邦学习机制的能源消耗。

    May, 2024

  • 压缩误差反馈实现高效垂直联邦学习

    提出了一种错误反馈压缩式纵向联邦学习（EFVFL）方法，该方法通过利用错误反馈，在满批次情况下实现了$\mathcal{O}(1/T)$的收敛速度，改善了垂直FL中压缩方法的收敛速度，并且与未压缩的方法相匹配，同时支持使用私有标签。数值实验证实了该方法在改善收敛速度方面的优越性，并验证了理论结果。

    Jun, 2024

  • 带宽感知和重叠加权压缩用于通信高效的联邦学习

    本研究针对现有联邦学习中的数据压缩方法在带宽异质性和非独立同分布数据下，导致的性能下降和延迟问题，提出了一个带宽感知的压缩框架。该方法通过动态调整压缩比和引入参数掩码，显著提升了模型准确性，最大提升达13%，并加快了收敛速度，为未来的通信高效联邦学习研究奠定了基础。

    Aug, 2024