Jan, 2022

使用速率失真理论在联邦学习中优化通信 - 准确性权衡

PDF
TL;DR研究了联邦学习中模型更新的统计学特性及各种压缩技术的作用和优劣，提出了基于失真作为可靠的模型精度代理的降低通信成本的新方法，并在 Stack Overflow 下一个真实具有挑战性的 FL 基准测试中实现了接近最优的通信成本降低，在多个数据集、优化器、客户端和训练轮次中，失真 - 失真前沿保持一致。
federated learningcompression techniquescommunication costrate-distortion theorymodel accuracy
发现论文，激发创造
  • 高失真率压缩辅助联邦学习的资源分配

    提出基于压缩辅助的联邦学习问题，通过将其分解为子问题并基于协作博弈来有效分配无线资源，从而优化了 IoT 设备和服务器之间的通信，通过积极控制参与学习的设备数量，既可避免训练发散又能保持通信效率。

    Jun, 2022

  • 联邦学习中压缩通信的最优速率调适

    本论文系统地研究了通信成本和模型准确性之间的权衡，提出了一种自适应网络压缩率最大化最终模型准确性的框架，根据实验结果，这种解决方案可以有效降低网络流量并保持联邦学习中的高模型准确性。

    Dec, 2021

  • 通过重要性采样实现通信高效的联邦学习

    在可扩展联邦学习中，我们利用客户端和服务器之间的密切联系，提出一种框架，将客户端的分布与服务器的先数据分布进行了比较，大大减少了通信开销，同时保证了测试精度。

    Jun, 2023

  • 通过平衡通信折衷来实现快速联邦学习

    根据局部更新系数和梯度压缩稀疏预算之间的权衡方式，提出了一种新的快速联邦学习方案（Fast FL），该方案通过动态地调整这两种变量来实现最小化学习误差。结果表明，Fast FL 能够快速且一致地实现比文献中类似方案更高的精确度。

    May, 2021

  • 基于最优客户端采样的通信高效联邦学习

    本文提出了一种基于 Ornstein-Uhlenbeck 过程的方案，在受通信限制的情况下，通过收集具有信息更新的客户端模型和估计没有通信的本地更新的方式来更新中央模型，实现了在保证性能的同时显著减少了通信量，为联邦学习提供了一种新的通信效率优化方案。

    Jul, 2020

  • 通过减少客户资源需求扩大联邦学习的覆盖范围

    采用两种新策略（global model 压缩和 Federated Dropout）和现有压缩方法的结合，可以综合降低联邦学习对服务器到客户端通信的成本高达 14 倍、本地计算量 1.7 倍并在上传通信方面降低 28 倍，同时不降低最终模型的质量，从而全面降低了联邦学习对客户端设备资源的影响。

    Dec, 2018

  • 无线网络上高效计算与通信的联邦学习

    通过将学习模型分为全局部分和个性化部分，以实现模型剪枝和个性化，本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架，并通过数学分析研究了其收敛性、计算和通信延迟，并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明，相比只进行模型个性化的方案，该框架能够显著减少约 50％的计算和通信延迟。

    Sep, 2023

  • 探索联邦学习的实用性：从通信的角度进行调查

    调查分析了通信高效的联合学习方法，定义了通信效率的度量方法并提供了系统全面的分类和评述，讨论了提高联合学习系统通信效率的未来研究方向。

    May, 2024

  • 通过发送聚类模型更新来减少联邦学习中的通信流量

    通过模型压缩和软聚类提出了一种可以同时用于上行和下行压缩的 Federated Learning 压缩算法，可以显著减少通信流量并在实际网络中提高学习效率。

    May, 2021

  • 通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

    Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

    Jan, 2024