Sep, 2024

FedFT：通过频率空间变换提高联邦学习的通信性能

HTML
PDF
TL;DR本研究解决了联邦学习中通信效率低下的问题，提出了一种名为FedFT的方法，该方法利用离散余弦变换（DCT）将模型参数表示为频率空间，从而实现高效压缩并减少通信开销。实验结果表明，FedFT能够显著减少5%至30%的通信开销，同时保持或提高模型的准确性，展示了其在分布式系统中的广泛适用性。
发现论文，激发创造
  • FedAT: 一种高性能、通信效率高的异步分层联邦学习系统

    本文提出了一种名为FedAT的新颖联邦学习方法，它通过异步分层训练和同步内部层训练的协同作用来减小杂散因素的影响，同时使用加权聚合启发式和基于折线编码的压缩算法，提高了收敛速度和预测性能，并最大程度地减小了通信成本。

    Oct, 2020

  • FEDZIP: 用于通信高效联邦学习的压缩框架

    本研究提出了一种新的框架FedZip，其中利用 Top-Z 稀疏化、量化和压缩三种不同的编码方法，实现在减小客户端和服务器之间传输的权重大小的同时，兼顾保护用户隐私和保护数据的目的。FedZip 表现出超过现有压缩框架的性能，压缩比率高达1085x，即使在通信过程中也保留了客户端的99%带宽和99%能量。

    Feb, 2021

  • 通过平衡通信折衷来实现快速联邦学习

    根据局部更新系数和梯度压缩稀疏预算之间的权衡方式，提出了一种新的快速联邦学习方案（Fast FL），该方案通过动态地调整这两种变量来实现最小化学习误差。结果表明，Fast FL能够快速且一致地实现比文献中类似方案更高的精确度。

    May, 2021

  • 通过间接的服务器-客户端通信实现联邦学习

    本文提出了一种基于移动传输器的联邦学习框架 FedEx (FL via Model Express Delivery)，旨在解决缺乏适当通信基础设施的实际应用中数据共享的问题。FedEx-Sync 和 FedEx-Async 两种算法分别采用同步和异步调度策略，并通过收敛性分析指导客户端分配和传输路线设计。在两个公共数据集的模拟网络上，我们通过实验证明了 FedEx 的性能。

    Feb, 2023

  • FedCode: 通过传输密码本实现高效沟通的联邦学习

    FedCode是一种降低通信量的分布式机器学习方法，通过只传输代码簿来有效减少客户端与服务器之间的数据交互，同时保持与FedAvg相当的模型性能。

    Nov, 2023

  • Fed-CVLC：变长编码压缩联邦学习通信

    通过分析和实验证明可变长度对于Federated Learning中的压缩是有利的，因此提出了Fed-CVLC方法，用以根据模型更新动态来调整代码长度，最小化通信损耗并提高模型效用。通过实验证明Fed-CVLC优于现有基准方法，可以提升模型效用1.50%至5.44%，或减少通信流量16.67%至41.61%。

    Feb, 2024

  • 探索联邦学习的实用性: 从通信的角度进行调查

    调查分析了通信高效的联合学习方法，定义了通信效率的度量方法并提供了系统全面的分类和评述，讨论了提高联合学习系统通信效率的未来研究方向。

    May, 2024

  • 动态联邦学习：动态通信资源分配的联邦学习

    本研究解决了联邦学习中因本地数据统计异构性导致模型性能不佳的问题。提出的DynamicFL框架通过根据数据的统计特征动态分配通信资源，以在减少通信成本的同时提升全球模型性能。实验结果表明，与现有方法相比，DynamicFL模型准确性提高了10%，展示了其在应对数据统计异构性挑战中的适应性和有效性。

    Sep, 2024

  • FedScalar: 一种高效的通信联邦学习

    本研究解决了联邦学习中参与者与中央服务器之间的高通信成本问题，提出了一种名为FedScalar的新算法。该算法通过让参与者使用单个标量而非高维向量来进行更新，显著降低了通信开销，并在光滑的非凸损失函数上实现了$O(1/\sqrt{K})$的收敛速率。

    Oct, 2024

  • FedGTST：通过统计调优提升联邦模型的全球可迁移性

    本研究针对现有联邦学习方法在全球学习领域的可迁移性不足的问题，提出了改进方案。通过引入客户端-服务器交换协议及增加客户端间Jacobian规范的平均值，旨在降低跨客户端Jacobian方差，从而更好地控制目标损失。实验结果表明，该方法在多个数据集上相比于现有基线显著提升了准确率。

    Oct, 2024