Mar, 2024

FedRDMA：基于分块 RDMA 传输的交叉场所联合学习模型的通信高效化

PDF
TL;DRFedRDMA 是一种在联邦学习通信协议中集成 RDMA 的通信高效型联邦学习系统，通过将更新的模型切分为块，并设计了一系列优化技术以提高基于 RDMA 的通信的效率和鲁棒性，实验结果显示，与传统的基于 TCP/IP 的联邦学习系统相比，FedRDMA 能够实现高达 3.8 倍的通信效率提升。
发现论文，激发创造
  • 通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

    Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

    Jan, 2024

  • 基于知识蒸馏的通信高效联邦学习 (FedKD)

    本研究提出了一种基于知识蒸馏的通信高效的联邦学习方法，通过在客户端上互相学习一个学生模型和一个教师模型，只共享学生模型以降低通信成本，并提出了一种基于奇异值分解的动态梯度逼近方法来进一步降低通信成本。实验表明，该方法能够有效减少通信成本并取得竞争性的结果。

    Aug, 2021

  • 联邦学习：提高通信效率的策略

    本文探讨联邦学习中的机器学习算法以及通过结构化更新和草图更新的方式来降低通信成本，实验结果表明这两种方法可以将通信成本降低两个数量级。

    Oct, 2016

  • 高效的异构联邦学习与广义重力球动量

    以边缘设备为学习对象的联邦学习 (Federated Learning, FL) 是解决隐私限制场景下的分布式数据学习的最先进方法。本论文提出了 FedHBM 算法，通过引入新的动量泛化方法，有效解决 FL 中的统计异质性问题，无需增加通信开销，并在多个视觉和自然语言处理数据集上经过大量实验验证了该算法相对于其他方法在非独立同分布场景下的更好的模型质量和更快的收敛速度。

    Nov, 2023

  • 探索联邦学习的实用性：从通信的角度进行调查

    调查分析了通信高效的联合学习方法，定义了通信效率的度量方法并提供了系统全面的分类和评述，讨论了提高联合学习系统通信效率的未来研究方向。

    May, 2024

  • 采用动态带宽的自适应压缩下的高效通信联邦学习

    提出了一种自适应压缩的通信高效联邦学习算法（称为 AdapComFL），通过每个客户端进行带宽感知和带宽预测，并通过改进的草图机制对本地模型进行自适应压缩，实现服务器对接收到的不同大小的草图模型进行聚合，实验证明 AdapComFL 相比现有算法在通信效率和准确性上更具竞争力。

    May, 2024

  • FedDM：基于迭代分布匹配的通信高效联邦学习

    本研究提出了 FedDM，旨在通过多个本地替代函数来构建全局训练目标，从而减少通信轮数，改善模型质量，并在保留差分隐私的同时证明该算法的有效性。

    Jul, 2022

  • 通过间接的服务器 - 客户端通信实现联邦学习

    本文提出了一种基于移动传输器的联邦学习框架 FedEx (FL via Model Express Delivery)，旨在解决缺乏适当通信基础设施的实际应用中数据共享的问题。FedEx-Sync 和 FedEx-Async 两种算法分别采用同步和异步调度策略，并通过收敛性分析指导客户端分配和传输路线设计。在两个公共数据集的模拟网络上，我们通过实验证明了 FedEx 的性能。

    Feb, 2023

  • 自适应联邦 Dropout：提高联邦学习的通信效率和泛化能力

    本文介绍了一种名为自适应联邦 Dropout（AFD）的新型技术，用于减少联邦学习中与通信成本相关的问题，此策略与现有压缩方法相结合可以提供高达 57 倍的收敛时间，同时还改善了模型泛化。

    Nov, 2020

  • 基于动态注意力的通信高效联邦学习

    本文提出了一种自适应训练算法 AdaFL，该算法通过注意力机制和动态分数方法来平衡性能稳定性和通信效率，实验结果表明相对于 FedAvg 算法，AdaFL 算法在模型精度、性能稳定性和通信效率三个方面都有很大的提高。

    Aug, 2021