Nov, 2023

EvoFed：利用进化策略进行通信高效的联邦学习

PDF
TL;DR本文提出了一种称为 EvoFed 的新方法，通过将进化策略（ES）与分布式学习（FL）相结合，解决了传统 FL 中高通信成本的问题。EvoFed 通过基于适应度的信息共享，在节点之间传递一种基于距离的相似度度量，从而大幅减少了通信负载。在实验中，EvoFed 在各种实际环境中展现出与 FedAvg 相当的性能，同时显著降低了通信需求。
发现论文，激发创造
  • 基于进化策略的高效通信和隐私保护联邦学习

    基于进化策略的联邦学习算法（FedES）通过只传输损失值而减少了通信开销，并且保护了数据隐私。实验结果表明 FedES 在保持收敛性能与反向传播方法相同的同时，能够实现上述优势。

    Nov, 2023

  • 多目标进化联邦学习

    此论文使用多目标进化算法优化神经网络模型的结构，以同时减少通信成本和全局模型测试误差，提高联邦学习的学习性能和效率。

    Dec, 2018

  • 预处理联邦学习

    在本文中，我们提出了基于局部适应性和服务器端适应性的新的通信高效的联邦学习算法，通过使用新型协方差矩阵预处理器，我们的方法在理论上提供了收敛保证，并在 i.i.d. 和非 i.i.d. 设置下取得了最先进的性能。

    Sep, 2023

  • 基于 Elastic Net 的通信高效和漂移稳健的联邦学习

    提出了一种名为 FedElasticNet 的通信高效且健壮的联邦学习框架，利用弹性网正则化器解决通信成本和客户漂移问题。此框架可与先前的联邦学习技术相结合，有效地同时解决通信和漂移问题。

    Oct, 2022

  • 联邦深度均衡学习：边缘通信效率的紧凑共享表示

    FeDEQ 是一种先驱性的联邦学习框架，利用深度均衡学习和一致性优化有效地在边缘节点之间利用紧凑的共享数据表示，允许派生个性化模型，并通过采用交替方向法解（ADMM）一致性优化的新型分布式算法，理论上证明了其收敛性。实验结果表明，与最先进的个性化方法相比，FeDEQ 在通信大小上使用的模型可小 4 倍，并且在训练时内存占用更少 1.5 倍，性能可媲美。

    Sep, 2023

  • 基于最优客户端采样的通信高效联邦学习

    本文提出了一种基于 Ornstein-Uhlenbeck 过程的方案，在受通信限制的情况下，通过收集具有信息更新的客户端模型和估计没有通信的本地更新的方式来更新中央模型，实现了在保证性能的同时显著减少了通信量，为联邦学习提供了一种新的通信效率优化方案。

    Jul, 2020

  • 联邦学习：提高通信效率的策略

    本文探讨联邦学习中的机器学习算法以及通过结构化更新和草图更新的方式来降低通信成本，实验结果表明这两种方法可以将通信成本降低两个数量级。

    Oct, 2016

  • 通过间接的服务器 - 客户端通信实现联邦学习

    本文提出了一种基于移动传输器的联邦学习框架 FedEx (FL via Model Express Delivery)，旨在解决缺乏适当通信基础设施的实际应用中数据共享的问题。FedEx-Sync 和 FedEx-Async 两种算法分别采用同步和异步调度策略，并通过收敛性分析指导客户端分配和传输路线设计。在两个公共数据集的模拟网络上，我们通过实验证明了 FedEx 的性能。

    Feb, 2023

  • 带噪标签的高效鲁棒联邦学习通信优化

    本文研究基于联邦学习的标签噪声问题，并提出了一种基于学习的重新加权方法来减轻该问题的影响。同时，本文还提出了一种名为 Comm-FedBiO 的方法来解决通信效率低的 Federated Bilevel Optimization 问题，并在多个真实世界数据集上验证了其表现优于其他方法。

    Jun, 2022

  • 通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

    Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

    Jan, 2024