Apr, 2024

基于条件稀疏到更稀疏方案的去中心化个性化联邦学习

PDF
TL;DR提出了一种新颖的 DA-DPFL 稀疏到更稀疏的训练方案，通过动态聚合逐渐减少模型参数，从而在保留关键学习期间的足够信息的同时实现了能耗大幅降低，并在测试准确性上明显优于 DFL 基准。
decentralized federated learningsparse-to-sparser trainingdynamic aggregationenergy savingstest accuracy
发现论文，激发创造
  • DisPFL：去中心化稀疏训练，实现通信高效的个性化联邦学习

    提出了一种基于去中心化通信协议的个性化联邦学习框架，利用个性化稀疏掩码为每个用户的本地模型进行定制，进一步节省通信和计算成本，并在不同复杂度的本地客户端上达到更好的个性化性能。

    Jun, 2022

  • 去中心化个性化联邦学习

    通过在分散式联邦学习中创建协作图，选择适合的合作方，从而解决数据异构性和通信限制带来的挑战。我们的方法通过一种新颖的、通信高效的策略来解决这些问题，提高资源效率。与传统方法不同，我们的方法通过考虑客户的组合关系在粒度级别上识别合作伙伴，增强个性化同时最小化通信开销。我们通过使用约束贪婪算法的双层优化框架实现这一目标，从而为个性化学习提供资源高效的协作图。通过在各种基准数据集上进行大规模评估，我们证明了我们的方法 DPFL 在处理实际数据异构性、最小化通信开销、提高资源效率以及在分散式联邦学习场景中构建个性化模型方面的优越性。

    Jun, 2024

  • 去中心化稀疏联邦学习：带有普适收敛保证的统一方法

    分散式联邦学习的 DSpodFL 方法通过模拟现实环境中的不同异质性形式来泛化间歇性，实现了更快的训练速度和对系统参数变化的鲁棒性。

    Feb, 2024

  • 通过去中心化的部分模型训练实现更适合个性化的联邦学习

    本文提出了一种名为 DFedAlt 的个性化联邦学习框架，采用分散的部分模型训练方法，取得了与目前最先进的基准模型相媲美或更好的状态。该算法通过依次更新共享和个性化参数，在点对点的方式构建局部个性化模型，同时采用局部 SAM（Sharpness Aware Minimization）优化器来更新共享参数，从而有效地解决了模型共享一致性不足和通信成本过高等问题。

    May, 2023

  • 受能量和延迟约束的自适应分散式联邦学习

    在分布式学习中，为了解决参数聚合带来的通信开销和单点故障问题，本论文研究了如何有效利用有限资源以提高模型性能。我们通过优化本地训练轮次的数量和节能聚合方案，提出了一个解决方案，该方案在不同设备上实现了更好的性能表现，并消耗比传统聚合方案更少的能量。

    Mar, 2024

  • 个性化联邦学习的分散指导协作

    个性化联邦学习（PFL）在每个客户端寻找最优个性化模型，我们提出了一种分布式的个性化联邦学习（DPFL）框架，通过引入随机梯度推送和部分模型个性化，实现了线性分类器的个性化，达到了更好的收敛速度。

    May, 2024

  • 使用稀疏本地模型实现个性化联邦学习

    本论文提出一种名为 FedSpa 的新型 PFL 方案，它采用个性化稀疏掩码来在边缘上自定义稀疏的本地模型，理论和实验表明，FedSpa 不仅节省了通信和计算成本，而且在模型准确性和收敛速度方面表现优异。

    Jan, 2022

  • 分散式联邦学习：平衡通讯与计算成本

    提出一种采用分布式训练（DFL）的通用分散式最随机梯度下降（SGD）框架，它可以解决在多个节点中进行通信和本地更新的平衡，具有压缩通信和强收敛保证的特点。

    Jul, 2021

  • 联邦动态稀疏训练：计算更少，通信更少，但学习效果更佳

    本文提出了一种称为 Federated Dynamic Sparse Training（FedDST）的 novel FL 框架，旨在动态提取和训练目标网络中的稀疏子网络，并实现了在设备计算和网络通信方面的高效，相对于固定稀疏掩模的方法，它在本地异质性适应和 FL 性能方面具有较大的优势，在非 i.i.d FL 设置下，FedDST 在数据传输上的表现显著优于竞争性算法。

    Dec, 2021

  • 去中心化联邦学习：调查与展望

    本文综述性地介绍了分散化联合学习的定义、方法、挑战、变体、技术和研究方向。通过在客户端之间建立直接通信的去中心化网络结构，分散化联合学习能够省略中心服务器，降低通信开销并实现较高的学习效率和隐私保护。

    Jun, 2023