Dec, 2021

联邦动态稀疏训练：计算更少，通信更少，但学习效果更佳

PDF
TL;DR本文提出了一种称为 Federated Dynamic Sparse Training（FedDST）的 novel FL 框架，旨在动态提取和训练目标网络中的稀疏子网络，并实现了在设备计算和网络通信方面的高效，相对于固定稀疏掩模的方法，它在本地异质性适应和 FL 性能方面具有较大的优势，在非 i.i.d FL 设置下，FedDST 在数据传输上的表现显著优于竞争性算法。
federated learningdynamic sparsityneural networksmachine learningresource-limited edge devices
发现论文，激发创造
  • 基于条件稀疏到更稀疏方案的去中心化个性化联邦学习

    提出了一种新颖的 DA-DPFL 稀疏到更稀疏的训练方案，通过动态聚合逐渐减少模型参数，从而在保留关键学习期间的足够信息的同时实现了能耗大幅降低，并在测试准确性上明显优于 DFL 基准。

    Apr, 2024

  • ZeroFL: 带有本地稀疏性的联邦学习在设备上的高效训练

    提出了一种基于高度稀疏操作的 ZeroFL 框架，用于加速 On-device 训​​练，使 Federated Learning 能够训练高性能机器学习模型，并提高了精度。

    Aug, 2022

  • SalientGrads：稀疏模型用于通信高效和数据感知的分布式联邦训练

    使用 Salient Grads 方法基于客户端数据计算模型参数显著性分数，并选择 “数据感知” 亚网络进行训练，仅在训练过程中通过传输高度稀疏的梯度，在解决联邦学习中的计算和通信瓶颈方面表现出良好的效果，具有可行性和实用性。

    Apr, 2023

  • 动态采样与选择性遮蔽：用于高效通信的联合学习

    本研究通过动态采样和 Top-K 选择性掩蔽这两种方法，提高了联邦学习的通信效率，并在公共数据集上进行实验，证明了该方法的有效性。

    Mar, 2020

  • 异构环境中加速联邦学习：一种动态分层方法

    动态分层联邦学习系统可以通过利用分层学习的概念，将全局模型的不同部分分配给不同层次的客户端，并通过基于本地损失的训练使每个客户端可以并行更新模型，从而减少资源受限设备上计算和通信的需求，缓解迟到问题，从而显著减少训练时间并保持模型准确性。

    Dec, 2023

  • 通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

    Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

    Jan, 2024

  • 梯度同构引导的联邦稀疏训练

    边缘计算允许在边缘设备上部署人工智能和机器学习模型，它们可以从本地数据中学习并协作形成全局模型。联邦学习是一种分布式机器学习技术，旨在在保护数据隐私的同时促进此过程。本文提出了一种新方法 —— 梯度一致性引导的联邦稀疏训练（FedSGC），它将动态稀疏训练和梯度一致性检查集成到联邦学习框架中，以解决高计算和通信成本的限制性设备、数据不同和分布不均以及解决数据中存在的局外数据等问题。我们在具有挑战性的非独立同分布环境中评估了我们的方法，并展示了它在各种场景中与最先进的联邦学习方法相比具有竞争力的准确性，同时最大程度地减少计算和通信成本。

    May, 2024

  • 用于快速且通讯高效的联邦学习自适应差分滤波器

    本文提出了在卷积滤波器粒度上操作的新比例方法，以补偿联合学习过程中高度稀疏的更新，适应于新的数据领域，实现更高的压缩比率并提高性能。

    Apr, 2022

  • 面向联合学习中边缘节点的资源高效利用

    通过部分训练模型的策略，我们提出并评估了一种受迁移学习启发的联邦学习策略，以减少设备上的资源利用、服务器负载和网络负担，从而加速训练过程，有效利用设备资源，并在不影响全局模型准确性的情况下减少数据传输约 75% 和 53%。

    Sep, 2023

  • FedComLoc: 通信高效的稀疏与量化模型的分布式训练

    我们引入 FedComLoc 算法，集成了实用和有效的压缩技术到 Scaffnew 算法中，以进一步提高通信效率。通过使用流行的 TopK 压缩器和量化技术进行广泛实验，证明了在异构环境中大幅减少通信开销的能力。

    Mar, 2024