通过层次训练和深度丢弃解决资源受限条件下的联邦学习

Sep, 2023

通过层次训练和深度丢弃解决资源受限条件下的联邦学习

Towards Federated Learning Under Resource Constraints via Layer-wise Training and Depth Dropout

Pengfei Guo, Warren Richard Morningstar, Raviteja Vemulapalli, Karan Singhal, Vishal M. Patel...

TL;DR大型机器学习模型通过联合学习和层级学习以解决资源限制问题，并在边缘设备上有效地训练更大型的模型，同时保持与传统联合学习相当的性能。

Abstract

large machine learning models trained on diverse data have recently seen unprecedented success. federated learning enables training on private data that may otherwise be inaccessible, such as domain-specific data

large machine learning models federated learning resource constraints federated layer-wise learning federated depth dropout

发现论文，激发创造

面向联合学习中边缘节点的资源高效利用

通过部分训练模型的策略，我们提出并评估了一种受迁移学习启发的联邦学习策略，以减少设备上的资源利用、服务器负载和网络负担，从而加速训练过程，有效利用设备资源，并在不影响全局模型准确性的情况下减少数据传输约 75% 和 53%。

Sep, 2023

联邦 Dropout—— 一种简单的方法，在资源受限设备上实现联邦学习

本文提出一种名为 Federated dropout (FedDrop) 的联邦式学习方案，该方案利用经典的 dropout 算法进行随机模型修剪。该方案可在减少通信开销和设备计算负载的同时，表现出比传统的 FL 和具有相同概率的子网的 FL 方案更好的效果。

Sep, 2021

自适应联邦 Dropout：提高联邦学习的通信效率和泛化能力

本文介绍了一种名为自适应联邦 Dropout（AFD）的新型技术，用于减少联邦学习中与通信成本相关的问题，此策略与现有压缩方法相结合可以提供高达 57 倍的收敛时间，同时还改善了模型泛化。

Nov, 2020

开发联邦学习以实现深度模型的潜力

在研究中，发现当将现有的联邦学习框架应用于更深的神经网络时，性能会显著下降，主要原因是由于在层间反向传播过程中不同客户端模型之间的不一致性逐步积累，称为 “发散累积”，提出了减少发散的技术指南，如使用更宽的模型和减少接受场，这些方法可以大大提高联邦学习在更深层次上的准确性。

Jun, 2023

边缘资源受限环境下通过分散数据集精髓进行联邦学习

介绍了一种新的联邦学习框架 FedD3，它通过利用本地数据集蒸馏来代替传统的学习方法显著减少通信量，仅在网络上集成分散的蒸馏数据集一次以形成最终模型，取得了比其他联邦学习框架显著的交流效益和平衡精度和通信成本之间的权衡的额外利益。

Aug, 2022

通过减少客户资源需求扩大联邦学习的覆盖范围

采用两种新策略（global model 压缩和 Federated Dropout）和现有压缩方法的结合，可以综合降低联邦学习对服务器到客户端通信的成本高达 14 倍、本地计算量 1.7 倍并在上传通信方面降低 28 倍，同时不降低最终模型的质量，从而全面降低了联邦学习对客户端设备资源的影响。

Dec, 2018

在无线联合边缘学习系统中加速 DNN 训练

研究节约时间、资源、保隐私的联邦边缘学习架构系统，通过 CPU 和 GPU 场景的联合批大小选取和通信资源分配，来缩短训练时间并提高训练准确性。

May, 2019

FedLite: 一种基于资源受限客户端的可扩展联邦学习方法

本文提出了一种使用聚类方案和梯度校正方法来压缩通信成本的分散式学习方法，经实验证明，该方法在保持精度的同时最多可实现 490 倍的通信成本降低，并且提供了可接受的性能与通信的平衡。

Jan, 2022

系统设计：朝着大规模联邦学习迈进

本文描述了在移动设备领域基于 TensorFlow 构建的分布式机器学习方法 —— 联邦学习的高级设计，以及所面临的挑战、解决方案和未来研究方向。

Feb, 2019

主动联邦学习

该研究提出了一种便捷、简单的采样方案，用于减少联邦学习迭代次数并最大程度提高效率，主要研究领域包括联邦学习、人口模型、梯度和采样方案。

Sep, 2019