联邦 Dropout—— 一种简单的方法，在资源受限设备上实现联邦学习

MMSep, 2021

联邦 Dropout—— 一种简单的方法，在资源受限设备上实现联邦学习

Federated Dropout -- A Simple Approach for Enabling Federated Learning on Resource Constrained Devices

Dingzhu Wen, Ki-Jun Jeon, Kaibin Huang

TL;DR本文提出一种名为 Federated dropout (FedDrop) 的联邦式学习方案，该方案利用经典的 dropout 算法进行随机模型修剪。该方案可在减少通信开销和设备计算负载的同时，表现出比传统的 FL 和具有相同概率的子网的 FL 方案更好的效果。

Abstract

federated learning (FL) is a popular framework for training an AI model using distributed mobile data in a wireless network. It features data parallelism by distributing the learning task to multiple edge devices while attempting to preserve their local-→

federated learning mobile devices data privacy federated dropout neural network model

发现论文，激发创造

面向联合学习中边缘节点的资源高效利用

通过部分训练模型的策略，我们提出并评估了一种受迁移学习启发的联邦学习策略，以减少设备上的资源利用、服务器负载和网络负担，从而加速训练过程，有效利用设备资源，并在不影响全局模型准确性的情况下减少数据传输约 75% 和 53%。

Sep, 2023

通过层次训练和深度丢弃解决资源受限条件下的联邦学习

大型机器学习模型通过联合学习和层级学习以解决资源限制问题，并在边缘设备上有效地训练更大型的模型，同时保持与传统联合学习相当的性能。

Sep, 2023

FedSPU: 面向资源受限设备的个性化联邦学习与随机参数更新

个性化联邦学习中，采用较小规模的本地子模型的联邦丢弃策略会引入偏差，因此我们提出了联邦学习与随机参数更新的方法，通过冻结部分神经元来增强模型对于他人偏差参数的鲁棒性，并引入早停机制来显著减少训练时间。

Mar, 2024

编码联邦 Dropout 的快速服务器学习率调整

本文利用编码理论来提高跨设备联合学习中的 Federated Dropout（FD）算法的训练精度，实现了较高的训练速度和与无 Dropout 情况下相同的最终精度，并在 EMNIST 数据集上取得了很好的效果。

Jan, 2022

异步分布式 Dropout 实现高效轻量化联邦学习

提出了一种利用辍学技术处理分布式异构设备的异步联邦学习（FL）框架 AsyncDrop，有效减少了通信成本和训练时间，提高了非 iid FL 场景的最终测试精度。

Oct, 2022

朋友助力：拯救联邦学习于客户端退出

FL-FDMS 是一种解决了分布式机器学习框架中部分参与中的客户端退出问题的算法，能够使用朋友节点的本地更新来代替退出客户端的数据，从而提高算法的性能和效率。

May, 2022

自适应联邦 Dropout：提高联邦学习的通信效率和泛化能力

本文介绍了一种名为自适应联邦 Dropout（AFD）的新型技术，用于减少联邦学习中与通信成本相关的问题，此策略与现有压缩方法相结合可以提供高达 57 倍的收敛时间，同时还改善了模型泛化。

Nov, 2020

FLuID: 使用不变权重抑制缓慢计算节点的联邦学习方法

使用不变的消失法 (FluID) 和自适应训练框架来解决异构训练环境中的低性能设备导致的性能瓶颈问题。

Jul, 2023

资源有效的异构和资源受限环境下的联邦学习

在本文中，我们提出了一种名为 RE-FL 的新方法，该方法解决了资源受限设备中计算和通信挑战的问题。我们的可变修剪技术通过根据每个客户端的计算能力进行修剪来优化资源利用。我们还使用知识蒸馏来减少带宽消耗和通信轮次。对图像分类任务的实验结果证明了我们的方法在资源受限环境中保持数据隐私和性能的有效性，同时适应了异构模型架构。

Aug, 2023

面向计算受限异构设备的联邦学习：综述

随着越来越多的物联网设备在现场部署，将神经网络的训练卸载到中央服务器变得越来越不可行，本文调查了联合学习在克服异构性挑战方面的应用和益处。

Jul, 2023