编码联邦 Dropout 的快速服务器学习率调整

IJCAIJan, 2022

编码联邦 Dropout 的快速服务器学习率调整

Fast Server Learning Rate Tuning for Coded Federated Dropout

Giacomo Verardo, Daniel Barreira, Marco Chiesa, Dejan Kostic, Gerald Q. Maguire Jr

TL;DR本文利用编码理论来提高跨设备联合学习中的 Federated Dropout（FD）算法的训练精度，实现了较高的训练速度和与无 Dropout 情况下相同的最终精度，并在 EMNIST 数据集上取得了很好的效果。

Abstract

In cross-device federated learning (FL), clients with low computational power train a common\linebreak[4] machine model by exchanging parameters via updates instead of potentially private data. federated dropout

cross-device federated learning federated dropout coding theory server learning rate emnist dataset

发现论文，激发创造

联邦 Dropout—— 一种简单的方法，在资源受限设备上实现联邦学习

本文提出一种名为 Federated dropout (FedDrop) 的联邦式学习方案，该方案利用经典的 dropout 算法进行随机模型修剪。该方案可在减少通信开销和设备计算负载的同时，表现出比传统的 FL 和具有相同概率的子网的 FL 方案更好的效果。

Sep, 2021

FedDD: 以差分参数丢弃实现高效的通信节约联邦学习

基于模型参数的丢弃而非客户选择的联合学习方案，通过优化上传比例和重要参数选择，提高通信效率和模型收敛速度。

Aug, 2023

朋友助力：拯救联邦学习于客户端退出

FL-FDMS 是一种解决了分布式机器学习框架中部分参与中的客户端退出问题的算法，能够使用朋友节点的本地更新来代替退出客户端的数据，从而提高算法的性能和效率。

May, 2022

自适应联邦 Dropout：提高联邦学习的通信效率和泛化能力

本文介绍了一种名为自适应联邦 Dropout（AFD）的新型技术，用于减少联邦学习中与通信成本相关的问题，此策略与现有压缩方法相结合可以提供高达 57 倍的收敛时间，同时还改善了模型泛化。

Nov, 2020

基于贝叶斯推断的自适应 dropout 联邦学习：通信高效且准确性保证的 FedBIAD

在这篇论文中，我们提出了一种基于贝叶斯推理的自适应辍学方法（FedBIAD），通过逐行将局部模型权重转化为概率分布，并自适应地根据与本地训练损失趋势相关的重要性指标辍掉部分权重行，从而在减少上行通信成本的同时提高准确性，理论分析证明 FedBIAD 的平均泛化误差的收敛速度是最小最大的，甚至在非独立同分布数据上可以提高 2.41% 的准确率，并最多缩短 72% 的训练时间。

Jul, 2023

异步分布式 Dropout 实现高效轻量化联邦学习

提出了一种利用辍学技术处理分布式异构设备的异步联邦学习（FL）框架 AsyncDrop，有效减少了通信成本和训练时间，提高了非 iid FL 场景的最终测试精度。

Oct, 2022

通过减少客户资源需求扩大联邦学习的覆盖范围

采用两种新策略（global model 压缩和 Federated Dropout）和现有压缩方法的结合，可以综合降低联邦学习对服务器到客户端通信的成本高达 14 倍、本地计算量 1.7 倍并在上传通信方面降低 28 倍，同时不降低最终模型的质量，从而全面降低了联邦学习对客户端设备资源的影响。

Dec, 2018

MimiC: 模仿中央更新，解决联邦学习中客户端掉线的问题

本文提出 MimiC 算法，针对联邦学习过程中移动设备不稳定可用性导致的模型训练失败的问题，通过修改接收到的模型更新使其模拟中央更新，并通过理论分析和模拟实验证明了该算法的收敛性和优越性。

Jun, 2023

通过层次训练和深度丢弃解决资源受限条件下的联邦学习

大型机器学习模型通过联合学习和层级学习以解决资源限制问题，并在边缘设备上有效地训练更大型的模型，同时保持与传统联合学习相当的性能。

Sep, 2023

FLrce: 基于关系的客户选择和提前停止策略的高效联邦学习

FLrce 是一种高效的联邦学习框架，具有基于关系的客户选择和提前停止策略，可以加速 FL 过程并节省通信和计算资源。实验结果表明，FLrce 提高了通信和计算效率，并保持了竞争性的准确性。

Oct, 2023