本文利用编码理论来提高跨设备联合学习中的 Federated Dropout(FD)算法的训练精度,实现了较高的训练速度和与无 Dropout 情况下相同的最终精度,并在 EMNIST 数据集上取得了很好的效果。
Jan, 2022
本文介绍了一种名为自适应联邦 Dropout(AFD)的新型技术,用于减少联邦学习中与通信成本相关的问题,此策略与现有压缩方法相结合可以提供高达 57 倍的收敛时间,同时还改善了模型泛化。
Nov, 2020
本文提出一种名为 Federated dropout (FedDrop) 的联邦式学习方案,该方案利用经典的 dropout 算法进行随机模型修剪。该方案可在减少通信开销和设备计算负载的同时,表现出比传统的 FL 和具有相同概率的子网的 FL 方案更好的效果。
Sep, 2021
FL-FDMS 是一种解决了分布式机器学习框架中部分参与中的客户端退出问题的算法,能够使用朋友节点的本地更新来代替退出客户端的数据,从而提高算法的性能和效率。
May, 2022
在这篇论文中,我们提出了一种基于贝叶斯推理的自适应辍学方法(FedBIAD),通过逐行将局部模型权重转化为概率分布,并自适应地根据与本地训练损失趋势相关的重要性指标辍掉部分权重行,从而在减少上行通信成本的同时提高准确性,理论分析证明 FedBIAD 的平均泛化误差的收敛速度是最小最大的,甚至在非独立同分布数据上可以提高 2.41% 的准确率,并最多缩短 72% 的训练时间。
Jul, 2023
采用两种新策略(global model 压缩和 Federated Dropout)和现有压缩方法的结合,可以综合降低联邦学习对服务器到客户端通信的成本高达 14 倍、本地计算量 1.7 倍并在上传通信方面降低 28 倍,同时不降低最终模型的质量,从而全面降低了联邦学习对客户端设备资源的影响。
Dec, 2018
本研究提出了 FedDM,旨在通过多个本地替代函数来构建全局训练目标,从而减少通信轮数,改善模型质量,并在保留差分隐私的同时证明该算法的有效性。
Jul, 2022
本研究提出了一种新的联邦学习框架 (FedDIP),通过动态模型修剪和错误反馈相结合的方式,来控制参数交换并实现模型稀疏化,以达到与其他模型修剪方法相媲美或更好的性能。
Sep, 2023
个性化联邦学习中,采用较小规模的本地子模型的联邦丢弃策略会引入偏差,因此我们提出了联邦学习与随机参数更新的方法,通过冻结部分神经元来增强模型对于他人偏差参数的鲁棒性,并引入早停机制来显著减少训练时间。
Mar, 2024
本研究通过动态采样和 Top-K 选择性掩蔽这两种方法,提高了联邦学习的通信效率,并在公共数据集上进行实验,证明了该方法的有效性。
Mar, 2020