联邦学习中多模型公平并发训练
我们提出了一种名为 mFairFL 的方法,通过使用差分乘数构建优化目标,同时实现组公平和客户公平,以解决在隐私不受损失的情况下训练公平的 FL 模型的问题。理论分析证明 mFairFL 有助于模型的公平性,并且基于三个基准数据集的实验评估显示 mFairFL 相对于七个最先进的基准模型具有显著优势。
Dec, 2023
基于 Lyapunov 优化,提出了首个公平感知的联邦作业调度(FairFedJS)方法,确保对高需求的联邦学习客户端数据集进行公平分配,以防止长时间等待。通过在两个数据集上与四种最先进的方法进行广泛实验证明,相较于最佳基准线,其在调度公平性和收敛时间方面分别提高了 31.9%和 1.0%,同时实现了可比较的测试准确性。
Jan, 2024
通过多准则客户选择和调度方案,我们提出了一种具有公平性保证的联邦学习方案,包括两个阶段:初步客户池选择和每轮客户调度。我们通过建立一个基于多个准则的客户选择度量,如客户资源、数据质量和客户行为,来解决在给定预算下最大化选定客户整体得分的初始客户池选择问题,并通过贪婪算法求解该问题。为了保证公平性,我们进一步将每轮客户调度问题形式化,并提出一种启发式算法,将客户池分为多个子集,以确保每个客户至少被选择一次,同时确保子集中的整合数据集接近于独立且相同分布。我们的实验结果表明,该方案可以提高模型质量,特别是在非独立分布的数据情况下。
Dec, 2023
该研究论文提出了一种在联邦学习中实现三重公平性的公平客户选择方法,通过公平的客户选择策略、公平的参与轮数和客户间的公平准确度分布,与现有技术基准相比,在 IID 数据上减少了 18.15% 的准确率差异,在非 IID 数据上减少了 54.78% 的准确率差异,并且平均训练时间减少了 24.36%。
Jan, 2024
本论文通过策略提出了 Personalisation-aware Federated Learning (PaFL) 的模型,在语言任务中减少了 50% 的表现不佳客户端的数量,在图像任务中也避免了表现不佳客户端数量翻倍的情况,提高了边缘设备参与联邦学习的效率并有望在未来实验和理论分析上得到更多的应用。
May, 2023
通过 Lyapunov 优化的公平感知联邦用户选择(FairFedCS)方法可以在联邦学习中动态调整联邦用户的选择概率,根据联邦用户的声誉、参与联邦任务的次数和对最终模型性能的贡献,共同考虑性能和公平性。在真实的多媒体数据集上进行的大量实验表明,FairFedCS 平均实现了 19.6% 更高的公平性和 0.73% 更高的测试准确性,超过了最佳性能的现有方法。
Jul, 2023
本研究提出了一种基于聚类的联邦多任务学习框架(Clustered Federated Learning),可在保持数据隐私性的同时,更好地解决联邦学习中本地数据分布不同的问题,并在深度卷积和循环神经网络上进行实验证明了其有效性。
Oct, 2019
该研究提出了一种基于混合模型假设的联邦多任务学习方法,该方法可以在设备上学习个性化模型并实现客户端和服务端两种架构下的联邦 EM 算法的收敛,同时在联邦学习基准测试中获得了更高的准确性和公平性。
Aug, 2021
本文提出了一种应用于多个下游任务的异步模型传输的联邦学习方法,通过引入调度张量来表征设备调度,并通过收敛性分析探究了资源分配、设备调度和个体模型状态等对机器学习性能的影响,进而通过非凸混合整数优化问题来调整资源分配和设备调度,以在能量消耗和性能之间达到高效平衡,并通过数值模拟揭示了该方法在模型性能和网络资源节约方面的优势。
May, 2023