CEFL:碳高效联邦学习
FedGreen 是一种碳感知的联邦学习方法,通过采用基于客户端的碳排放数据和位置的自适应模型大小训练技巧,以及使用有序的随机失活作为模型压缩技术,可以有效地训练模型,并在考虑不同国家碳强度差异的同时,降低碳排放,并保持竞争性的模型准确性。
Apr, 2024
本篇论文中,我们介绍了一种基于移动边缘计算,利用分布式客户端数据和计算资源进行高性能机器学习模型训练的框架,该框架扩展了联邦学习的分布式学习框架,以实现与实际基于蜂窝网络的异构客户端的协作;我们的新 FL 协议(FedCS)通过解决具有资源限制的客户端选择问题来提高训练效率,在公开可用的大规模图像数据集上进行实验,实验结果表明,与原始 FL 协议相比,FedCS 能够在显著缩短的时间内完成训练。
Apr, 2018
本文提出了一种个性化的联邦学习(CFL)系统,通过特殊设计的全局模型为每个客户定制个性化模型,采用在线训练的模型搜索辅助器和新型聚合算法,解决 FL 在多个维度上的异质性问题。实验证明,CFL 在 FL 训练和边缘推断方面具有全栈优势,并显著改进了模型准确性(在非异构环境中高达 7.2%,在异构环境中高达 21.8%)、效率和公平性。
Feb, 2023
在本文中,我们提出了一种名为 RE-FL 的新方法,该方法解决了资源受限设备中计算和通信挑战的问题。我们的可变修剪技术通过根据每个客户端的计算能力进行修剪来优化资源利用。我们还使用知识蒸馏来减少带宽消耗和通信轮次。对图像分类任务的实验结果证明了我们的方法在资源受限环境中保持数据隐私和性能的有效性,同时适应了异构模型架构。
Aug, 2023
提出了基于可再生能源、FedZero 的联邦学习系统,利用能量和负载预测,在历史太阳能和负载状况的基础上,选择客户端进行快速收敛和公平参与,从而将训练的操作碳排放降至零。
May, 2023
本文研究了联邦学习的碳排放问题,发现与集中式机器学习相比,联邦学习的碳排放量可能高达两个数量级,但在一些情况下,由于嵌入式设备的能耗降低,两者的碳排放量是可比较的。作者探讨了算法效率、硬件能力和行业透明度等课题,以降低联邦学习对环境的影响。
Feb, 2021
通过提出一个名为 CAFE 的框架,同时优化学习性能和减少环境影响,本研究重点探讨了在各地数据中心分布的条件下训练大规模人工智能模型所面临的挑战。
Nov, 2023
FLrce 是一种高效的联邦学习框架,具有基于关系的客户选择和提前停止策略,可以加速 FL 过程并节省通信和计算资源。实验结果表明,FLrce 提高了通信和计算效率,并保持了竞争性的准确性。
Oct, 2023
提出一种混合联邦和集中式学习(HFCL)框架,采用先进的数据传输方法并在计算资源不足时使用集中式学习方法,以有效地训练学习模型,并在所有客户端合作的同时提高学习准确度。
Nov, 2020
基于边缘设备的联邦学习方法通过采用高效的通信技术来分布机器学习任务,相比于集中式解决方案,减少了数据存储和计算复杂性方面的开销。该论文提出了一个用于实时监测联邦学习系统能源和碳足迹影响的框架,并通过对共识(完全分散)和经典联邦学习策略的评估,首次定量评估了不同的计算和通信高效联邦学习方法在能源消耗和碳等效排放方面的表现,并提供了能效设计的一般指导原则。研究结果表明,在通信能效较低(即 < 25 Kbit/Joule)时,应优先选择共识驱动的联邦学习实现以限制碳排放。此外,量化和稀疏化操作被证明在学习性能和能源消耗之间达到了平衡,从而导致了可持续的联邦学习设计。
Oct, 2023