Feb, 2021

联邦学习的碳足迹初探

PDF
TL;DR本文研究了联邦学习的碳排放问题，发现与集中式机器学习相比，联邦学习的碳排放量可能高达两个数量级，但在一些情况下，由于嵌入式设备的能耗降低，两者的碳排放量是可比较的。作者探讨了算法效率、硬件能力和行业透明度等课题，以降低联邦学习对环境的影响。
发现论文，激发创造
  • 分布式与联邦学习的能源和碳足迹分析

    本论文提出了一种新的框架，用于分布式和联邦学习（FL）的能源和碳足迹分析，研究了完全分散方法和共识方法的能源足迹和碳排放。这个框架量化了基于连续改进的学习三个环节的能源消耗，使用了两个 5G 行业垂直的案例对其进行了分析，结果表明能源消耗和测试准确度应该通过模型和数据足迹来平衡。

    Jun, 2022

  • FedGreen：具有模型大小自适应的碳感知联邦学习

    FedGreen 是一种碳感知的联邦学习方法，通过采用基于客户端的碳排放数据和位置的自适应模型大小训练技巧，以及使用有序的随机失活作为模型压缩技术，可以有效地训练模型，并在考虑不同国家碳强度差异的同时，降低碳排放，并保持竞争性的模型准确性。

    Apr, 2024

  • CAFE：地理分布式数据中心中的碳感知联邦学习

    通过提出一个名为 CAFE 的框架，同时优化学习性能和减少环境影响，本研究重点探讨了在各地数据中心分布的条件下训练大规模人工智能模型所面临的挑战。

    Nov, 2023

  • 联邦学习碳追踪模型：量化和稀疏化影响

    基于边缘设备的联邦学习方法通过采用高效的通信技术来分布机器学习任务，相比于集中式解决方案，减少了数据存储和计算复杂性方面的开销。该论文提出了一个用于实时监测联邦学习系统能源和碳足迹影响的框架，并通过对共识（完全分散）和经典联邦学习策略的评估，首次定量评估了不同的计算和通信高效联邦学习方法在能源消耗和碳等效排放方面的表现，并提供了能效设计的一般指导原则。研究结果表明，在通信能效较低（即 < 25 Kbit/Joule）时，应优先选择共识驱动的联邦学习实现以限制碳排放。此外，量化和稀疏化操作被证明在学习性能和能源消耗之间达到了平衡，从而导致了可持续的联邦学习设计。

    Oct, 2023

  • 关于分散式联邦学习的调查

    去中心化联邦学习解决方案的综述，包括现有的方法和未来的研究方向。

    Aug, 2023

  • 面向能量感知的蜂窝网络联合流量预测

    通过提出一个可评估机器学习模型可行性的新方法，本文在实际基站测量的基础上，对巴塞罗那地区的联邦学习场景中使用的最先进的深度学习体系结构进行全面评估，发现较大的机器学习模型在性能上略有提升，但在碳足迹方面产生了显著的环境影响，使其在实际应用中不切实际。

    Sep, 2023

  • FedZero：利用可再生过剩能源实现联邦学习

    提出了基于可再生能源、FedZero 的联邦学习系统，利用能量和负载预测，在历史太阳能和负载状况的基础上，选择客户端进行快速收敛和公平参与，从而将训练的操作碳排放降至零。

    May, 2023

  • CEFL：碳高效联邦学习

    Federated Learning 通过自适应成本感知的客户端选择策略优化任意成本指标，将资源效率提高到时间 - 准确性之间的最优化问题解决掉，并通过设计碳效率的 Federated Learning 模型，以其能耗的碳排放强度为成本，在减少碳排放和训练时间方面具有显著的优势。

    Oct, 2023

  • 联邦学习的进展：模型、方法和隐私

    本文详细阐述了联邦学习的体系结构、应用问题、算法设计原则和安全问题，提出了一种更加通用的算法设计框架、攻击场景和防御方法，致力于将联邦学习与真实世界应用相集成并实现高性能、隐私保护和安全性。

    Feb, 2023

  • 联邦机器学习和集中式机器学习的比较评估

    本文讨论分布式数据的非 IID 性质及其对联邦学习的训练造成的影响，同时对联邦学习与典型集中式梯度下降技术的不同之处进行比较，并在实践中演示样品数量和输出标签分布对联邦学习的影响。此外，本文证明了在模型大小不太大的情况下使用联邦学习框架具有成本优势。

    Feb, 2022