Nov, 2023

MetisFL: 一个可扩展且高效的联邦学习工作流程尴尬并行化控制器

PDF
TL;DRMetisFL 是一个创新的联邦学习系统，通过重新设计和开发联邦控制器的操作，加速大规模联邦学习工作流的训练，与其他最先进的联邦学习系统相比，实验证明 MetisFL 在增大模型规模和联邦站点数量的各种挑战性联邦学习工作流中，可以提供 10 倍的墙钟时间执行速度提升。
federated learningfl systemmetisflfederation controllerscaling
发现论文，激发创造
  • 面向医学转录分析的联合多语言模型

    该论文介绍了一个针对医学实体标注等下游任务的大规模多语言模型的联邦学习系统，它能够跨越高度异质化的数据提供者进行训练，并通过本地训练步骤进一步提高全局模型的性能。

    Nov, 2022

  • 经济有效的联邦学习设计

    本文介绍了自适应联邦学习方法，可根据选择的本地设备和每轮训练中的本地迭代次数，最小化学习时间和能耗成本，并分析了总成本与控制变量之间的关系及其上限。作者开发了一种基于低成本采样的算法来学习收敛相关的未知参数，并通过模拟和实验验证了解决方案，证明其在不同数据集、机器学习模型和异构系统设置方案中都能实现接近最优的性能。

    Dec, 2020

  • 元宇宙中的联邦学习：综述

    本文介绍了基于联邦学习的元宇宙研究，探讨了数据隐私保护、计算效率、边缘计算和区块链等方面对元宇宙发展的重要性，并对联邦学习在元宇宙中的应用和前景进行了探讨。

    Mar, 2023

  • 关于分散式联邦学习的调查

    去中心化联邦学习解决方案的综述，包括现有的方法和未来的研究方向。

    Aug, 2023

  • 无协调的复杂网络分散式联邦学习：克服异构性

    在高度普及的边缘场景中，缺乏中央控制器和预定的设备连接导致了复杂的网络结构，我们提出了一种通信高效的分散式联邦学习（DFL）算法来解决由数据和不同训练历史引起的异构学习难题，研究结果表明，与竞争方法相比，我们的解决方案能够训练出更好的本地模型并且在通信效率上更为优越。

    Dec, 2023

  • HeteroFL：用于异构客户端的计算与通信高效联邦学习

    本文提出名为 HeteroFL 的新型联邦学习框架，旨在解决具有非常不同计算和通信能力的异构客户端的问题，并通过几种策略增强 FL 训练。通过在三个数据集上进行五个计算复杂性级别的三种模型架构的广泛实证评估，通过自适应分配子网络来提高 FL 训练的计算和通信效率。

    Oct, 2020

  • 联邦学习的进展：模型、方法和隐私

    本文详细阐述了联邦学习的体系结构、应用问题、算法设计原则和安全问题，提出了一种更加通用的算法设计框架、攻击场景和防御方法，致力于将联邦学习与真实世界应用相集成并实现高性能、隐私保护和安全性。

    Feb, 2023

  • MAS：面向资源高效的联邦多任务学习

    提出一种用于协调和训练多个同时进行的联邦学习任务的系统，名为 MAS（Merge and Split），通过多任务架构将多个任务合并为一个任务进行训练，并根据任务之间的亲和度在训练过程中将其拆分成两个或更多任务继续训练，实验证明 MAS 方法在性能优化方面胜过其他方法，同时减少训练时间 2 倍并降低 40% 的能源消耗。

    Jul, 2023

  • 行星探测的联邦多智能体映射

    多智能体机器人探索中，联邦学习是处理分布式数据、地图表示和元初始化的有效方法。方法通过利用隐式神经映射和地球数据预训练，实现紧凑且适应性高的地图表示，在多智能体探索场景中展现强大的泛化能力。

    Apr, 2024

  • 智能多租户联邦学习

    提出了一个名为 MuFL 的智能的多租户联邦学习系统，来优化多个设备上的同时训练活动，通过合并和拆分活动来提高效率并且在比较中，该系统较其他方法少消耗了 40% 的能量。

    Jul, 2022