FlexTrain：用于异构设备环境的动态训练框架

Oct, 2023

FlexTrain：用于异构设备环境的动态训练框架

FlexTrain: A Dynamic Training Framework for Heterogeneous Devices Environments

Mert Unsal, Ali Maatouk, Antonio De Domenico, Nicola Piovesan, Fadhel Ayed

TL;DR通过 FlexTrain 框架，我们能够高效部署深度学习模型到异构设备上，从而节省训练时间和能源消耗，并且在联合学习场景下优于标准联合学习基准模型。

Abstract

As deep learning models become increasingly large, they pose significant challenges in heterogeneous devices environments. The size of deep learning models makes it difficult to deploy them on low-power or resour

deep learning models heterogeneous devices flextrain device constraints federated learning

发现论文，激发创造

EF-Train: FPGA 上通过数据重塑实现高效的 CNN 设备端训练以进行在线适应或个性化

本研究设计的 EF-Train 是一种高效的 DNN 训练加速器，通过数据重塑，并建立自动计算和内存资源调度的分析模型，在低功耗边缘级 FPGA 上实现端到端的训练，最终达到了 46.99 GFLOPS 和 6.09GFLOPS/W 的吞吐量和能量效率。

Feb, 2022

Flextron: 多合一弹性大语言模型

Flextron 是一种网络架构和后训练模型优化框架，用于灵活的模型部署，并通过样本高效的训练方法和路由算法将现有的 LLM 转换为 Flextron 模型，实现卓越的性能，远优于其他弹性网络和多个端到端训练变体，并且仅需要进行一轮预训练消耗原始预训练的 7.63% 令牌。

Jun, 2024

FlexModel：一种用于解释性分布式大型语言模型的框架

通过民主化模型交互并推动大规模神经网络领域的更加包容性研究，FlexModel 提供了与分布在多个 GPU 和多节点配置上的模型进行交互的简化界面。

Dec, 2023

TinyTrain：极端边缘的深度神经网络训练

TinyTrain 是一个在设备上训练的方法，通过选择性更新模型的部分并明确处理数据稀缺性，大大减少了训练时间，在减少计算和内存占用的同时，实现了高精度的未知任务。

Jul, 2023

subMFL：设备异构环境下适应性子模型生成的联邦学习

该研究提出了一种模型压缩方法，允许计算能力不同的设备参与联邦学习过程，从而提高资源受限设备的参与率，并保持先前轮次训练的权重，使生成的次模型在保持准确性的同时能够共享，提高参与度约 50%。

May, 2024

Helios: 基于动态平衡协作的异构感知联邦学习

本文提出 Helios，一个针对数据异质性解决掉队者问题的联邦学习框架，采用旋转神经元训练方法将差异设备的训练量动态压缩至期望量，通过算法分析和优化方案，可以保证本地训练和联邦协作的收敛性，并加速松散设备的训练。

Dec, 2019

FedHiSyn: 面向资源和数据异构的分层同步联邦学习框架

本文提供了一种基于异步联邦学习的分层同步 FL 框架：FedHiSyn，首先将设备基于其计算能力分成少量的几类，然后在这些类别中通过同步更新和设备间通信相结合的方式解决了异质性数据和呆滞时间等问题，实验结果表明在精度与效率方面的表现均优于其他六种基线方法。

Jun, 2022

具有移动性的数据异构层次联邦学习

本研究探讨基于数据异构和移动性的分层联邦学习，通过分析其性能并利用移动性改善数据异构，结果表明移动性可以提高 15.1％的模型准确性。

Jun, 2023

FlexMoE: 通过动态设备放置实现大规模稀疏预训练模型训练的扩展

本文提出了一种名为 FlexMoE 的 DNN 训练框架，通过动态专家管理和设备布置机制，以及调度模块来优化大规模预训练模型训练过程中动态数据流所导致的效率问题，实验表明其在自然语言处理模型和视觉模型等领域具有较强的可扩展性和优越的性能。

Apr, 2023

面向计算受限异构设备的联邦学习：综述

随着越来越多的物联网设备在现场部署，将神经网络的训练卸载到中央服务器变得越来越不可行，本文调查了联合学习在克服异构性挑战方面的应用和益处。

Jul, 2023