Dec, 2023

通过累积本地更新改进联邦蒸馏的通信效率

PDF
TL;DR通过在学习过程中传输只有小规模知识，作为一种新兴的联合训练范式，联合蒸馏能够实现高效的模型训练。为了进一步提高联合蒸馏的通信效率，我们提出了一种新的技术，ALU，它在将知识传输到中央服务器之前累积多个局部更新轮次。ALU 显著降低了联合蒸馏中的通信频率，从而大大减少了训练过程中的通信开销。实证实验表明，ALU 显著提高了联合蒸馏的通信效率。
federated learningfederated distillationcommunication efficiencyknowledge transferalu
发现论文，激发创造
  • 基于知识蒸馏的通信高效联邦学习 (FedKD)

    本研究提出了一种基于知识蒸馏的通信高效的联邦学习方法，通过在客户端上互相学习一个学生模型和一个教师模型，只共享学生模型以降低通信成本，并提出了一种基于奇异值分解的动态梯度逼近方法来进一步降低通信成本。实验表明，该方法能够有效减少通信成本并取得竞争性的结果。

    Aug, 2021

  • 联邦学习：提高通信效率的策略

    本文探讨联邦学习中的机器学习算法以及通过结构化更新和草图更新的方式来降低通信成本，实验结果表明这两种方法可以将通信成本降低两个数量级。

    Oct, 2016

  • 通过本地和全局的蒸馏在非独立同分布数据上进行联邦学习

    本文提出一种名为 FedND 的新型联邦学习算法，采用知识蒸馏优化模型训练过程，并在客户端使用自我蒸馏方法进行本地模型训练，在服务器端生成噪声样本用于蒸馏其他客户端，最终通过聚合本地模型获得全局模型，实验结果表明该算法不仅达到最佳性能，而且比现有的算法更具通信效率。

    Jun, 2023

  • 通信高效的设备端机器学习：非独立同分布私有数据下联合蒸馏与增强

    提出了一种名为联邦蒸馏（FD）的分布式模型训练算法，其通信负载大小比联邦学习（FL）小得多，尤其是当模型大小较大时，并提出了一种名为联邦增强（FAug）的方法来处理设备间用户生成数据样本分布不同的问题。实证研究表明，采用 FD 和 FAug 可以减少约 26 倍的通信开销，同时实现 95-98% 的测试精度。

    Nov, 2018

  • 基于蒸馏的半监督联邦学习：具有非 IID 私有数据的通信高效合作训练

    该研究提出了一种新的联邦学习框架，利用无标签的开放数据集和基于蒸馏的半监督学习算法，实现了模型的交流和性能的提高，并通过熵的减少平均值来减少模型之间的异质性。实验结果表明，相对于 FL 基准，DS-FL 能降低高达 99% 的通信成本，同时达到相似甚至更高的分类准确性。

    Aug, 2020

  • 通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

    Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

    Jan, 2024

  • 基于知识蒸馏的分布式连续学习在普适计算中的应用

    本文提出了一种基于蒸馏的联邦继续学习方法，通过使用定期收集的客户端数据逐步适应接收到的模型，以减少存储数据的量，避免灾难性遗忘问题，并在人类活动识别领域进行了评估。

    Jul, 2022

  • 异构数据分布式边缘学习的无线联邦蒸馏

    本文研究了存在无线通信信道时的分布式机器学习中的协作训练方法，提出了数字实现和过空中计算实现的联合源 - 信道编码方法，并在高斯多址信道下进行了评估。

    Jul, 2019

  • 联邦蒸馏：调查

    该论文就联邦蒸馏（FD）提供了全面的概述，介绍了其最新进展，探讨了 FD 框架的基本原理，阐述了应对各种挑战的 FD 方法，并提供了 FD 在不同场景中的多样化应用。

    Apr, 2024

  • 通过输入输出协作蒸馏的联邦学习

    基于本地到中心的协作蒸馏的无数据联邦学习框架，通过学习对每个本地模型产生一致但独特结果的输入，实现对各种实际世界异构联邦学习场景中的图像分类和分割任务的显著隐私 - 效用权衡。

    Dec, 2023