Aug, 2020

基于蒸馏的半监督联邦学习：具有非 IID 私有数据的通信高效合作训练

PDF
TL;DR该研究提出了一种新的联邦学习框架，利用无标签的开放数据集和基于蒸馏的半监督学习算法，实现了模型的交流和性能的提高，并通过熵的减少平均值来减少模型之间的异质性。实验结果表明，相对于 FL 基准，DS-FL 能降低高达 99% 的通信成本，同时达到相似甚至更高的分类准确性。
federated learningdistillation-basedsemi-supervisedcommunication costsentropy reduction averaging
发现论文，激发创造
  • 通信高效的设备端机器学习：非独立同分布私有数据下联合蒸馏与增强

    提出了一种名为联邦蒸馏（FD）的分布式模型训练算法，其通信负载大小比联邦学习（FL）小得多，尤其是当模型大小较大时，并提出了一种名为联邦增强（FAug）的方法来处理设备间用户生成数据样本分布不同的问题。实证研究表明，采用 FD 和 FAug 可以减少约 26 倍的通信开销，同时实现 95-98% 的测试精度。

    Nov, 2018

  • 通过输入输出协作蒸馏的联邦学习

    基于本地到中心的协作蒸馏的无数据联邦学习框架，通过学习对每个本地模型产生一致但独特结果的输入，实现对各种实际世界异构联邦学习场景中的图像分类和分割任务的显著隐私 - 效用权衡。

    Dec, 2023

  • 联邦学习中强化模型合并的集合蒸馏

    本篇论文研究了 FL 领域中不同于普通平均策略的模型聚合方法 ——ensemble distillation，证明其能够在保证数据隐私性和节约算力的同时，更灵活地聚合异构模型，并在各种 CV/NLP 数据集和场景下优于现有的 FL 算法。

    Jun, 2020

  • 隐私保护合奏关注蒸馏的联邦学习

    本文提出了一个利用未标记公共数据进行单向离线知识蒸馏的隐私保护联邦学习框架。通过集成注重蒸馏，利用本地知识训练中央模型。我们的技术采用分散和异构的本地数据，显著降低了隐私泄漏的风险。通过图像分类、分割和重构任务的大量实验，证明我们的方法在具有更强的隐私保护的同时实现了非常有竞争力的性能。

    Oct, 2022

  • 有效的半监督异构参与者联邦学习

    在资源受限环境中，通过介绍聚类正则化和全局更新频率适应的控制算法，我们提出了一种新的训练模型系统，用于解决联合学习中的数据非独立同分布和模型收敛性问题，该系统在减少训练时间和通信成本的同时提高了准确性。

    Jul, 2023

  • 通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

    Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

    Jan, 2024

  • 联邦蒸馏：调查

    该论文就联邦蒸馏（FD）提供了全面的概述，介绍了其最新进展，探讨了 FD 框架的基本原理，阐述了应对各种挑战的 FD 方法，并提供了 FD 在不同场景中的多样化应用。

    Apr, 2024

  • DFRD：无数据的异构联邦学习鲁棒性蒸馏

    基于数据异构和模型异构的联邦学习场景中，使用无数据的知识蒸馏机制提出了 DFRD 方法，在服务器上通过条件生成器逼近客户端上传的本地模型训练空间，并通过动态加权和标签采样准确提取本地模型的知识，实验证明 DFRD 相较于基准模型取得了显著的性能提升。

    Sep, 2023

  • 精简一次性联合学习

    提出了 Distilled One-Shot Federated Learning (DOSFL) 算法，通过数据集精炼和一次迭代来减少模型权重的通信量和传播轮数，达到与传统方法相当的性能和高达三个数量级的通信效率。

    Sep, 2020

  • 半联邦学习：混合学习框架的收敛分析与优化

    通过提出一种半联合学习（SemiFL）范式，将基站（BS）和设备的计算能力结合起来，实现集中式学习（CL）和联邦学习（FL）的混合实施。通过设计一种新颖的收发器结构，将空中计算和非正交多址接入应用于聚合和传输，提高了通信效率，并证明了 FL 和 CL 是 SemiFL 的特例。然后，通过联合优化发送功率和接收波束形成器来减小最优性差距，并提供了解析解。两个真实数据集上的广泛模拟实验结果证实了我们的理论分析，并显示相比于最先进的基准，所提出的 SemiFL 在 MNIST 数据集上取得了 3.2% 的准确度提高。

    Oct, 2023