Jun, 2023

一种高效的虚拟数据生成方法，用于减少联邦学习中的通信

PDF
TL;DR本文提出了一种数据驱动的通信高效联邦学习框架，重点在于设计了一个高效的提取模块 (EM)，确保虚拟数据集对于精调聚合全局模型产生正面效果，并在实验证明了 FedINIBoost 在初始阶段对聚合全局模型的性能精调起到重要作用。
federated learningcommunication overheadextraction moduleefficiencyglobal model
发现论文，激发创造
  • FedDM：基于迭代分布匹配的通信高效联邦学习

    本研究提出了 FedDM，旨在通过多个本地替代函数来构建全局训练目标，从而减少通信轮数，改善模型质量，并在保留差分隐私的同时证明该算法的有效性。

    Jul, 2022

  • 基于最优客户端采样的通信高效联邦学习

    本文提出了一种基于 Ornstein-Uhlenbeck 过程的方案，在受通信限制的情况下，通过收集具有信息更新的客户端模型和估计没有通信的本地更新的方式来更新中央模型，实现了在保证性能的同时显著减少了通信量，为联邦学习提供了一种新的通信效率优化方案。

    Jul, 2020

  • 通信高效的设备端机器学习：非独立同分布私有数据下联合蒸馏与增强

    提出了一种名为联邦蒸馏（FD）的分布式模型训练算法，其通信负载大小比联邦学习（FL）小得多，尤其是当模型大小较大时，并提出了一种名为联邦增强（FAug）的方法来处理设备间用户生成数据样本分布不同的问题。实证研究表明，采用 FD 和 FAug 可以减少约 26 倍的通信开销，同时实现 95-98% 的测试精度。

    Nov, 2018

  • 具有全局动量加速的通信高效联邦学习

    提出一种新的联邦学习框架，通过发送全局梯度估计的加速模型来引导本地梯度更新，从而改进了服务器端聚合步骤的稳定性，实现了自然聚合和传递全局更新信息，同时不需要额外的通信成本和客户机中存储过去的模型。在现实数据下进行全面的实证研究，证明了所提方法在精度和通信效率方面相对于现有方法的显着性能，尤其是在低客户端参与率下。

    Jan, 2022

  • 基于蒸馏的半监督联邦学习：具有非 IID 私有数据的通信高效合作训练

    该研究提出了一种新的联邦学习框架，利用无标签的开放数据集和基于蒸馏的半监督学习算法，实现了模型的交流和性能的提高，并通过熵的减少平均值来减少模型之间的异质性。实验结果表明，相对于 FL 基准，DS-FL 能降低高达 99% 的通信成本，同时达到相似甚至更高的分类准确性。

    Aug, 2020

  • 基于 Elastic Net 的通信高效和漂移稳健的联邦学习

    提出了一种名为 FedElasticNet 的通信高效且健壮的联邦学习框架，利用弹性网正则化器解决通信成本和客户漂移问题。此框架可与先前的联邦学习技术相结合，有效地同时解决通信和漂移问题。

    Oct, 2022

  • 联邦学习中的混合模型：隐私、通讯和准确性权衡

    为了解决联邦学习框架下传统 ERM 问题所面临的隐私保障、低带宽、动态客户端等挑战，我们开发了最优通信 - efficient 私密方案，可以使客户端参与到 ERM 的优化中，同时保证通信和隐私效果，并利用数据和客户端抽样实现隐私扩大，验证了我们的解决方案既能够获得相同的隐私、优化 - 性能操作点，又能大幅降低通信成本。

    Aug, 2020

  • 通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

    Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

    Jan, 2024

  • 基于动态注意力的通信高效联邦学习

    本文提出了一种自适应训练算法 AdaFL，该算法通过注意力机制和动态分数方法来平衡性能稳定性和通信效率，实验结果表明相对于 FedAvg 算法，AdaFL 算法在模型精度、性能稳定性和通信效率三个方面都有很大的提高。

    Aug, 2021

  • FedET：一个基于增强 Transformer 的通信有效联邦类增量学习框架

    本文提出了一种名为 FedET 的框架，它使用预训练 Transformers 并结合 Enhancer，通过增强新知识来实现低通信成本和高精度，同时引入 Enhancer 蒸馏方法解决新任务新类别和不同本地客户端之间的非 i.i.d 类别不平衡问题，实验结果表明，与现有方法相比，FedET 在代表性基准数据集上的平均准确率提高了 14.1％，通信成本节省了 90％。

    Jun, 2023