IJCAIJun, 2023

FedET：一个基于增强 Transformer 的通信有效联邦类增量学习框架

PDF
TL;DR本文提出了一种名为 FedET 的框架，它使用预训练 Transformers 并结合 Enhancer，通过增强新知识来实现低通信成本和高精度，同时引入 Enhancer 蒸馏方法解决新任务新类别和不同本地客户端之间的非 i.i.d 类别不平衡问题，实验结果表明，与现有方法相比，FedET 在代表性基准数据集上的平均准确率提高了 14.1％，通信成本节省了 90％。
federated learningcatastrophic forgettingenhancer distillationtransformerscommunication cost
发现论文，激发创造
  • 异构集成知识迁移用于联邦学习中的大模型训练

    本研究提出了一种新的合奏知识转移方法 Fed-ET，采用了加权一致性蒸馏方案，通过利用各服务器的高度异构数据来提取可靠的共识，同时通过利用合奏中的多样性来改善泛化能力，并在图像和语言任务中显示出在通信参数较少的情况下，Fed-ET 明显优于其他最先进的 FL 算法，并且对于高数据异构性也是强健的。

    Apr, 2022

  • 基于 Elastic Net 的通信高效和漂移稳健的联邦学习

    提出了一种名为 FedElasticNet 的通信高效且健壮的联邦学习框架，利用弹性网正则化器解决通信成本和客户漂移问题。此框架可与先前的联邦学习技术相结合，有效地同时解决通信和漂移问题。

    Oct, 2022

  • 基于进化策略的高效通信和隐私保护联邦学习

    基于进化策略的联邦学习算法（FedES）通过只传输损失值而减少了通信开销，并且保护了数据隐私。实验结果表明 FedES 在保持收敛性能与反向传播方法相同的同时，能够实现上述优势。

    Nov, 2023

  • FedTrans: 异质客户端之间的高效联合学习通过模型转换

    FedTrans 是一个多模型联邦学习训练框架，可以自动为大规模异构客户端生成和训练高准确性、硬件兼容的模型，显著提高了个体客户端模型的准确性并降低了训练成本。

    Apr, 2024

  • FedAT: 一种高性能、通信效率高的异步分层联邦学习系统

    本文提出了一种名为 FedAT 的新颖联邦学习方法，它通过异步分层训练和同步内部层训练的协同作用来减小杂散因素的影响，同时使用加权聚合启发式和基于折线编码的压缩算法，提高了收敛速度和预测性能，并最大程度地减小了通信成本。

    Oct, 2020

  • Ed-Fed: 边缘设备资源感知的通用联邦学习框架

    Ed-Fed 是一个全面通用的联邦学习框架，提出了一种新颖的资源感知客户端选择算法来优化 FL 中的等待时间，相比于传统随机选择方法，本方法大大优化了 FL 中的等待时间。

    Jul, 2023

  • 语言引导的联邦多标签分类的 Transformer

    提出了一种用于多标签分类的新型联邦学习框架（FedLGT），旨在解决用户异构性和标签相关性等挑战，通过在不同客户端之间传递知识来学习出稳健的全局模型，实验证明在多标签联邦学习场景下超过了标准联邦学习技术，并获得了令人满意的性能。

    Dec, 2023

  • EvoFed：利用进化策略进行通信高效的联邦学习

    本文提出了一种称为 EvoFed 的新方法，通过将进化策略（ES）与分布式学习（FL）相结合，解决了传统 FL 中高通信成本的问题。EvoFed 通过基于适应度的信息共享，在节点之间传递一种基于距离的相似度度量，从而大幅减少了通信负载。在实验中，EvoFed 在各种实际环境中展现出与 FedAvg 相当的性能，同时显著降低了通信需求。

    Nov, 2023

  • pFedES: 模型异构个性化的联邦学习与特征提取器共享

    提出了基于特征提取器共享的异构个性化联邦学习方法 (pFedES)，该方法在不同客户端的本地模型中引入小型同质特征提取器，通过迭代学习方法进行训练，实现全局泛化知识和本地个性化知识的交换和共享，其理论上证明了 pFedES 能够在墙时收敛。在两个真实数据集上的广泛实验中，与六种最先进的方法相比，pFedES 构建了最准确的模型，同时通信和计算成本较低，与最佳基准相比，测试准确性提高了 1.61%，通信和计算成本分别降低了 99.6% 和 82.9%。

    Nov, 2023

  • 异构环境中加速联邦学习：一种动态分层方法

    动态分层联邦学习系统可以通过利用分层学习的概念，将全局模型的不同部分分配给不同层次的客户端，并通过基于本地损失的训练使每个客户端可以并行更新模型，从而减少资源受限设备上计算和通信的需求，缓解迟到问题，从而显著减少训练时间并保持模型准确性。

    Dec, 2023