May, 2023

MrTF：用于转导联邦学习的模型优化器

PDF
TL;DR我们提出了一种称为 transductive federated learning (TFL) 的新型学习范式，通过模型炼金术的流程，同时考虑待推断数据的结构信息和数据异构性问题，在满足隐私保护政策的前提下，对新收集的数据进行推断，并且通过实验验证了 model refinery framework for Transductive Federated Learning (MrTF) 的超越性。
federated learningtransductive learningmodel refinerydata heterogeneityprivacy protection
发现论文，激发创造
  • 面向医学转录分析的联合多语言模型

    该论文介绍了一个针对医学实体标注等下游任务的大规模多语言模型的联邦学习系统，它能够跨越高度异质化的数据提供者进行训练，并通过本地训练步骤进一步提高全局模型的性能。

    Nov, 2022

  • FedTrans: 异质客户端之间的高效联合学习通过模型转换

    FedTrans 是一个多模型联邦学习训练框架，可以自动为大规模异构客户端生成和训练高准确性、硬件兼容的模型，显著提高了个体客户端模型的准确性并降低了训练成本。

    Apr, 2024

  • DFML：分散式联邦互联学习

    我们提出了一种无服务器的去中心化联邦互联模型学习（DFML）框架，通过相互学习和循环改变监督和蒸馏信号的量，有效处理模型和数据异构性，并在各种条件下，在收敛速度和全局准确性上优于流行基准。

    Feb, 2024

  • 语言引导的联邦多标签分类的 Transformer

    提出了一种用于多标签分类的新型联邦学习框架（FedLGT），旨在解决用户异构性和标签相关性等挑战，通过在不同客户端之间传递知识来学习出稳健的全局模型，实验证明在多标签联邦学习场景下超过了标准联邦学习技术，并获得了令人满意的性能。

    Dec, 2023

  • 联合模型异构母娃表示学习

    Federated model heterogeneous Matryoshka Representation Learning (FedMRL) enables knowledge exchange and improves model learning capability in heterogeneous federated learning through representation fusion.

    Jun, 2024

  • 基于联合元学习的表示编码的少样本故障诊断

    深度学习基于故障诊断的方法在训练数据方面面临困难，但联邦学习 (Federated learning, FL) 允许多个客户端进行隐私保护的共同训练。为了解决领域差异和数据稀缺的问题，提出了一种称为基于表示编码的联邦元学习 (Representation encoding-based federated meta-learning, REFML) 的新框架，并实现了在有限训练数据情况下对未知工况或设备类型的高诊断精度。相比于 FedProx 等最先进的方法，该 REFML 框架在相同设备类型的未知工况测试中的准确性提高了 2.17%-6.50%，在完全未知设备类型的测试中的准确性提高了 13.44%-18.33%。

    Oct, 2023

  • MH-pFLID：医疗数据分析的模型异构个性化联合学习：注入与蒸馏

    通过使用轻量级的消息模型，Model Heterogeneous personalized Federated Learning via Injection and Distillation (MH-pFLID) 是一种新颖的联邦学习范式，用于解决在医疗应用中的系统异构、知识蒸馏和隐私问题。

    May, 2024

  • DFRD：无数据的异构联邦学习鲁棒性蒸馏

    基于数据异构和模型异构的联邦学习场景中，使用无数据的知识蒸馏机制提出了 DFRD 方法，在服务器上通过条件生成器逼近客户端上传的本地模型训练空间，并通过动态加权和标签采样准确提取本地模型的知识，实验证明 DFRD 相较于基准模型取得了显著的性能提升。

    Sep, 2023

  • ProtoFL: 基于原型蒸馏的无监督联合学习

    我们提出了 'ProtoFL'，基于原型表示蒸馏的无监督联邦学习，以增强全局模型的表示能力并降低往返通信成本，同时引入基于归一化流的本地一类分类器以改善有限数据的性能。我们在 MNIST、CIFAR-10、CIFAR-100、ImageNet-30 和 Keystroke-Dynamics 等五个广泛使用的基准测试上进行了大量实验，以展示我们提出的框架在文献中的先前方法上的卓越性能。

    Jul, 2023

  • 联邦学习中强化模型合并的集合蒸馏

    本篇论文研究了 FL 领域中不同于普通平均策略的模型聚合方法 ——ensemble distillation，证明其能够在保证数据隐私性和节约算力的同时，更灵活地聚合异构模型，并在各种 CV/NLP 数据集和场景下优于现有的 FL 算法。

    Jun, 2020