FedH2L：具有模型和统计异质性的联邦学习

Jan, 2021

FedH2L：具有模型和统计异质性的联邦学习

FedH2L: Federated Learning with Model and Statistical Heterogeneity

Yiying Li, Wei Zhou, Huaimin Wang, Haibo Mi, Timothy M. Hospedales

TL;DR该论文提出了 FedH2L 方法，通过相互蒸馏和分散学习的方式来实现联邦学习中不同参与者拥有不同网络结构和数据分布的情况下训练一个强而全面的全局模型。

Abstract

federated learning (FL) enables distributed participants to collectively learn a strong global model without sacrificing their individual data privacy. Mainstream FL approaches require each participant to share a common network architecture and further assume that data are are sampled

federated learning fedh2l mutual distillation decentralized learning heterogeneous network architectures

发现论文，激发创造

医学影像中数据和模型异质性的联邦学习

本文提出了一种名为 MDH-FL 的方法，利用数据和模型的异质性，通过知识蒸馏和对称损失来提高联邦学习中全局模型的效率，实验证明该方法在医学数据集上比现有方法表现出更好的优越性。

Jul, 2023

本地学习很重要：重新思考联邦学习中的数据异构性

本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。

Nov, 2021

异构数据感知联邦学习

本研究提出一种新方法来解决联邦学习中的问题，并在本文所述的公开基准数据集（如 Femnist）以及自己收集的数据集（即流量分类）上验证了该方法的有效性，结果表明这种方法在极端情况下具有显著的优势。

Nov, 2020

FedMD: 通过模型蒸馏实现异构联邦学习

本文利用迁移学习和知识蒸馏等方法，提出了一个通用的框架，使得联邦学习在每个参与者拥有自己的数据和独特的模型的情况下也能够实现。在 MNIST/FEMNIST 和 CIFAR10/CIFAR100 数据集上的试验中，与独立建模相比，该框架使得个体模型的测试准确度平均提高了 20％，并且只有少数几个百分点的下降。

Oct, 2019

異構聯邦學習中以歷史為鑑

该论文提出了一种名为 Federated Historical Learning (FedHist) 的新型异步联邦学习框架，通过对服务器上缓存的历史全局梯度进行加权融合来解决了非 IID 数据和梯度滞后所带来的挑战，同时引入了一种智能的 l2 范数放大方案来进一步提高训练过程的效率和稳定性，实验证明 FedHist 在收敛性能和测试准确率方面优于现有方法。

Dec, 2023

MH-pFLID：医疗数据分析的模型异构个性化联合学习：注入与蒸馏

通过使用轻量级的消息模型，Model Heterogeneous personalized Federated Learning via Injection and Distillation (MH-pFLID) 是一种新颖的联邦学习范式，用于解决在医疗应用中的系统异构、知识蒸馏和隐私问题。

May, 2024

个性化生成网络的异构联邦学习

通过减少客户端之间的异质性，本研究提出了一种传递知识的方法，利用客户端专用生成器为每个客户端生成样本，以减少与其他客户端模型的冲突，从而构建出具有良好泛化能力的全局模型。

Aug, 2023

对应用于解决联邦学习中非独立同分布和异质数据特性的不同技术的综述

联邦学习是一种机器学习方法，可以在持有本地数据样本的多个分散边缘设备之间进行协作模型训练，而无需交换这些样本。本报告探讨了非独立非同分布的数据与异构数据带来的问题，并探索了目前设计用于解决这些挑战的算法。

Jan, 2024

针对统计异质性的个性化联邦学习

联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习，同时确保了数据保密性。然而，由于不同客户数据分布导致的统计异质性问题，会带来一些挑战，例如不足的个性化和收敛速度慢。为了解决上述问题，本文简要总结了个性化联邦学习领域的当前研究进展，概述了个性化联邦学习的概念，审视了相关技术，并强调了当前的努力。此外，本文还讨论了个性化联邦学习的潜在进一步研究和障碍。

Feb, 2024

统计异质性变化下联邦学习环境的优化

本文通过对三个数据集上的不同统计异质性水平进行的联邦学习训练参数和聚合器的经验分析，提出了一种系统的数据分区策略来模拟不同统计异质性水平，并引入了一种衡量独立同分布程度的度量标准。此外，还基于不同特征的数据集，实证确定了最佳的联邦学习模型和关键参数。最终，我们针对不同独立同分布程度和数据集提出了优化模型性能的联邦学习参数和聚合器的推荐指南。

Jun, 2024