自适应专家模型用于联邦学习中的个性化

IJCAIJun, 2022

自适应专家模型用于联邦学习中的个性化

Adaptive Expert Models for Personalization in Federated Learning

Martin Isaksson, Edvin Listo Zec, Rickard Cöster, Daniel Gillblad, Šarūnas Girdzijauskas

TL;DR该研究提出了一种针对非 IID 数据的个性化联邦学习方法，使用专家混合模型来学习相似的客户，即使在病理性非 IID 环境中，我们的方法仍然能够比本地模型获得高达 4.38％的精度优势。

Abstract

federated learning (FL) is a promising framework for distributed learning when data is private and sensitive. However, the state-of-the-art solutions in this framework are not optimal when data is heterogeneous a

federated learning distributed learning personalization approach mixture of experts non-iid data

发现论文，激发创造

Fed-ZERO: 基于联邦专家混合的零样学习个性化方案

本文提出了一种在 Federated Learning 框架下使用混合专家（Mixture-of-Experts）框架来实现零 - shot 个性化的方法。使用此方法时，我们的模型在保持零 - shot 表现的同时，可以在端到端过程中加入预训练模型的知识以增强其路由决策，并在常见的 FL 基准测试中使性能提高 18%。

Jun, 2023

FedMoE：模型异构个性化联邦学习中基于数据的个性化

通过引入混合专家方法，我们提出了一种新颖的模型异构个性化联邦学习算法（FedMoE），用于解决当前模型异构个性化联邦学习方法中的数据和模型隐私、模型性能、通信和计算成本等问题。该算法通过在本地训练过程中结合全局和本地特征来提高模型的个性化能力，并通过信息聚合实现跨客户端的模型参数融合。

Feb, 2024

对应用于解决联邦学习中非独立同分布和异质数据特性的不同技术的综述

联邦学习是一种机器学习方法，可以在持有本地数据样本的多个分散边缘设备之间进行协作模型训练，而无需交换这些样本。本报告探讨了非独立非同分布的数据与异构数据带来的问题，并探索了目前设计用于解决这些挑战的算法。

Jan, 2024

适应适应性：跨数据源联邦学习个性化学习

本文提出了 APPLE，这是一个个性化的跨平台联邦学习框架，在不均匀的数据集上实现了最先进的性能表现，并灵活控制了全局和本地目标的焦点。

Oct, 2021

自我感知个性化联邦学习

本论文提出了一种自我感知的个性化联邦学习方法，通过采用贝叶斯分层模型，利用不确定性量化来平衡本地模型改进和全局模型调整，使用不确定性驱动的本地训练步骤和聚合规则来实现。通过实验研究，该方法显著提高了个性化性能。

Apr, 2022

联邦互助学习

本文提出了一种新的联邦学习范例，名为联邦互助学习（FML），以处理三种不同类型的异质性，允许客户在共同设计通用模型的同时独立设计个性化并为不同场景和任务的个性化定制模型。

Jun, 2020

个性化解读联邦学习：一种虚拟概念方法

设计了一种新颖的联邦学习方法，用于解决跨客户的非独立同分布数据解释性问题，同时提高模型性能和训练过程的鲁棒性，并实验证明了该方法的有效性。

Jun, 2024

多联邦学习：使用分散的联邦学习处理包容性非独立同分布数据

多联邦学习是一个去中心化的联邦学习框架，旨在解决非独立同分布数据的问题，并通过维护多个模型并行进行收敛，以增强适应性。

Apr, 2024

通过多维个性化边缘模型实现更公平和有效的联邦学习

本文提出了一种个性化的联邦学习（CFL）系统，通过特殊设计的全局模型为每个客户定制个性化模型，采用在线训练的模型搜索辅助器和新型聚合算法，解决 FL 在多个维度上的异质性问题。实验证明，CFL 在 FL 训练和边缘推断方面具有全栈优势，并显著改进了模型准确性（在非异构环境中高达 7.2％，在异构环境中高达 21.8％）、效率和公平性。

Feb, 2023

自适应个性化联邦学习

本文提出了一种自适应个性化联邦学习算法，采用局部和整体模型混合的方法来提高模型的个性化能力，并使用通信高效的最优化方法来协同学习个性化模型，实验证明了该算法的有效性与泛化理论的正确性。

Mar, 2020