Fed-ensemble：在联邦学习中通过模型集成来提高泛化能力

Jul, 2021

Fed-ensemble：在联邦学习中通过模型集成来提高泛化能力

Fed-ensemble: Improving Generalization through Model Ensembling in Federated Learning

Naichen Shi, Fan Lai, Raed Al Kontar, Mosharaf Chowdhury

TL;DR本文提出 Fed-ensemble: 一种将模型集成应用于联邦学习的简单方法，其通过随机排列更新一组 K 个模型，然后通过模型平均获得预测结果，证明了在神经切线核环境下新数据的预测来自所有 K 个模型的相同预测后验分布，并通过实验证明其在联邦学习算法中具有出色的性能，特别是在常见的异构设置中表现突出。

Abstract

In this paper we propose fed-ensemble: a simple approach that bringsmodel ensembling to federated learning (FL). Instead of aggregating localmodels to update a single global model, →

fed-ensemble federated learning model ensembling neural tangent kernel regime fl algorithms

发现论文，激发创造

联邦学习中强化模型合并的集合蒸馏

本篇论文研究了 FL 领域中不同于普通平均策略的模型聚合方法 ——ensemble distillation，证明其能够在保证数据隐私性和节约算力的同时，更灵活地聚合异构模型，并在各种 CV/NLP 数据集和场景下优于现有的 FL 算法。

Jun, 2020

异构集成知识迁移用于联邦学习中的大模型训练

本研究提出了一种新的合奏知识转移方法 Fed-ET，采用了加权一致性蒸馏方案，通过利用各服务器的高度异构数据来提取可靠的共识，同时通过利用合奏中的多样性来改善泛化能力，并在图像和语言任务中显示出在通信参数较少的情况下，Fed-ET 明显优于其他最先进的 FL 算法，并且对于高数据异构性也是强健的。

Apr, 2022

FedBE：将贝叶斯模型集成应用于联合学习

本文提出一种名为 FedBE 的基于贝叶斯推理的聚合算法，将局部模型聚合成全局模型，使得在非独立同分布数据和深度神经网络方面具有更强的表现，而该方法与最近关于正则化用户模型训练的研究兼容，可以轻松应用于联邦学习算法的 Aggregation 模块。

Sep, 2020

联邦集合 YOLOv5 - 更好的通用物体检测算法

本文探讨了联邦学习算法在物体检测中的应用及其性能表现，研究表明它不仅是一种增强隐私的算法，同时也能够增强模型性能。

Jun, 2023

联邦学习聚合：具有保证的新的鲁棒算法

该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

May, 2022

FedMR: 基於模型重組的聯邦學習

本文提出一种名为 FedMR 的新颖、高效的联邦学习模式，通过重新组合每个客户端的收集本地模型的每一层来获得新的模型进行本地训练，从而实现更好的推理性能和客户端隐私保护。实验结果表明，与现有的联邦平均（FedAvg）方法相比，FedMR 在更快的时间内显著提高了推理准确性。

May, 2023

本地更新促进表示学习的 FedAvg 与微调

通过对 FedAvg 在多任务线性表示设置下的形式化研究，我们发现 FedAvg 之所以能够产生良好的泛化效果，是因为能够通过本地更新利用客户数据分布之间的差异性来学习客户任务的公共数据表示，我们还提供了实证证据，证明了 FedAvg 在具有异构数据的联合图像分类中的表示学习能力。

May, 2022

联邦贝叶斯网络集成

我们探讨了联邦集成贝叶斯网络在一系列实验中的应用，与本地训练模型和使用 VertiBayes 进行训练的模型进行了性能比较，结果表明 FBNE 在绝大多数情况下优于本地模型，在保持类似性能的同时显著提高了训练速度，是联邦学习工具箱中潜在有用的工具，特别适用于局部人口偏见严重或各方人口规模不平衡的情况。我们还讨论了该方法在时间复杂度、模型准确性、隐私保护和模型可解释性方面的优缺点。

Feb, 2024

联邦贝叶斯深度学习：统计聚合方法在贝叶斯模型中的应用

通过分析六种不同的聚合策略，我们使用独立同分布（IID）和非独立同分布（non-IID）的 CIFAR-10 数据集以及完全变种 ResNet-20 结构来构建贝叶斯深度学习（DL）模型的联邦学习（FL）系统的关键超参数，从而影响准确性、校准性、不确定性量化、训练稳定性和客户端计算要求。

Mar, 2024

基于梯度蒙版的联邦学习平均化

本文提出了一种基于梯度遮蔽平均的联邦学习方法，该方法通过学习恒定的不变机制来忽略异构性数据中不同的机制，避免因为主导客户端的偏见导致的信息损失和泛化性能不佳，实验证明该方法在非独立同分布数据集上提供了一致的改进。

Jan, 2022