走向联邦基础模型：适用于组结构学习的可扩展数据集管道

Jul, 2023

走向联邦基础模型：适用于组结构学习的可扩展数据集管道

Towards Federated Foundation Models: Scalable Dataset Pipelines for Group-Structured Learning

Zachary Charles, Nicole Mitchell, Krishna Pillutla, Michael Reneer, Zachary Garrett

TL;DR介绍了一个名为 “Dataset Grouper” 的库，用于创建大规模的组织结构化（例如联邦）数据集，使得联邦学习模拟能够达到基于基础模型的规模。该库允许基于用户指定的分区创建现有数据集的组织结构化版本，并直接导致各种有用的异构数据集，可插入现有软件框架。我们在实验中证明了 Dataset Grouper 能够支持比以前的工作大数个数量级的大规模联邦语言建模模拟，表明这类算法在下游个性化和任务特定调整中发挥出元学习方法而不是经验风险最小化方法的效用。

Abstract

We introduce a library, dataset grouper, to create large-scale group-structured (e.g., federated) datasets, enabling federated learning simulation at the scale of foundation models. This library allows the creation of group-structured versions of existing datasets based on user-specifi

dataset grouper federated datasets scaling federated learning simulations heterogeneous datasets large-scale language modeling

发现论文，激发创造

基于基础模型的联合生成学习

本文提出了一种新的联邦生成学习框架，通过在客户端和服务器之间传输与分布式训练数据相关的提示，对信息进行编码和传输，从而综合提高联邦学习的效率和数据隐私性。

Jun, 2023

FedScale：大规模联邦学习模型和系统性能基准测试

介绍了 FedScale，一种联邦学习测试套件，具有现实数据集和可扩展运行时，旨在支持可重复制的联邦学习研究，可以进行系统性测试以提高异构感知的联合优化能力。

May, 2021

利用基础模型改进联邦学习中的轻量级客户端

通过使用基础模型蒸馏进行联邦训练，提高轻量级客户模型在异构数据环境下的性能，并降低推理成本。

Nov, 2023

FairFed: 实现联邦学习中群组公平性

本文提出了 FairFed 算法，该算法针对联邦学习中的群体公平性问题，在保证本地数据隐私的前提下，通过支持灵活的本地去偏差方法，增强了群体公平性，实验结果表明 FairFed 算法比现有的公平 ML 和联邦学习算法更加公平，特别是在数据分布不均的情况下。

Oct, 2021

Fed3DGS：基于联邦学习的可扩展三维高斯投射

Fed3DGS 是一个基于 3D 高斯喷洒（3DGS）与联邦学习的可扩展三维重建框架，其采用分散式架构并利用数以百万计的客户端上的分布式计算资源，通过定制的蒸馏模型更新方案和外观建模技术来处理非独立同分布数据，在大规模基准测试中呈现出与集中式方法相当的图像质量，并能捕捉到由季节变化引起的场景变化。

Mar, 2024

改进的联邦数据集建模：使用狄利克雷 - 多项式混合模型

本文研究如何将中心化数据进行划分以反映真实联邦客户端的统计异质性，并提出了一种完全联邦且有理论依据的算法，通过使用推断的分布从中心化数据创建模拟客户端，实现了改进的服务器端模拟。

Jun, 2024

联邦学习聚合：具有保证的新的鲁棒算法

该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

May, 2022

降低异构设备中联邦学习的群体偏差

我们提出了一个群体公平的联邦学习框架，旨在在保护隐私和没有资源利用开销的情况下，减少群体偏见。我们通过利用平均条件概率来计算由异构训练数据得出的跨领域群体重要性权重，使用修改的乘法权重更新方法来优化表现最差的群体的性能。此外，我们提出了正则化技术来最小化最差和最好表现群体之间的差异，同时通过阈值机制确保在减少偏见和群体表现下降之间取得平衡。我们对人类情绪识别和图像分类基准进行了评估，以评估我们的框架在实际异构环境中的公平决策能力。

Sep, 2023

联邦学习的聚合服务：高效、安全、更具韧性的实现

本文介绍了一个基于轻量级加密和数据混淆的联邦学习系统，结合恰当的带宽效率优化和对云服务器主动攻击的安全保护机制，在保证客户端数据隐私的前提下，整合来自多源的数据进行联合训练，并在多项数据集（MNIST、CIFAR-10、CelebA）上验证该系统的可行性及精度。

Feb, 2022

全局层：非独立同分布表格联邦学习

该研究提出了全局层（GL），一种新颖的部分模型个性化方法，能够在客户端之间出现 G（X，Y）分布变化时保持鲁棒性，并且支持客户端专属的特征和类别。与 Federated Averaging 和本地训练相比，针对表格数据中的联邦学习， GL 在两个新的基准实验中的效果优于它们，并且甚至有些客户端的表现比其集中式基线更好。

May, 2023