FLIPS：使用智能参与者选择的联邦学习

Aug, 2023

FLIPS：使用智能参与者选择的联邦学习

FLIPS: Federated Learning using Intelligent Participant Selection

Rahul Atul Bhope, K. R. Jayaram, Nalini Venkatasubramanian, Ashish Verma, Gegi Thomas

TL;DR本文介绍了一种用于管理联邦学习中数据和参与者异构性的中间件系统 FLIPS。通过标签分布聚类，FLIPS 将参与 FL 训练的各方进行聚类，并确保每个聚类在选定的参与者中得到公平代表。FLIPS 支持常见的 FL 算法，包括 FedAvg、FedProx、FedDyn、FedOpt 和 FedYogi。为了管理平台异构性和资源可用性动态变化，FLIPS 引入了一个处理分布式智能社区应用中资源变化的边缘任务管理机制。通过可信执行环境 (TEE)，确保标签分布、聚类和参与者选择的隐私。我们通过对两个真实世界数据集、两种不同的非 IID 分布和三种常见的 FL 算法 (FedYogi、FedProx 和 FedAvg) 使用 FLIPS 与随机参与者选择以及其他两种 “智能” 选择机制（Oort 和梯度聚类）进行全面实证评估。结果表明，FLIPS 显著提高了收敛性，实现了高精度，其准确度比传统方法提高了 17-20％，通信成本降低了 20-60％，并且在出现资源滞后参与者的情况下仍然具有这些优势。

Abstract

This paper presents the design and implementation of flips, a middleware system to manage data and participant heterogeneity in federated learning (FL) training workloads. In particular, we examine the benefits o

flips federated learning label distribution clustering participant selection straggler management

发现论文，激发创造

FedCliP: 客户端修剪的联邦学习

本研究提出了一种新的通信高效的联邦学习（FL）框架 FedCliP，采用自适应学习算法确定参与模型训练的客户端，通过优化算法减少不必要的通信开销。实验结果显示该框架在 MNIST、FMNIST 和 CIFAR-10 等数据集上优于目前的 FL 框架。

Jan, 2023

FLIP：联邦学习中后门缓解的可证明防御框架

本文介绍了一个理论分析及实验研究结果，关于联邦学习在提高隐私保护的同时，如何防止数据或梯度被恶意污染，通过提出反向工程防御方法，可以保证攻击成功率的减少，并提高对抗性的鲁棒性。

Oct, 2022

利用群组并行联邦学习提升客户参与度

通过将网络划分为较小的分区或队列，CPFL 提出了一种新的学习方法，其中每个队列独立地使用 FL 来培训全局模型，直到收敛，然后使用一次性的知识蒸馏和跨领域、无标签的数据集将各队列生成的模型统一起来。它通过在 CIFAR-10 数据集上进行实际追踪和非 IID 数据分布的详细实验，研究了队列数量、模型准确性、训练时间、计算和通信资源之间的平衡。与传统 FL 相比，CPFL 在拥有四个队列、非 IID 数据分布和 CIFAR-10 的情况下，减少了约 1.9 倍的训练时间和约 1.3 倍的资源使用，只有微小的测试准确率下降。

May, 2024

基於信息修剪的自動聯邦學習

这项研究介绍了一种利用知情剪枝的自动联邦学习方法，名为 AutoFLIP，在本地客户端和全局服务器中动态剪枝和压缩深度学习模型。它利用联邦丧失探索阶段研究来自不同数据集和丧失的模型梯度行为，提供参数重要性的见解。我们的实验证明 AutoFLIP 在具有强非独立同分布数据的场景中有显著的改进，突出了它处理计算约束并实现更好的全局收敛能力。

May, 2024

有效的半监督异构参与者联邦学习

在资源受限环境中，通过介绍聚类正则化和全局更新频率适应的控制算法，我们提出了一种新的训练模型系统，用于解决联合学习中的数据非独立同分布和模型收敛性问题，该系统在减少训练时间和通信成本的同时提高了准确性。

Jul, 2023

基于分组串并训练的异构联邦学习

本论文提出了一个数据异构鲁棒的联邦学习方法 ——FedGSP，该方法使用动态序列 - 并行协作训练的新概念，通过将 FL 客户端分配到同质组中最小化组与组之间的整体分布差异，增加并行度并通过一种新颖的 Inter-Cluster Grouping (ICG) 算法来辅助分配，该算法利用重心等价定理简化 NP 难问题，实验结果表明 FedGSP 相比七种现有方法平均提高了 3.7％的准确率，并将训练时间和通信成本降低了 90％以上。

Jan, 2022

FedCLIP: 基于联邦学习的 CLIP 模型快速泛化和个性化

本文提出了一种名为 FedCLIP 的有效且简单的方法，通过为大型模型 CLIP 设计一个基于注意力的适配器，其余操作仅依赖于适配器，从而实现了联邦学习中 CLIP 的快速归纳和个性化。实验表明，FedCLIP 在计算和通信成本方面显着优于其他基线。

Feb, 2023

基于 CLIP 引导的异构和长尾数据联邦学习

采用 CLIP 指导的联合学习（CLIP2FL）方法在异构和长尾数据上进行了研究，通过使用 CLIP 模型的知识转移，构建客户端和服务器之间的桥梁，改善了客户端特征表示能力，生成联合特征以重新训练服务器模型，以减轻用户异构性和类分布不平衡问题。

Dec, 2023

Oort：通过指导参与者选择实现高效联邦学习

本研究提出了基于指导性参与者选择的 Oort 方法，以改善联邦学习的性能，并显示出比现有参与者选择机制更好的 time-to-accuracy 性能和最终模型精度。

Oct, 2020

需要时雇佣：基于竞拍的渐进参与者招募的联合学习

我们提出了基于拍卖的渐进参与者选择方案来解决联邦学习中遇到的评价偏见和冷启动问题，并通过实验表明，与现有方法相比，GPS-AFL 可以降低成本约 33.65%，平均提高总效用 2.91%。

Oct, 2023