跨组织边缘学习中协作结构优化

ICMLJun, 2023

Optimizing the Collaboration Structure in Cross-Silo Federated Learning

Wenxuan Bao, Haohan Wang, Jun Wu, Jingrui He

TL;DR本文提出了 FedCollab，一种基于数据分布距离和数据数量对客户端进行聚类的新型联邦学习框架，可以有效地减轻负面转移问题，并在各种 FL 算法中始终优于其他聚类 FL 算法。

Abstract

In federated learning (FL), multiple clients collaborate to train machine learning models together while keeping their data decentralized. Through utilizing more training data, FL suffers from the potential negative transfer problem: the global FL model may even perform worse than the

federated learning negative transfer problem fedcollab clustering clients data distribution

发现论文，激发创造

协作方法：为了最大化跨边界联邦学习的泛化性能

分布式联邦学习中，研究探讨了通过分组合作来提高模型的泛化性能，解决了数据异构性问题。

Jan, 2024

联邦学习能找到有益的朋友

该研究提出了一种新的算法，为参与联邦学习训练的客户分配自适应聚合权重，识别出最有利于特定学习目标的数据分布，实验证明通过该算法引导的合作在传统的联邦学习方法上取得了更好的表现，强调了客户选择的重要性。

Feb, 2024

联邦学习中的协作均衡

本文研究一种理性协作称作‘协作均衡’的范式，使用‘利益图’描述每个客户端与其他客户端合作的益处，并提出 Pareto 优化方法来识别最佳合作者，通过迭代图操作从利益图中达成协作均衡。在合成和真实数据集上进行的实验表明了我们的方法的有效性。

Aug, 2021

通过输入输出协作蒸馏的联邦学习

基于本地到中心的协作蒸馏的无数据联邦学习框架，通过学习对每个本地模型产生一致但独特结果的输入，实现对各种实际世界异构联邦学习场景中的图像分类和分割任务的显著隐私 - 效用权衡。

Dec, 2023

联邦互助学习

本文提出了一种新的联邦学习范例，名为联邦互助学习（FML），以处理三种不同类型的异质性，允许客户在共同设计通用模型的同时独立设计个性化并为不同场景和任务的个性化定制模型。

Jun, 2020

去中心化个性化联邦学习

通过在分散式联邦学习中创建协作图，选择适合的合作方，从而解决数据异构性和通信限制带来的挑战。我们的方法通过一种新颖的、通信高效的策略来解决这些问题，提高资源效率。与传统方法不同，我们的方法通过考虑客户的组合关系在粒度级别上识别合作伙伴，增强个性化同时最小化通信开销。我们通过使用约束贪婪算法的双层优化框架实现这一目标，从而为个性化学习提供资源高效的协作图。通过在各种基准数据集上进行大规模评估，我们证明了我们的方法 DPFL 在处理实际数据异构性、最小化通信开销、提高资源效率以及在分散式联邦学习场景中构建个性化模型方面的优越性。

Jun, 2024

面向医学图像分类的不均衡和聚合数据分布联邦学习

采用新的真实数据分布，提出一种名为 FedIIC 的隐私保护框架，该框架通过类内对比学习和共享全局样本的类间对比学习进行特征提取器的校准来缓解训练造成的偏差，并使用考虑难度的逻辑调整构造 softmax 交叉熵损失以确保所有类别的平衡决策边界。在公共可用数据集上的实验表明，FedIIC 在处理两种耦合问题的同时，具有更优越的性能。

Jun, 2022

跨领域联合学习：挑战与机遇

本文概述了联邦学习领域中的一个新兴分支 “cross-silo FL”，分析了其应用和所面临的主要挑战，并对现有方法进行了系统总结，同时指出了未来需要重点研究的方向和问题。

Jun, 2022

使用对比学习方法的预训练模型联邦学习

本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

Sep, 2022

通过分布变换解决联邦学习中的异质性

本文提出了一种新的框架 DisTrans，通过训练和测试时间的分布变换以及双输入通道模型结构来优化每个客户端的分布式偏移和模型，从而在面对不同程度的数据异质性时，提高联邦学习（FL）性能，评估结果表明，DisTrans 在多个基准数据集上的表现超越了其他现有方法。

Oct, 2022