May, 2024

平衡相似性与互补性：联邦学习

PDF
TL;DR通过平衡相似性和互补性，我们引入了一种名为 FedSaC 的新型框架，在移动设备和物联网系统中实现了最佳合作网络，以优化模型相似性和特征互补性的加权和，进而解决了数据异质性和多模态情况下的合作问题，大大超过了其他最先进的联邦学习方法。
federated learningstatistical heterogeneitycooperationcomplementaritydata heterogeneity
发现论文，激发创造
  • pFedSim: 面向个性化联邦学习的相似性感知模型集成

    提出一种结合局部模型聚合与神经网络解耦技术的个性化联邦学习算法 (pFedSim)，在保护数据隐私的前提下，显著提高模型精度且计算和通信开销低。

    May, 2023

  • 异构和相关客户端的联邦学习

    本文提出了第一个针对不同客户的异构和相关可用性的 FedAvg 类 FL 算法的收敛分析，发现相关性如何不利地影响算法的收敛速率，并且介绍了一种新的算法 CA-Fed，在最大化收敛速度和最小化模型偏差之间寻求平衡，同时忽略了可用性低和相关性大的客户。实验结果表明，CA-Fed 在合成数据集和实际数据集上比 AdaFed 和 F3AST 等现有算法具有更高的时间平均准确性和更低的标准差。

    Jan, 2023

  • 面向医学图像分类的不均衡和聚合数据分布联邦学习

    采用新的真实数据分布，提出一种名为 FedIIC 的隐私保护框架，该框架通过类内对比学习和共享全局样本的类间对比学习进行特征提取器的校准来缓解训练造成的偏差，并使用考虑难度的逻辑调整构造 softmax 交叉熵损失以确保所有类别的平衡决策边界。在公共可用数据集上的实验表明，FedIIC 在处理两种耦合问题的同时，具有更优越的性能。

    Jun, 2022

  • FedCos：面向场景的联邦优化增强算法用于性能提升

    通过引入余弦相似性惩罚，FedCos 减少了本地模型的方向不一致性，并且可以自适应于各种非 IID 设置，提高了通信效率，并且在不同的 FL 场景下表现出了优异性能，包括减少通信轮数等。

    Apr, 2022

  • Fed-CO2：联合在线和离线模型处理联邦学习中严重数据异质性

    我们提出了 Fed-CO2，这是一个统一的联邦学习框架，用于处理标签分布倾斜和特征倾斜，通过在线和离线模型之间的合作机制来增强模型合作，同时设计了内部客户知识传递机制和客户间知识传递机制来增强模型之间的领域泛化能力。在处理标签分布倾斜和特征倾斜方面，我们的 Fed-CO2 在个体和整体上均优于现有的个性化联邦学习算法。

    Dec, 2023

  • FedCompetitors：竞争参与者的协调协作联邦学习

    在这篇论文中，我们利用图论和整数线性规划，通过扩展平衡理论中的一个原则来确保在联邦学习生态系统中不存在利益冲突，从而确定每个 FL-PT 的合作者，解决了数据异质性和竞争性之间的冲突，并通过与其他五种方法的比较进行了实证研究来证明其有效性。

    Dec, 2023

  • 异质数据上的一致性机制联邦学习：收敛性的新视角

    在本文中，我们提出了一种名为 FedCOME 的共识机制，通过在服务器端对客户端的梯度进行微调，保证了每轮训练后每个客户端的风险减少；我们还设计了一种新的客户端采样策略，将共识机制推广到部分参与的联邦学习场景，有效地减少了未被选中的客户端的风险。通过在四个基准数据集上进行广泛实验证明了 FedCOME 在效果、效率和公平性方面优于其他最先进的方法。

    Nov, 2023

  • 联邦学习能找到有益的朋友

    该研究提出了一种新的算法，为参与联邦学习训练的客户分配自适应聚合权重，识别出最有利于特定学习目标的数据分布，实验证明通过该算法引导的合作在传统的联邦学习方法上取得了更好的表现，强调了客户选择的重要性。

    Feb, 2024

  • FedSSA: 基于语义相似性的聚合方法用于高效异构模型个性化联邦学习

    提出了一种名为 Federated Semantic Similarity Aggregation (FedSSA) 的方法，利用语义相似性来实现 FL 中的知识传递，同时通过自适应参数稳定策略实现全局到局部的知识传输，从而实现更高的准确性、通信效率和计算效率。

    Dec, 2023

  • 移动联邦学习网络的多层客户端选择

    提出了一种称为 SocFedCS 的新的基于 Lyapunov 优化的优化客户端选择方案，其通过信任网络在移动联邦学习网络中最小化成本并训练高质量的联邦学习模型，在四个真实世界的多媒体数据集上的实验表明，它的平均测试准确率比最佳基线高 2.06％，成本低 12.24％。

    May, 2023