ICMLMay, 2024

通过合成锚点克服分散式联合学习中的数据和模型异质性

PDF
TL;DR我们提出了一种名为 DeSA 的新型分散式联邦学习（FL）技术，通过引入合成锚点来解决分散式 FL 中的数据和模型异质性管理问题，并在领域自适应和知识蒸馏理论基础上从理论和实证上展示了其有效性。
conventional federated learning (fl)decentralized flsynthetic anchorsdomain adaptationknowledge distillation
发现论文，激发创造
  • FedAnchor: 为未标记的客户端增强联邦半监督学习的标签对比损失

    本文提出了 FedAnchor 方法，它是一种创新的半监督学习方法，引入了独特的双头结构（称为锚头），与仅在服务器上进行训练的分类头配对，锚头使用基于余弦相似度度量的新设计标签对比损失，通过减轻伪标签技术中的确认偏见和过拟合问题，显著提高了模型的收敛速度和准确性。

    Feb, 2024

  • 关于分散式联邦学习的调查

    去中心化联邦学习解决方案的综述，包括现有的方法和未来的研究方向。

    Aug, 2023

  • 使用知识蒸馏在无服务器联邦学习中训练异构客户端模型

    利用优化的无服务器工作流程，在 FaaS 环境下实现基于知识蒸馏的异构客户端模型的联邦学习（FL）系统，实验证明无服务器 FedDF 比无服务器 FedMD 更快、成本更低且对极端非独立同分布数据分布更加鲁棒。

    Feb, 2024

  • 面向快速稳定的联邦学习：通过知识锚实现异构性对抗

    在本文中我们通过系统分析每个类别在不同通信轮次中的本地训练中的遗忘程度，填补了对易受损类别及其影响因素的全面认识的空白。我们的观察是：(1) 不见类别和非主导类别在本地训练中都遭受到了相似的严重遗忘，而主导类别的性能有所改善。(2) 当动态减少一个主导类别的样本数量时，当其样本比例低于一定阈值时会突然发生灾难性遗忘，这表明本地模型在有效利用特定类别的少量样本以防止遗忘方面存在困难。受到这些发现的启发，我们提出了一种新颖且直接的算法称为 Federated Knowledge Anchor (FedKA)。在每个本地训练阶段之前，我们通过提取缺失类别的共享样本和随机选择每个非主导类别的一个样本构建知识锚。然后利用知识锚来校正每个小批量的梯度，以保留缺失和非主导类别的知识。大量的实验结果表明，我们提出的 FedKA 算法实现了快速稳定的收敛，在流行的基准测试中显著提高了准确性。

    Dec, 2023

  • 个性化生成网络的异构联邦学习

    通过减少客户端之间的异质性，本研究提出了一种传递知识的方法，利用客户端专用生成器为每个客户端生成样本，以减少与其他客户端模型的冲突，从而构建出具有良好泛化能力的全局模型。

    Aug, 2023

  • 基于 GAN 数据合成的联合学习用于非独立同分布客户端

    该研究提出了一种名为 Synthetic Data Aided Federated Learning (SDA-FL) 的新框架，通过共享人工合成数据来解决客户端数据的不独立和同分布性问题，从而提高本地模型的一致性并改善全局聚合效果。

    Jun, 2022

  • 本地学习很重要：重新思考联邦学习中的数据异构性

    本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。

    Nov, 2021

  • 全球准确个性化模型的最佳结合：基于数据自由的超知识蒸馏联邦学习

    本文介绍 FedHKD 算法，通过知识蒸馏技术在服务器和客户端之间共享超知识来提高异构数据环境下的个性化联邦学习的表现，该算法不依赖公共数据集或在服务器上部署生成模型。实验证明，FedHKD 算法提高了全局模型和个性化模型表现，超越了现有的一些异构数据联邦学习方法。

    Jan, 2023

  • DYNAFED: 全局动态技术解决客户数据异质性问题

    该论文提出了一种名为 Dynafed 的解决方案，通过收集和利用全局模型轨迹的动态知识来帮助聚合偏斜客户端数据，从而解决了 Federated Learning 在异构数据上局部最优的问题，同时不会影响数据隐私。

    Nov, 2022

  • 无协调的复杂网络分散式联邦学习：克服异构性

    在高度普及的边缘场景中，缺乏中央控制器和预定的设备连接导致了复杂的网络结构，我们提出了一种通信高效的分散式联邦学习（DFL）算法来解决由数据和不同训练历史引起的异构学习难题，研究结果表明，与竞争方法相比，我们的解决方案能够训练出更好的本地模型并且在通信效率上更为优越。

    Dec, 2023