MMAug, 2023

联合局部关系增强和全局纳什均衡的非独立同分布数据联邦学习

PDF
TL;DR在非独立同分布（non-IID）数据设置中，通过局部关系增强和全局纳什均衡两个主要模块，本论文提出了 FedRANE 模型，以同时解决客户端内和客户端间的不一致性问题，进而提升非独立同分布数据下联邦学习性能。
federated learningdecentralized datanon-iid settingsintra-client inconsistencyinter-client inconsistency
发现论文，激发创造
  • 利用本地更新的分层聚类来提高非独立同分布数据的联邦学习

    本文提出了一种修改的联邦学习 (FL+HC) 方法，通过引入分层聚类步骤将客户端分为相似的集群，然后对这些集群进行独立并行的训练，实现在非独立同分布的数据环境下的模型训练，通过该方法可以使模型的性能、收敛速度、精度都有所提升。

    Apr, 2020

  • 基于 GAN 数据合成的联合学习用于非独立同分布客户端

    该研究提出了一种名为 Synthetic Data Aided Federated Learning (SDA-FL) 的新框架，通过共享人工合成数据来解决客户端数据的不独立和同分布性问题，从而提高本地模型的一致性并改善全局聚合效果。

    Jun, 2022

  • 无线网络的混合联邦学习：使用非独立同分布数据的合作学习机制

    提出了一种名为 Hybrid-FL 的协作机制，通过启发式算法解决数据和客户端选择问题，从而缓解非独立同分布数据带来的弊端，在网络模拟和机器学习实验中证明了该方案比之前提出的方案在非 IID 情况下具有更高的分类准确率。

    May, 2019

  • FRAug: 通过表示增强解决非独立同分布特征的联邦学习

    本文针对特征分布不同的联邦学习中的特征偏移问题，提出了一种名为 FRAug（联邦表示增强）的方法，利用共享的生成模型在嵌入空间生成客户特定的样本，并通过表示转换网络将嵌入转换为客户特定嵌入，使得生成的嵌入作为正则化器改善了客户的泛化性能，该方法取得了比当前非 IID 特征情况下的各种现有最先进方法更好的效果。

    May, 2022

  • 本地学习很重要：重新思考联邦学习中的数据异构性

    本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。

    Nov, 2021

  • 对应用于解决联邦学习中非独立同分布和异质数据特性的不同技术的综述

    联邦学习是一种机器学习方法，可以在持有本地数据样本的多个分散边缘设备之间进行协作模型训练，而无需交换这些样本。本报告探讨了非独立非同分布的数据与异构数据带来的问题，并探索了目前设计用于解决这些挑战的算法。

    Jan, 2024

  • 无噪音异构客户端的联邦学习谨慎学习

    本篇论文提出了一种名为 FedCNI 的方法，通过使用噪声鲁棒局部求解器和强健的全局聚合器，在 Federated learning 的小规模本地数据集中解决标签噪声和类别不平衡带来的挑战，并在混合异构 FL 场景中实现了比现有技术更好的性能。

    Apr, 2023

  • 利用自由客户在联邦学习中进行模型增强

    FedALIGN 是一种选择参与联邦学习的非优先客户的匹配策略，基于他们的模型损失与全局数据的相似程度，以确保只有在对优先客户有益时才使用非优先客户的梯度，从而实现非优先客户的加入动机和优先客户的资源利用，且在各种合成和基准数据集上展示出更快的收敛速度和更高的测试准确性。

    Oct, 2023

  • 多联邦学习：使用分散的联邦学习处理包容性非独立同分布数据

    多联邦学习是一个去中心化的联邦学习框架，旨在解决非独立同分布数据的问题，并通过维护多个模型并行进行收敛，以增强适应性。

    Apr, 2024

  • 具有流形正则化和归一化更新聚合的联邦学习

    我们提出了 FedMRUR 方法，采用流形模型融合方案和一种新的全局优化器来减轻模型不一致性的负面影响，并通过在低维子空间中使本地和全局模型的数据表示相互接近的双曲图流形正则化器，从而显著减少模型不一致性，实现了局部客户更新的正交性引入的规范缩减。我们还证明了该算法在非凸设置下可以实现线性加速性能，并通过实验证明 FedMRUR 在通信量较少的情况下可以实现新的最先进准确性。

    Nov, 2023