IJCAIJul, 2023

超级联邦学习中非独立同分布数据的超螺旋原型探索与一致聚合

PDF
TL;DRHyperFed 提出了三个主要模块：超曲面原型 Tammes 初始化（HPTI）、超曲面原型学习（HPL）和一致聚合（CA），通过统一类原型和一致特征表示，以及减少不一致性对服务器的影响，有效提升非独立同分布数据下联邦学习性能。
federated learningnon-iid datahyperbolic prototypeconsistent aggregationperformance enhancement
发现论文，激发创造
  • 利用本地更新的分层聚类来提高非独立同分布数据的联邦学习

    本文提出了一种修改的联邦学习 (FL+HC) 方法，通过引入分层聚类步骤将客户端分为相似的集群，然后对这些集群进行独立并行的训练，实现在非独立同分布的数据环境下的模型训练，通过该方法可以使模型的性能、收敛速度、精度都有所提升。

    Apr, 2020

  • FedProto: 跨异构客户端的联邦原型学习

    该论文提出了一种新的联邦原型学习 (FedProto) 框架，借助全局原型而不是梯度来弥补跨客户端的异质性，从而提高局部模型的性能。

    May, 2021

  • 異構聯邦學習中以歷史為鑑

    该论文提出了一种名为 Federated Historical Learning (FedHist) 的新型异步联邦学习框架，通过对服务器上缓存的历史全局梯度进行加权融合来解决了非 IID 数据和梯度滞后所带来的挑战，同时引入了一种智能的 l2 范数放大方案来进一步提高训练过程的效率和稳定性，实验证明 FedHist 在收敛性能和测试准确率方面优于现有方法。

    Dec, 2023

  • 使用类原型在联邦学习中解决数据异构性

    本文提出了一种名为 FedNH 的新方法，通过组合类原型的均匀性和语义来改善在分类设置中的数据不均衡问题。实验证明了该方法对于局部模型的个性化和概括性都有显著的提高。

    Dec, 2022

  • 原型有助于联邦学习：朝着更快的收敛方向

    该论文提出了一种基于原型的联邦学习框架，通过在典型的联邦学习进程的最后全局迭代中进行少量更改就能够实现更好的推理性能，从而在两个基准数据集上实现了更高的准确性和相对高效的通信。

    Mar, 2023

  • 通过异质性引导的客户抽样加速非独立同分布联合学习

    提出了 HiCS-FL（通过层次聚类抽样的联邦学习）作为一种新的客户端选择方法，其通过客户端的网络输出层更新来估计客户端数据的统计异质性，并依赖这些信息对客户端进行聚类和抽样，从而在非独立同分布的环境中实现更快的收敛和较低的训练方差。

    Sep, 2023

  • FedProc：基于原型构造对比的非独立同分布联邦学习

    该研究提出了 FedProc，即原型对比联邦学习，一种简单有效的联邦学习框架，通过利用原型作为全局知识来纠正每个客户的本地训练，使用本地网络架构和全局对比损失来规范本地模型的训练，从而最终获得在非 I.I.D 数据上良好的性能。

    Sep, 2021

  • 面向医学图像分类的不均衡和聚合数据分布联邦学习

    采用新的真实数据分布，提出一种名为 FedIIC 的隐私保护框架，该框架通过类内对比学习和共享全局样本的类间对比学习进行特征提取器的校准来缓解训练造成的偏差，并使用考虑难度的逻辑调整构造 softmax 交叉熵损失以确保所有类别的平衡决策边界。在公共可用数据集上的实验表明，FedIIC 在处理两种耦合问题的同时，具有更优越的性能。

    Jun, 2022

  • 异质数据上的一致性机制联邦学习：收敛性的新视角

    在本文中，我们提出了一种名为 FedCOME 的共识机制，通过在服务器端对客户端的梯度进行微调，保证了每轮训练后每个客户端的风险减少；我们还设计了一种新的客户端采样策略，将共识机制推广到部分参与的联邦学习场景，有效地减少了未被选中的客户端的风险。通过在四个基准数据集上进行广泛实验证明了 FedCOME 在效果、效率和公平性方面优于其他最先进的方法。

    Nov, 2023

  • pFedSim: 面向个性化联邦学习的相似性感知模型集成

    提出一种结合局部模型聚合与神经网络解耦技术的个性化联邦学习算法 (pFedSim)，在保护数据隐私的前提下，显著提高模型精度且计算和通信开销低。

    May, 2023