Sep, 2023

通过异质性引导的客户抽样加速非独立同分布联合学习

PDF
TL;DR提出了 HiCS-FL（通过层次聚类抽样的联邦学习）作为一种新的客户端选择方法，其通过客户端的网络输出层更新来估计客户端数据的统计异质性，并依赖这些信息对客户端进行聚类和抽样，从而在非独立同分布的环境中实现更快的收敛和较低的训练方差。
federated learningstatistical heterogeneityclient selectionhics-flnon-iid settings
发现论文，激发创造
  • 自适应异构无线网络中的联邦学习与独立抽样

    提出了一种新的独立客户抽样策略，旨在最小化联合系统和数据异构设计中的 FL 的墙钟训练时间，同时考虑通信和计算中的数据和系统异构。通过实验结果表明，在实际无线网络环境下，所提出的独立抽样方案在各种训练模型和数据集下显著优于当前最佳的抽样方案。

    Feb, 2024

  • 利用本地更新的分层聚类来提高非独立同分布数据的联邦学习

    本文提出了一种修改的联邦学习 (FL+HC) 方法，通过引入分层聚类步骤将客户端分为相似的集群，然后对这些集群进行独立并行的训练，实现在非独立同分布的数据环境下的模型训练，通过该方法可以使模型的性能、收敛速度、精度都有所提升。

    Apr, 2020

  • 快速异构联邦学习与混合客户端选择

    本研究旨在解决联邦学习中由于客户端选择方案带来的模型更新差异性过大所导致的收敛速度慢的问题，并提出了一种基于聚类的客户端选择方案，通过方差约减来加速参与方的收敛速度。实验结果表明，该方案的效率超过了其他替代方案。

    Aug, 2022

  • 聚类抽样：联邦学习中客户选择的低方差和改进的代表性

    本研究提出基于聚类抽样的客户端选择方法，解决联邦学习中存在的采样偏差、通信效率和稳定性问题，并通过一系列实验表明，该方法在非独立同分布和不平衡的数据集中具有更好的训练收敛性和可变性。

    May, 2021

  • 应对 HAPS-enabled FL 网络中的 Non-IID 问题的战略客户选择

    通过网络数据流量行为的预测和分类，在高空平台站（HAPS）网络中引入针对性的客户选择策略，以解决数据异质性带来的挑战，以及实施大规模联邦学习系统中的数据分布不均的困难。

    Jan, 2024

  • 个性化生成网络的异构联邦学习

    通过减少客户端之间的异质性，本研究提出了一种传递知识的方法，利用客户端专用生成器为每个客户端生成样本，以减少与其他客户端模型的冲突，从而构建出具有良好泛化能力的全局模型。

    Aug, 2023

  • 自适应异构客户端采样用于无线网络上的联邦学习

    设计适应性客户采样算法以最小化墙钟收敛时间，从而解决系统和统计异质性对联合学习过程的影响。

    Apr, 2024

  • 无线网络的混合联邦学习：使用非独立同分布数据的合作学习机制

    提出了一种名为 Hybrid-FL 的协作机制，通过启发式算法解决数据和客户端选择问题，从而缓解非独立同分布数据带来的弊端，在网络模拟和机器学习实验中证明了该方案比之前提出的方案在非 IID 情况下具有更高的分类准确率。

    May, 2019

  • 对应用于解决联邦学习中非独立同分布和异质数据特性的不同技术的综述

    联邦学习是一种机器学习方法，可以在持有本地数据样本的多个分散边缘设备之间进行协作模型训练，而无需交换这些样本。本报告探讨了非独立非同分布的数据与异构数据带来的问题，并探索了目前设计用于解决这些挑战的算法。

    Jan, 2024

  • LEFL：联邦学习中的低熵客户样本选择

    联邦学习是一种机器学习范式，其中多个客户端通过利用私有数据来优化单一全局模型。本研究提出了一种基于高级特征进行一次聚类的客户端抽样策略，以在每一轮中实现分层的客户端抽样，以减少噪音并显著提高全局模型的收敛率，并显著减少了达到目标准确性所需的通信轮次。

    Dec, 2023