Jun, 2021

无畏异质性：针对非独立同分布数据的联合学习分类器校准

PDF
TL;DR本文介绍了研究人员如何通过实验分析不同层学习的表示来填补数据异质性影响深度分类模型每一层次的深度理解的空白，并提出了一种称为具有虚拟表示的分类器校准（CCVR）的新方法，该方法通过从近似高斯混合模型中采样虚拟表示来调整分类器。实验结果表明，CCVR 在 CIFAR-10，CIFAR-100 和 CINIC-10 等流行的联邦学习基准测试中实现了最新的性能。
federated systemnon-iid datadeep classification modelclassifier calibrationvirtual sampling
发现论文，激发创造
  • FedUV：面向异构联邦学习的均匀性和方差

    对于分布式数据的异构性，冻结神经网络的最后一层作为正交分类器可以减轻局部偏差，在 IID 和非 IID 设置下，通过应用奇异值分解对权重进行分析，我们引入了两个正则化项，以连续地模拟 IID 设置，并通过广泛的实验验证了我们的方法在非 IID 情况下具有更高的性能。

    Feb, 2024

  • 联邦图像分类中个性化的深入研究

    本文提出了一种名为 RepPer 的独立的两阶段个性化联邦学习框架，其中包括非独立同分布数据（Non-IID data）对全局模型的表示学习的危害，并分离了表示学习和分类器学习，从而实现了个性化，并且在各种数据集和异构数据设置上的实验表明，RepPer 在非独立同分布数据上的灵活性和个性化方面优于其他方法。

    Apr, 2022

  • FedCiR：面向联邦非 IID 特征的客户端不变表示学习

    提出了一种名为 FedCiR 的客户端不变表示学习框架，通过改进表示和标签之间的互信息项，以及减少客户集和表示之间在标签条件下的互信息项，实现提取信息性和客户端不变的特征，通过两个正则化项来限制近似全局表示分布的互信息项以弥补缺失的真实全局表示分布，进而实现了解决数据异质性和实现客户端不变表示学习的目标。

    Aug, 2023

  • 测量非同一数据分布对联邦视觉分类的影响

    本文研究了 Federated Learning 在视觉分类中的作用，提出了通过服务器的惯性防止非同质数据分布对性能的负面影响，并在 CIFAR-10 上进行了实验，结果表明在不同的非同质性数据分布下，这种方案能够显著提高分类准确率。

    Sep, 2019

  • 非独立同分布数据下的联邦学习

    本文着重研究了在本地数据不 IID 的情况下联邦学习面临的统计挑战，提出了一个使用全局数据子集来提高非 IID 数据训练准确性的解决方案，并通过实验表明，使用仅占 5％的全局数据子集就可以将 CIFAR-10 数据集的准确性提高 30％。

    Jun, 2018

  • 重新思考联邦学习中的数据异质性：引入新概念和标准基准

    我们研究了数据异质性对联邦学习的影响，发现许多之前的联邦学习方法并没有深入探讨不同类型的数据异质性以及这些异质性如何影响参与客户端的准确性表现。我们研究发现，当前设置中的数据异质性不一定是问题，事实上，它对 FL 参与者有益。

    Sep, 2022

  • 非独立同分布数据上的联邦学习：调查

    本文讨论了联邦学习的隐私保护机制，分析了非独立同分布数据对水平和垂直联邦学习中参数和非参数机器学习模型的影响，概括了当前解决非独立同分布数据挑战的方法，并讨论了这些方法的优缺点。最后，提出了研究方向。

    Jun, 2021

  • FedClassAvg: 异构神经网络的个性化联邦学习中局部表示学习

    本研究提出一种名为联邦分类器平均（FedClassAvg）的个性化联邦学习方法，通过聚合分类器权重以增强特征空间的决策边界来使得有不同神经网络架构、实现非独立同分布数据（non-iid）学习任务的客户端可以学习稀缺标签，同时应用本地特征表示学习来稳定决策边界并利用局部特征提取能力提升客户端的表现，相较于已有方法仅要求客户端通信少量全连接层，因此高度通信效率，而且不需要额外的优化问题和计算开销，且在异构性个性化联邦学习任务方面表现优于现有最先进算法。

    Oct, 2022

  • 重新思考使用非独立同分布数据进行联邦无监督学习的表示

    FedU2 提出了一种用于非 I.I.D. 数据的联邦无监督学习方法，通过灵活的统一正则化器（FUR）和高效的统一聚合器（EUA）来解决现有方法在局部和全局模型表示之间存在的困扰，并通过跨设备和跨隔离评估实验证明了其性能。

    Mar, 2024

  • 真实数据分布的联邦视觉分类

    本研究探讨如何在真实世界的场景下训练视觉模型。我们使用了两个新的大规模数据集，测试了 Federated Learning 算法的表现，并提出了两种新的算法以优化模型的表现。

    Mar, 2020