Mar, 2020

真实数据分布的联邦视觉分类

PDF
TL;DR本研究探讨如何在真实世界的场景下训练视觉模型。我们使用了两个新的大规模数据集，测试了 Federated Learning 算法的表现，并提出了两种新的算法以优化模型的表现。
发现论文，激发创造
  • 测量非同一数据分布对联邦视觉分类的影响

    本文研究了 Federated Learning 在视觉分类中的作用，提出了通过服务器的惯性防止非同质数据分布对性能的负面影响，并在 CIFAR-10 上进行了实验，结果表明在不同的非同质性数据分布下，这种方案能够显著提高分类准确率。

    Sep, 2019

  • 非独立同分布数据下的联邦学习

    本文着重研究了在本地数据不 IID 的情况下联邦学习面临的统计挑战，提出了一个使用全局数据子集来提高非 IID 数据训练准确性的解决方案，并通过实验表明，使用仅占 5％的全局数据子集就可以将 CIFAR-10 数据集的准确性提高 30％。

    Jun, 2018

  • FedCD: 非独立同分布联邦学习性能改进

    提出 FedCD 方法，将模型动态地克隆和删除以将设备分组，实现在非独立同分布的数据上高精度和更快的收敛。

    Jun, 2020

  • 面向医学图像分类的不均衡和聚合数据分布联邦学习

    采用新的真实数据分布，提出一种名为 FedIIC 的隐私保护框架，该框架通过类内对比学习和共享全局样本的类间对比学习进行特征提取器的校准来缓解训练造成的偏差，并使用考虑难度的逻辑调整构造 softmax 交叉熵损失以确保所有类别的平衡决策边界。在公共可用数据集上的实验表明，FedIIC 在处理两种耦合问题的同时，具有更优越的性能。

    Jun, 2022

  • 乳腺密度分类的联邦学习：一个实际实现

    本文研究了在真实的合作环境下使用联邦学习（FL）构建医学成像分类模型。通过对世界各地的七个临床机构的数据进行联邦学习，成功地训练了乳腺密度分类模型，其性能比在机构的本地数据训练的模型平均提高了 6.3％，在其他机构的测试数据上表现出了 45.8％的相对改进。

    Sep, 2020

  • Dirichlet 分布异构数据的 FedAvg 和 Per-FedAvg 算法的比较评估

    该研究调查了联邦学习（FL）这一机器学习范式，允许在不共享原始数据的设备上进行分散模型训练，从而保护数据隐私。我们比较了该范式内的两种策略：联邦平均（FedAvg）和个性化联邦平均（Per-FedAvg），重点关注它们在非独立同分布数据（Non-IID）条件下的性能。我们的分析显示，使用狄利克雷分布建模的数据异质性水平显著影响两种策略的性能，在高异质性条件下，Per-FedAvg 表现出更强的健壮性。我们的结果为在分散环境下开发更有效和高效的机器学习策略提供了见解。

    Sep, 2023

  • FedClassAvg: 异构神经网络的个性化联邦学习中局部表示学习

    本研究提出一种名为联邦分类器平均（FedClassAvg）的个性化联邦学习方法，通过聚合分类器权重以增强特征空间的决策边界来使得有不同神经网络架构、实现非独立同分布数据（non-iid）学习任务的客户端可以学习稀缺标签，同时应用本地特征表示学习来稳定决策边界并利用局部特征提取能力提升客户端的表现，相较于已有方法仅要求客户端通信少量全连接层，因此高度通信效率，而且不需要额外的优化问题和计算开销，且在异构性个性化联邦学习任务方面表现优于现有最先进算法。

    Oct, 2022

  • 联邦学习聚合：具有保证的新的鲁棒算法

    该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

    May, 2022

  • 用于普适计算的联邦学习聚合算法：评估和比较

    本文探讨了如何应对异构设备和用户的挑战，提出了一种新型的聚合算法 FedDist，该算法能够考虑到客户端的差异性而不影响泛化能力，并在人类活动识别普适领域上通过对比测试发现其表现更好。

    Oct, 2021

  • WeiAvg: 促进数据多样性的联邦学习模型聚合

    本文提出了一种新颖方法 - WeiAvg，利用投影估计方法来估计客户端数据的多样性，从高多样性客户端强调权重更新，减少低多样性客户端的影响，实验结果证明 WeiAvg 优于原始的 FedAvg 算法和 FedProx，能更快、更准确的达到收敛。

    May, 2023