Jan, 2023

具有客户独占类别的联邦学习

PDF
TL;DR本文提出了一种基于自然语言类名（class names）在非同分布（non-IID）数据上进行联邦学习（federated learning）的方法，将分类问题转化为数据表示和类名表示之间的匹配，并将分类模型分为数据编码器和标签编码器进行处理，通过更新类别表示来提高该算法在客户端独占类（client-exclusive classes）场景下的分类准确性。
federated learningnon-iidclient-exclusive classesdata encoderlabel encoder
发现论文，激发创造
  • 利用共享表示进行个性化联邦学习

    本文提出了一个新的联邦学习框架和算法，用于在客户之间学习共享的数据表示和每个客户的独特的本地头。我们的算法利用了跨客户的分布式计算能力，以便每次更新表示时进行许多针对低维本地参数的局部更新。我们证明该方法在线性设置中获得与地面实况表示的线性收敛，并获得接近最优样本复杂度，从而在每个客户端高效地降低问题维度。这个结果超出了联合学习，是一类希望在数据分布中学习共享的低维表示的问题的广泛兴趣，例如在元学习和多任务学习中。此外，广泛的实验结果显示了我们的方法在异构数据的联邦环境中相对于可选的个性化联邦学习方法的经验改进。

    Feb, 2021

  • 非独立同分布数据下的联邦学习

    本文着重研究了在本地数据不 IID 的情况下联邦学习面临的统计挑战，提出了一个使用全局数据子集来提高非 IID 数据训练准确性的解决方案，并通过实验表明，使用仅占 5％的全局数据子集就可以将 CIFAR-10 数据集的准确性提高 30％。

    Jun, 2018

  • 基于分类器偏移的不平衡类别联邦学习

    本文提出了一种名为 FedShift 的简单有效方法，通过在本地训练阶段添加分类器输出上的漂移来减轻类别不平衡的负面影响，在理论上证明了 FedShift 中的分类器漂移可以使局部最优点一致于全局最优点，并确保算法的收敛，实验表明 FedShift 在准确性和通信效率方面优于各种数据集上的其他最新联邦学习方法。

    Apr, 2023

  • 个性化联邦学习中的特征对齐与分类器协作

    利用全局特征知识进行本地表示学习的显式本地 - 全局特征对齐，以及针对每个客户端量化分类器组合的优点，导出一个优化问题来估计最优权重，有效地处理异构数据场景。

    Jun, 2023

  • 基于特征融合的个性化联邦学习

    本研究讨论了联邦学习中的数据异质性问题，并提出了一种个性化的联邦学习方法，名为 pFedPM，通过特征上传来减少通信成本和允许异构客户端模型，实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。

    Jun, 2024

  • 面向医学图像分类的不均衡和聚合数据分布联邦学习

    采用新的真实数据分布，提出一种名为 FedIIC 的隐私保护框架，该框架通过类内对比学习和共享全局样本的类间对比学习进行特征提取器的校准来缓解训练造成的偏差，并使用考虑难度的逻辑调整构造 softmax 交叉熵损失以确保所有类别的平衡决策边界。在公共可用数据集上的实验表明，FedIIC 在处理两种耦合问题的同时，具有更优越的性能。

    Jun, 2022

  • 关于连接通用型和个性化联邦学习用于图像分类

    本文提出一种新型联邦学习框架，名为 Fed-RoD，它通过解耦模型的双重任务，即引入一族能够应对不同问题数据分布的损失函数，并将个性化预测器作为一个轻量级的自适应模块，使学习模型同时实现了最先进的通用和个性化的性能表现。

    Jul, 2021

  • 非独立同分布数据上的联邦学习：调查

    本文讨论了联邦学习的隐私保护机制，分析了非独立同分布数据对水平和垂直联邦学习中参数和非参数机器学习模型的影响，概括了当前解决非独立同分布数据挑战的方法，并讨论了这些方法的优缺点。最后，提出了研究方向。

    Jun, 2021

  • FedPH: 增强隐私的异构联邦学习

    提出一种新的联邦学习方法，利用预训练模型作为本地模型的骨架，使用完全连接的层组成头部来解决客户端数据分布和计算资源不同的问题，在客户端之间共享类别的嵌入向量，采用加噪声的隐私保护混合方法来保护隐私，最后在自建车辆数据集上进行全面评估。

    Jan, 2023

  • 联邦图像分类中个性化的深入研究

    本文提出了一种名为 RepPer 的独立的两阶段个性化联邦学习框架，其中包括非独立同分布数据（Non-IID data）对全局模型的表示学习的危害，并分离了表示学习和分类器学习，从而实现了个性化，并且在各种数据集和异构数据设置上的实验表明，RepPer 在非独立同分布数据上的灵活性和个性化方面优于其他方法。

    Apr, 2022