Aug, 2023

FedCiR：面向联邦非 IID 特征的客户端不变表示学习

PDF
TL;DR提出了一种名为 FedCiR 的客户端不变表示学习框架，通过改进表示和标签之间的互信息项，以及减少客户集和表示之间在标签条件下的互信息项，实现提取信息性和客户端不变的特征，通过两个正则化项来限制近似全局表示分布的互信息项以弥补缺失的真实全局表示分布，进而实现了解决数据异质性和实现客户端不变表示学习的目标。
federated learningfeature shift problemrepresentation learningclient-invariant featuresheterogeneity
发现论文，激发创造
  • FRAug: 通过表示增强解决非独立同分布特征的联邦学习

    本文针对特征分布不同的联邦学习中的特征偏移问题，提出了一种名为 FRAug（联邦表示增强）的方法，利用共享的生成模型在嵌入空间生成客户特定的样本，并通过表示转换网络将嵌入转换为客户特定嵌入，使得生成的嵌入作为正则化器改善了客户的泛化性能，该方法取得了比当前非 IID 特征情况下的各种现有最先进方法更好的效果。

    May, 2022

  • 联邦图像分类中个性化的深入研究

    本文提出了一种名为 RepPer 的独立的两阶段个性化联邦学习框架，其中包括非独立同分布数据（Non-IID data）对全局模型的表示学习的危害，并分离了表示学习和分类器学习，从而实现了个性化，并且在各种数据集和异构数据设置上的实验表明，RepPer 在非独立同分布数据上的灵活性和个性化方面优于其他方法。

    Apr, 2022

  • FedCCL：基于领域异质性的联邦双聚类特征对比

    通过引入聚类表示、局部聚类和全局信号等方法，本研究提出了一个双聚类特征对比的联邦学习框架，旨在解决非独立同分布数据的挑战，以跨客户知识共享和一致的全局指导为重点，实验结果表明，在域内和域间异质性下，该框架取得了可比或更高的性能提升。

    Apr, 2024

  • 信息论分布多元化实现联邦泛化

    我们的论文提出了一种信息论的泛化框架来解决联邦学习中的分布不一致问题，并通过引入加权聚合方法和客户端选择策略来增强泛化能力。

    Oct, 2023

  • 使用对比共享表征进行个性化的联邦学习，解决非独立同分布数据中的标签差异性

    本文提出了一种名为 Federated Contrastive Representation Learning (FedCRL) 的个性化联邦学习算法，旨在处理分布式机器学习场景中由标签分布偏斜和数据稀缺性造成的异质性。FedCRL 通过在共享表示上引入对比表示学习 (CRL) 来促进客户端的知识获取，从而提升本地模型的效果并避免受到标签分布偏斜的伤害。此外，FedCRL 采用本地聚合机制来处理数据稀缺性，并引入损失加权机制来指导全局模型与每个客户端的协调，以帮助具有稀缺数据的客户端。通过在具有不同程度标签异质性的数据集上进行模拟，结果表明 FedCRL 在减轻标签异质性方面的有效性，实现了相对于现有方法的准确性改进。

    Apr, 2024

  • 重新思考使用非独立同分布数据进行联邦无监督学习的表示

    FedU2 提出了一种用于非 I.I.D. 数据的联邦无监督学习方法，通过灵活的统一正则化器（FUR）和高效的统一聚合器（EUA）来解决现有方法在局部和全局模型表示之间存在的困扰，并通过跨设备和跨隔离评估实验证明了其性能。

    Mar, 2024

  • 面向医学图像分类的不均衡和聚合数据分布联邦学习

    采用新的真实数据分布，提出一种名为 FedIIC 的隐私保护框架，该框架通过类内对比学习和共享全局样本的类间对比学习进行特征提取器的校准来缓解训练造成的偏差，并使用考虑难度的逻辑调整构造 softmax 交叉熵损失以确保所有类别的平衡决策边界。在公共可用数据集上的实验表明，FedIIC 在处理两种耦合问题的同时，具有更优越的性能。

    Jun, 2022

  • 多联邦学习：使用分散的联邦学习处理包容性非独立同分布数据

    多联邦学习是一个去中心化的联邦学习框架，旨在解决非独立同分布数据的问题，并通过维护多个模型并行进行收敛，以增强适应性。

    Apr, 2024

  • 异质特征空间个性化联邦学习

    提出一种名为 FLIC 的通用框架，通过本地嵌入功能将客户端数据映射到公共特征空间，使用 Wasserstein barycenters 学习公共特征空间，通过分布对齐机制将本地嵌入函数集成到联邦学习中，并提供 FLIC 的算法，与涉及异构输入特征空间的 FL 基准进行性能比较，同时提供支持我们方法相关性的理论见解。

    Jan, 2023

  • 对应用于解决联邦学习中非独立同分布和异质数据特性的不同技术的综述

    联邦学习是一种机器学习方法，可以在持有本地数据样本的多个分散边缘设备之间进行协作模型训练，而无需交换这些样本。本报告探讨了非独立非同分布的数据与异构数据带来的问题，并探索了目前设计用于解决这些挑战的算法。

    Jan, 2024