稳定 FDG: 基于风格和注意力的联合域泛化学习

Nov, 2023

稳定 FDG: 基于风格和注意力的联合域泛化学习

StableFDG: Style and Attention Based Learning for Federated Domain Generalization

Jungwuk Park, Dong-Jun Han, Jinho Kim, Shiqiang Wang, Christopher G. Brinton...

TL;DR传统联邦学习算法假设训练和测试数据分布相同，然而现实中领域漂移的发生要求联邦学习方法具备领域泛化能力。本文提出了基于样式和注意力的学习策略 StableFDG，以实现联邦领域泛化，并引入了两个关键贡献：一是基于样式的学习，使每个客户端能够在本地数据集中探索新的样式，通过样式共享、转移和探索策略改进领域多样性；二是基于注意力的特征强调器，捕捉同一类别样本特征的相似性，并强调重要 / 共同特征，以更好地学习数据贫乏联邦学习场景中每个类别的领域不变特征。实验结果表明，StableFDG 在各种领域泛化基准数据集上优于现有的基线算法，证明其有效性。

Abstract

Traditional federated learning (FL) algorithms operate under the assumption that the data distributions at training (source domains) and testing (target domain) are the same. The fact that domain shifts often occur in practice necessitates equipping FL methods with a →

federated learning domain generalization stablefdg style-based learning attention-based feature highlighter

发现论文，激发创造

联邦领域泛化：一项调查

本文介绍了机器学习发展的过程及其在领域自适应和领域泛化方面的应用，重点介绍了联邦域泛化的概念和相关算法，分类为联邦域对齐、数据处理、学习策略和聚合优化，并提供了常用的数据集、应用、评估和基准，这些研究对解决在不同领域和分布数据上广泛存在的泛化问题具有重要意义。

Jun, 2023

具有领域泛化的联邦学习

提出了 FedADG 方法，利用联邦对抗学习来实现域泛化，通过将每个分布与参考分布匹配，逐个类别进行对齐来细粒度地对齐分布，学习到的特征表示可以很好地泛化到未见过的域。

Nov, 2021

面向目标领域泛化的联邦主动学习

该论文介绍了 Active Learning 和 Federated Learning 的联合学习框架 FEDALV，用于目标域广义化，通过减少特征复杂性和条件对齐来实现准确且高效的图像分类模型训练。

Dec, 2023

联邦学习中的非线性融合：面向联邦领域泛化的超网络方法

提出了一种创新的基于超网络的联邦融合算法 hFedF，用于解决联邦领域泛化中个性化和泛化之间的权衡问题，并在多个案例中，在联邦领域泛化的三个常用数据集上超越强基准性能。

Feb, 2024

具有类别感知对齐的强健领域无关泛化

该论文提出了 Domain-Free Domain Generalization (DFDG)，一种模型无关的方法，通过学习领域不变的类别判别特征来实现更好的领域泛化性能，具体方法包括使用类别条件软标签来对齐样本的类别关系，使用显著性图来消除训练输入中的表面观察，并在时间序列传感器和图像分类的公共数据集上获得了具有竞争性的性能。

Feb, 2021

领域泛化的测试时傅里叶风格校准

通过使用傅里叶变换将特征分解为振幅（样式）特征和相位（语义）特征，并引入测试时傅里叶样式校准（TF-Cal）来校准目标域风格，以增强模型的泛化能力。实验表明，该方法在几个流行的 DG 基准测试和医学图像分割数据集中优于最先进的方法。

May, 2022

联邦领域泛化算法基准测试

本研究提出了一个可控制客户数量和异质性的联邦迁移学习基准测试方法，并应用于 13 种联邦迁移学习方法的评估，结果表明在客户数量多、客户异质性高或更现实的数据集下，联邦迁移学习的性能仍然存在显著差异。

Jul, 2023

基于群集驱动的多域图联邦学习

Cluster-driven Graph Federated Learning (FedCG) proposes a novel method for learning a central model in privacy-constrained scenarios, overcoming statistical heterogeneity by identifying domains via FL-compliant clustering, instantiating domain-specific modules, connecting them through Graph Convolutional Networks (GCNs), and learning to cluster unsupervised via teacher-student classifier-training iterations to achieve state-of-the-art results on multiple Federated Learning benchmarks.

Apr, 2021

领域偏差下的公平联邦学习：局部一致性与领域多样性

在研究中，我们提出了一个新的框架来解决分布式学习中的不公平问题，该框架利用发现的特性选择性地丢弃不重要的参数更新，并引入公平的聚合目标以确保全局模型的无偏性。验证实验证明了该方法在 Digits 和 Office-Caltech 数据集上的高公平性和性能表现。

May, 2024

本地注意力的个性化联邦学习

在联邦学习中，为了解决不同客户端的局部数据异构性所带来的性能下降问题，提出了一种名为 pFedLA 的简单而有效的算法，该算法通过将关注机制纳入客户端的个性化模型，并保持关注块客户化，从而在任何联邦学习方法中提高其性能。

Apr, 2023