面向目标领域泛化的联邦主动学习
提出了 FedADG 方法,利用联邦对抗学习来实现域泛化,通过将每个分布与参考分布匹配,逐个类别进行对齐来细粒度地对齐分布,学习到的特征表示可以很好地泛化到未见过的域。
Nov, 2021
通过在医疗领域分布式的多个机构之间协作学习一个全局模型,联合学习有助于实现数据无需集中的目标。本研究首次尝试评估来自不同领域的本地数据的信息量,并提出了一种称为 Federated Evidential Active Learning (FEAL) 的新方法来处理领域转移下的数据评估。通过引入 Dirichlet 先验分布,我们能够将预测视为概率空间上的分布,并利用基于 Dirichlet 的证据模型来捕获不确定性。然后,我们使用这种不确定性来校准随机不确定性,并采用多样性放松策略来减少数据冗余并保持数据多样性。通过广泛的实验和分析,我们证明了 FEAL 在联合主动学习框架下优于现有主动学习方法的特点和效率。
Dec, 2023
本文提出了一种改进的联邦学习方法 ——FedALA,通过 Adaptive Local Aggregation (ALA) 模块,适应性地聚合下载的全局模型和本地模型,初始化每个客户端上的本地模型,并进行训练,实验结果表明,FedALA 在计算机视觉和自然语言处理等五个基准数据集上超过了 11 种现有技术的 baselines,提高了最高达 3.27%的测试准确性,同时我们还将 ALA 模块应用于其他联邦学习方法,实现了最高达 24.19%的测试准确性提高。
Dec, 2022
本文介绍了机器学习发展的过程及其在领域自适应和领域泛化方面的应用,重点介绍了联邦域泛化的概念和相关算法,分类为联邦域对齐、数据处理、学习策略和聚合优化,并提供了常用的数据集、应用、评估和基准,这些研究对解决在不同领域和分布数据上广泛存在的泛化问题具有重要意义。
Jun, 2023
我们提出了一个联邦主动学习(FedAL)框架,通过在医学图像分析中周期性和交互式地执行主动学习,从而减少标注数据量、保护患者隐私,并保持联邦学习的性能。在真实的皮肤镜数据集上验证了我们的框架,在只使用 50%的样本的情况下,在皮肤病变分类任务上取得了与全数据联邦学习相媲美的性能。
Jun, 2024
研究通过在联邦学习框架中应用主动学习和采样策略来减少标注工作量,比较了全局 FL 模型使用传统随机采样策略、客户端级别分离的 AL(S-AL)和我们提出的 F-AL 的测试准确率,实验证明 F-AL 在图像分类任务中优于基线方法。
Feb, 2022
本文提出了一种名为 FedAL 的基于对抗学习的联邦知识蒸馏方法,以解决不同客户端的数据异构性问题,通过使用服务器作为鉴别器指导客户端的本地模型训练,实现客户端之间的共识模型输出,并通过较少遗忘的正则化方法保证客户端之间的知识传递和学习能力。实验证明,FedAL 及其变体比其他联邦知识蒸馏方法具有更高的准确率。
Nov, 2023
提出了一种创新的基于超网络的联邦融合算法 hFedF,用于解决联邦领域泛化中个性化和泛化之间的权衡问题,并在多个案例中,在联邦领域泛化的三个常用数据集上超越强基准性能。
Feb, 2024
传统联邦学习算法假设训练和测试数据分布相同,然而现实中领域漂移的发生要求联邦学习方法具备领域泛化能力。本文提出了基于样式和注意力的学习策略 StableFDG,以实现联邦领域泛化,并引入了两个关键贡献:一是基于样式的学习,使每个客户端能够在本地数据集中探索新的样式,通过样式共享、转移和探索策略改进领域多样性;二是基于注意力的特征强调器,捕捉同一类别样本特征的相似性,并强调重要 / 共同特征,以更好地学习数据贫乏联邦学习场景中每个类别的领域不变特征。实验结果表明,StableFDG 在各种领域泛化基准数据集上优于现有的基线算法,证明其有效性。
Nov, 2023