通过随机特征实现稳健且高效的联邦领域自适应

Nov, 2023

通过随机特征实现稳健且高效的联邦领域自适应

Robust and Communication-Efficient Federated Domain Adaptation via Random Features

Zhanbo Feng, Yuanjie Wang, Jie Li, Fan Yang, Jiong Lou...

TL;DR在现代机器学习模型中，单机上训练这些规模的模型往往变得不现实，因此越来越多的人开始借用联邦学习技术以分布式和协作的方式来训练大规模机器学习模型。然而，当这些模型在新设备上部署时，可能因为领域转移而难以泛化。本文中，我们介绍了 RF-TCA，这是对标准的转移组件分析方法的改进，它在不损害理论和实证性能的情况下显著加速了计算过程。利用 RF-TCA 的计算优势，我们进一步将其扩展到联邦领域适应性设置中的 FedRF-TCA。所提出的 FedRF-TCA 协议在通信复杂度上与样本大小无关，同时保持着与最先进的联邦领域适应性方法相当甚至超过其性能。我们进行了大量实验来展示 FedRF-TCA 的卓越性能和对网络条件的稳健性。

Abstract

Modern machine learning (ML) models have grown to a scale where training them on a single machine becomes impractical. As a result, there is a growing trend to leverage federated learning (FL) techniques to train

machine learning federated learning domain shifts federated domain adaptation rf-tca

发现论文，激发创造

模型对比联合域自适应

在联邦学习场景下，我们提出一种基于对比学习和 Vision Transformer（ViT）的模型方法 FDAC，目的是通过操作 ViT 的潜在架构来学习可转移的表示，同时通过域增强和语义匹配来增加目标数据的多样性，实验结果表明，FDAC 在大多数情况下都优于所有比较方法，并且还可以提高通信效率。

May, 2023

联邦多目标域自适应

提出一种新的基于联邦学习的多目标领域自适应算法，通过对模型性能的分析，发现现有领域自适应方法在面对该问题时存在的问题，并提出一种有效的 DualAdapt 方法来解决这些问题。在图像分类和语义分割任务上的大量实验结果表明，我们的方法在客户端设备上实现高准确度，最小通信成本和所需计算资源低。

Aug, 2021

联邦对抗领域自适应

本文研究了联邦学习在分布式设备网络上的数据隐私和效率问题。我们提出了一种有原则的方法来解决联邦域自适应问题，旨在通过扩展对抗适应技术来对齐不同节点学习到的表征与目标节点数据分布。同时，我们设计了一个动态注意机制和利用特性解缠来增强知识转移。在几个图像和文本分类任务上进行了实证实验，并在无监督联邦域自适应设置下展示了有前途的结果。

Nov, 2019

联邦对抗交叉训练（FACT）

本文提出了 Federated Adversarial Cross Training （FACT）方法来解决非 i.i.d. 数据的情况下，联邦模型适应目标客户端的挑战。通过使用不同领域的源客户端之间的差异来识别目标域中的域漂移，该方法在多源单目标基准测试中优于现有的联邦模型、非联邦模型和单源单目标实验中的最新无监督域自适应模型。

Jun, 2023

具有域自适应的私有联邦学习

本文提出了一种基于联邦学习的机器学习分布式范例，可以在保护隐私的前提下进行多方联合重新训练共享模型，并通过用户级领域自适应来提高模型精度，实验结果表明在为 FL 模型强制实施差分隐私界限时，该技术可以更大程度地提升模型的准确性。

Dec, 2019

FMDA-OT：通过最优传输进行联邦多源域适应

通过多源领域自适应的合作性框架，使用最优传输分别进行源领域自适应和目标领域自适应，并利用中央化联合学习架构协同多个源的模型，解决领域自适应中的数据隐私问题。

Apr, 2024

带模型转移和适应的联邦射频指纹识别

本文提出了一种基于联邦学习算法的无线电频率指纹算法，采用模型转移和适应策略以及在卷积层之间引入密集连接，强化了学习精度并降低了模型复杂度，实现了通信高效和隐私保护，通过从一个信道条件转移学习模型并将其适应于其他信道条件，可以高度准确地预测在环境漂移下的指纹识别率，这种算法在现实世界数据集上的实验表明，相较于基准算法，本文提出的算法可以提高预测性能至多 15%。

Feb, 2023

FedFA: 联邦特征增强

本文提出了一种名为 FedFA 的鲁棒联邦学习算法，通过运用统计学的方法对每个客户端的数据进行加强，从而解决非 i.i.d. 数据分布带来的特征偏移和本地数据偏差问题。

Jan, 2023

联邦领域泛化：一项调查

本文介绍了机器学习发展的过程及其在领域自适应和领域泛化方面的应用，重点介绍了联邦域泛化的概念和相关算法，分类为联邦域对齐、数据处理、学习策略和聚合优化，并提供了常用的数据集、应用、评估和基准，这些研究对解决在不同领域和分布数据上广泛存在的泛化问题具有重要意义。

Jun, 2023

具有领域泛化的联邦学习

提出了 FedADG 方法，利用联邦对抗学习来实现域泛化，通过将每个分布与参考分布匹配，逐个类别进行对齐来细粒度地对齐分布，学习到的特征表示可以很好地泛化到未见过的域。

Nov, 2021