模型对比联合域自适应

May, 2023

Model-Contrastive Federated Domain Adaptation

Chang'an Yi, Haotian Chen, Yonghui Xu, Yifan Zhang

TL;DR在联邦学习场景下，我们提出一种基于对比学习和 Vision Transformer（ViT）的模型方法 FDAC，目的是通过操作 ViT 的潜在架构来学习可转移的表示，同时通过域增强和语义匹配来增加目标数据的多样性，实验结果表明，FDAC 在大多数情况下都优于所有比较方法，并且还可以提高通信效率。

Abstract

federated domain adaptation (FDA) aims to collaboratively transfer knowledge from source clients (domains) to the related but different target client, without communicating the local data of any client. Moreover, the source clients have different data distributions, leading to extremel

federated domain adaptation contrastive learning vision transformer transferable representations communication efficiency

发现论文，激发创造

UFDA：具有实际假设的通用联邦域适应

我们提出了一种更实用的方案，名为 Hot-Learning with Contrastive Label Disambiguation（HCLD），解决了 Universal Federated Domain Adaptation（UFDA）场景中的领域变化和类别差距问题，并通过使用各个源域的黑盒模型的单热输出来区分共享类和未知类。在三个基准测试上的广泛实验表明，与具有许多额外假设的先前方法相比，我们的 HCLD 在 UFDA 场景中以更少的假设达到了可比较的性能。

Nov, 2023

联邦多目标域自适应

提出一种新的基于联邦学习的多目标领域自适应算法，通过对模型性能的分析，发现现有领域自适应方法在面对该问题时存在的问题，并提出一种有效的 DualAdapt 方法来解决这些问题。在图像分类和语义分割任务上的大量实验结果表明，我们的方法在客户端设备上实现高准确度，最小通信成本和所需计算资源低。

Aug, 2021

通过随机特征实现稳健且高效的联邦领域自适应

在现代机器学习模型中，单机上训练这些规模的模型往往变得不现实，因此越来越多的人开始借用联邦学习技术以分布式和协作的方式来训练大规模机器学习模型。然而，当这些模型在新设备上部署时，可能因为领域转移而难以泛化。本文中，我们介绍了 RF-TCA，这是对标准的转移组件分析方法的改进，它在不损害理论和实证性能的情况下显著加速了计算过程。利用 RF-TCA 的计算优势，我们进一步将其扩展到联邦领域适应性设置中的 FedRF-TCA。所提出的 FedRF-TCA 协议在通信复杂度上与样本大小无关，同时保持着与最先进的联邦领域适应性方法相当甚至超过其性能。我们进行了大量实验来展示 FedRF-TCA 的卓越性能和对网络条件的稳健性。

Nov, 2023

联邦对抗领域自适应

本文研究了联邦学习在分布式设备网络上的数据隐私和效率问题。我们提出了一种有原则的方法来解决联邦域自适应问题，旨在通过扩展对抗适应技术来对齐不同节点学习到的表征与目标节点数据分布。同时，我们设计了一个动态注意机制和利用特性解缠来增强知识转移。在几个图像和文本分类任务上进行了实证实验，并在无监督联邦域自适应设置下展示了有前途的结果。

Nov, 2019

多源域自适应的联邦数据集字典学习

该论文提出了一种应对联邦领域自适应的方法，通过字典学习来处理客户端之间存在的分布转移和部分无标签数据的情况。该方法使用经验分布的字典来训练联邦模型，采用协作通信协议和聚合操作来保护客户端数据的隐私，并通过实验证明其在目标领域上成功生成标记数据，并与其集中式对应物和其他基准进行了比较。

Sep, 2023

自适应对比学习实现的无源域自适应

本文探讨了一种实际的领域自适应任务，称为无源域自适应（SFUDA），在此任务中，源预训练模型在没有访问源数据的情况下适应于目标域。我们介绍了一种新的 SFUDA 范例 Divide and Contrast（DaC），使用自适应对比学习框架，通过预测的置信度将目标数据分为类似源域和特定于目标域的样本，并针对每个组别进行调整目标，以在全局和局部层面上提高性能

Nov, 2022

透过文本到图像扩散实现跨领域：一种无源领域自适应方法

提出了一种用于 Source-Free Domain Adaptation 的新框架，使用在目标领域样本上训练的文本到图像扩散模型生成源数据，并使用 Domain Adaptation 技术将生成的源数据与目标领域数据对齐，从而显著提高目标领域模型的性能。

Oct, 2023

基于冻结多模式基础模型的无源域自适应

源无关领域适应 (SFDA) 旨在适应一个源模型到目标领域，只能访问标记有监督源领域的预先训练的模型和无标记目标培训数据。我们首次探索了富含异构知识的现成视觉 - 语言多模态模型 (例如 CLIP) 的潜力，提出了一种新颖的蒸馏多模态基础模型 (DIFO) 方法来解决现有方法中不可避免的错误问题，并通过两个步骤的交替来使其任务特定化，实验结果表明 DIFO 显著优于现有的替代方法。

Nov, 2023

联邦对抗交叉训练（FACT）

本文提出了 Federated Adversarial Cross Training （FACT）方法来解决非 i.i.d. 数据的情况下，联邦模型适应目标客户端的挑战。通过使用不同领域的源客户端之间的差异来识别目标域中的域漂移，该方法在多源单目标基准测试中优于现有的联邦模型、非联邦模型和单源单目标实验中的最新无监督域自适应模型。

Jun, 2023

泛化的零样本域自适应

本文提出了一种广义源自由域自适应（G-SFDA）的新域自适应范例，其中仅在自适应期间访问当前未标记的目标数据，该方法基于局部结构聚类（LSC）和稀疏域注意力（SDA）以保持源信息的同时为不同领域激活不同的特征通道。实验表明，本文所提出的方法的目标表现与现有域自适应（DA）和源自由域自适应（SFDA）方法相当或更好，并在 VisDA 上实现了最先进的性能（85.4％）。

Aug, 2021