本研究旨在探究利用领域自适应预训练的方法，结合多语言语料库来同时训练一个领域特定和多语言的语言模型，从而提高目标领域内不同语言任务的文本建模能力。研究结果表明，用这种模型在生物医学命名实体识别和金融句子分类等多个领域特定数据集上进行测试，可以比一般的多语言模型表现更好，接近于单语言情况下的性能表现。

Sep, 2021

本文提出了一种基于联邦学习的机器学习分布式范例，可以在保护隐私的前提下进行多方联合重新训练共享模型，并通过用户级领域自适应来提高模型精度，实验结果表明在为 FL 模型强制实施差分隐私界限时，该技术可以更大程度地提升模型的准确性。

Dec, 2019

提出一种新的基于联邦学习的多目标领域自适应算法，通过对模型性能的分析，发现现有领域自适应方法在面对该问题时存在的问题，并提出一种有效的 DualAdapt 方法来解决这些问题。在图像分类和语义分割任务上的大量实验结果表明，我们的方法在客户端设备上实现高准确度，最小通信成本和所需计算资源低。

Aug, 2021

本研究介绍了一种名为 Federated Dual Prompt Tuning (Fed-DPT) 的新方法，利用预训练的视觉 - 语言模型并应用视觉和文本提示调整来解决领域移位问题，并通过实验证明了其在领域感知的联邦学习中的重要有效性。

Oct, 2023

本文提出一种新的面向领域自适应少样本学习（DA-FSL）的解决方案，即基于领域对抗性原型网络（DAPN），该模型通过显式增强源 / 目标每类别的区分性在域自适应特征嵌入学习之前，以实现全局领域分布对齐，同时保持源 / 目标每类别的差异性从而提高 FSL 的性能。实验表明，DAPN 模型优于现有的 FSL 和 DA 模型及其简单组合。

Mar, 2020

本文提出了 Federated Adversarial Cross Training （FACT）方法来解决非 i.i.d. 数据的情况下，联邦模型适应目标客户端的挑战。通过使用不同领域的源客户端之间的差异来识别目标域中的域漂移，该方法在多源单目标基准测试中优于现有的联邦模型、非联邦模型和单源单目标实验中的最新无监督域自适应模型。

Jun, 2023

本文研究了联邦学习在分布式设备网络上的数据隐私和效率问题。我们提出了一种有原则的方法来解决联邦域自适应问题，旨在通过扩展对抗适应技术来对齐不同节点学习到的表征与目标节点数据分布。同时，我们设计了一个动态注意机制和利用特性解缠来增强知识转移。在几个图像和文本分类任务上进行了实证实验，并在无监督联邦域自适应设置下展示了有前途的结果。

Nov, 2019

本文提出了 FedDUAP 这样一种基于 Federated Learning 的框架，采用动态服务器更新算法和适应不同层次维度以及重要性的剪枝方法，可显著提高训练精度（高达 4.8%）、效率（高达 2.8 倍）和计算成本（高达 61.9%），并克服了 Federated Learning 存在的有限计算资源和低训练效率的两个主要挑战。

Apr, 2022

通过自适应学习算法（ATP）从分布变化中学习模型适应速率，测试时间个性化联合学习（TTPFL）方法优于传统的测试时间适应方法（TTA），适用于处理各种分布变化的数据集和模型架构。

Oct, 2023

本文介绍了 Domain-Aware Fine-Tuning (DAFT) 的方法，该方法通过批量归一化转换和线性探测与微调的集成来有效减轻特征扭曲，并在分布和非分布数据集上实现了改进的模型性能。

Aug, 2023