在上下文中适应：通过上下文中学习的检索增强域适应

EMNLPNov, 2023

在上下文中适应：通过上下文中学习的检索增强域适应

Adapt in Contexts: Retrieval-Augmented Domain Adaptation via In-Context Learning

Quanyu Long, Wenya Wang, Sinno Jialin Pan

TL;DR通过无监督的领域自适应方法以及在上下文学习环境下的查询元素子集检索策略，我们研究了适应语言模型从源领域到目标领域的问题，以学习目标领域分布并通过语言建模实现任务信号的适应，从而在情感分析和命名实体识别任务中实现了显著的性能提升。

Abstract

large language models (LLMs) have showcased their capability with few-shot inference known as in-context learning. However, in-domain demonstrati

large language models in-context learning unsupervised domain adaptation in-domain demonstrations language modeling

发现论文，激发创造

跨域对比学习用于无监督域自适应

该论文提出了一种在无监督领域适应的情况下，采用自我监督学习的对比方法以减少培训和测试集之间的领域差异，实现了简单而有效的领域对齐框架 CDCL，并使用伪标签进行评估，这种方法可以应用于无需数据源的情况并在图像分类方面取得了最先进的性能。

Jun, 2021

无监督领域自适应语言建模

本文中，我们探索了使用预训练的语言模型进行下游任务的无监督领域适应（UDA）。我们提出了 UDALM，一种微调过程，使用混合分类和蒙面语言模型损失，可以以强健和样本高效的方式适应目标域分布。我们的实验表明，使用混合损失训练的模型的性能与可用目标数据的数量成比例，并且可以有效地用作 UDA 训练中的停止准则。此外，我们还讨论了 A 距离和目标误差之间的关系，并探索了域对抗训练方法的一些局限性。我们的方法在 Amazon 评论情感数据集的 12 个领域对上进行评估，得到了 91.74％的准确率，比最先进技术提高了 1.11％的绝对值。

Apr, 2021

基于提示学习的领域适应

本文提出了一种新颖的无监督领域自适应学习范式 —— 通过提示学习的领域自适应 (DAPL)，通过嵌入域信息和利用预训练的视觉 - 语言模型进行分类，此方法在多个领域的基准测试数据上表现优异，并且训练效率高、易于实现。

Feb, 2022

领域混淆对比学习用于无监督领域自适应

本文介绍了一种自主学习方法的无监督域自适应技术，即 Domain Confused Contrastive Learning（DCCL），旨在通过域拼图来构建源域和目标域之间的桥梁，并在适应后保留有区分性的表示。此外，作者还探讨了在进行其他数据增强时，对比学习是否有助于 UDA。实验表明，DCCL 的表现显著优于基线。

Jul, 2022

统一语言驱动的零样本领域自适应

提出了一种新的任务设置 —— 统一的语言驱动零样本领域适应 (ULDA)，使得单个模型能够在没有显式域标识知识的情况下适应多样的目标领域。通过在多个视觉层次上对齐模拟特征和目标文本、保留不同区域表示之间的语义相关性以及校正模拟和真实目标视觉特征之间的偏差，该框架在两个场景下实现了竞争性的性能，展示了其优越性和泛化能力。

Apr, 2024

无监督深度域自适应中的潜在域推断

本文提出了一种新的深度学习架构，通过自动发现视觉数据中的潜在域并利用这些信息来学习强健的目标分类器来解决不带标签数据的目标域学习问题，在公共基准测试中表现优于现有的方法。

Mar, 2021

CLDA：对比学习用于半监督领域自适应

本文提出了一种简单的对比学习框架，用于半监督域自适应，以构建域不变的预测模型，在三个领域适应基准数据集上取得最先进的性能表现。

Jun, 2021

深度无监督域自适应：近期进展和展望综述

深度学习在许多领域都展现出其超凡表现，但仅仅依靠大量标记数据来训练模型并不能保证其在面临目标域的分布变化时仍有出色的表现，无监督域自适应通过利用源领域标记数据和目标领域未标记数据来解决该问题，并已在自然图像处理、自然语言处理等领域取得了许多令人期待的结果，该文对该领域的方法和应用进行了系统比较，并强调了当前方法的不足及未来研究方向。

Aug, 2022

无监督域自适应时间序列的对比学习

本文提出了一种名为 CLUDA 的新颖的时序数据无监督领域适应框架，旨在使用对比学习框架来学习多变量时间序列的语境表示，并通过自定义最近邻对比学习来捕获源域和目标域之间的上下文表示变化，从而实现了在时间序列领域中学习域不变上下文表示的方法，并可用于对多种时间序列数据集进行评估以证明其有效性和卓越性能。

Jun, 2022

简化版神经网络无监督域自适应

本文研究了无监督领域自适应的方法，使用神经网络学习表示来预测重要特征的子集，并探讨了联合训练表示和任务学习者、现有枢轴选择方法的重要性。

May, 2019