在上下文中适应：通过上下文中学习的检索增强域适应
本文提出了一种用于自动提取领域特定特征和领域不变特征的无监督特征分解方法，并利用互信息估计将交叉语言表示计算所述的跨领域和跨语言（CLCD）设置分解为领域不变和领域特定部分，实验结果表明，我们提出的方法在CLCD设置中取得了显著的性能提升。
Nov, 2020
本文中，我们探索了使用预训练的语言模型进行下游任务的无监督领域适应（UDA）。我们提出了UDALM，一种微调过程，使用混合分类和蒙面语言模型损失，可以以强健和样本高效的方式适应目标域分布。我们的实验表明，使用混合损失训练的模型的性能与可用目标数据的数量成比例，并且可以有效地用作UDA训练中的停止准则。此外，我们还讨论了A距离和目标误差之间的关系，并探索了域对抗训练方法的一些局限性。我们的方法在Amazon评论情感数据集的12个领域对上进行评估，得到了91.74％的准确率，比最先进技术提高了1.11％的绝对值。
Apr, 2021
通过在大规模预训练语言模型中插入小的瓶颈层，我们提出了两种无监督领域自适应更加参数高效的方法，通过实验表明，我们的简单方法在自然语言推理和跨领域情感分类任务中性能良好。
Feb, 2023
大型语言模型的新兴能力是利用少量示例来学习在新领域和任务中执行的能力，本文通过针对专门的培训目标进行微调展示了一个更小的模型可以被训练用于执行上下文学习，在神经机器翻译的领域适应任务上进行了示例。通过这种上下文学习的能力，模型可以利用相关的少量示例将其输出适应到该领域。我们将这种域自适应的质量与传统的监督技术以及基于400亿参数的大型语言模型的上下文学习进行了比较。我们的方法允许对多个领域进行高效的批处理推理，并在翻译质量和即时适应率方面优于现有技术基线，也就是在展示一次示例后重新生成特定术语的能力。
Sep, 2023
比较了使用大型语言模型生成查询和基于规则的方法进行合成注释来进行神经信息检索，结果表明大型语言模型在所有情景中的性能优于基于规则的方法，而无监督领域适应相对于零样本方式应用监督信息检索系统是有效的。
Oct, 2023
通过在无标签数据上进行句子掩码模型训练（MLM）和源标记数据上进行监督指导训练，采用自监督学习和提示模型术语分类方法，我们提出了一种叫做困难易化领域适应（FEUDA）的方法，通过训练一个自回归语言模型，从源和目标领域的标签和无标签示例中，来学习领域不变表征，以提高目标领域的分类性能。
Jan, 2024
使用大型语言模型（LLM）进行抽象概括任务虽然取得了进展，但缺乏评估其在不同领域中适应能力的研究。我们评估了多种LLM模型在不同领域下的领域适应能力，包括精调和上下文学习设置。我们还提出了AdaptEval，即首个领域适应评估套件。AdaptEval包括领域基准和一组指标，以便分析领域适应。我们的结果表明，LLM在上下文学习设置中表现出可比较的性能，并不受其参数规模的影响。
Jul, 2024