本文中，我们探索了使用预训练的语言模型进行下游任务的无监督领域适应（UDA）。我们提出了 UDALM，一种微调过程，使用混合分类和蒙面语言模型损失，可以以强健和样本高效的方式适应目标域分布。我们的实验表明，使用混合损失训练的模型的性能与可用目标数据的数量成比例，并且可以有效地用作 UDA 训练中的停止准则。此外，我们还讨论了 A 距离和目标误差之间的关系，并探索了域对抗训练方法的一些局限性。我们的方法在 Amazon 评论情感数据集的 12 个领域对上进行评估，得到了 91.74％的准确率，比最先进技术提高了 1.11％的绝对值。

Apr, 2021

本文介绍了两种使用 LLaMA 的零样本 ASR 领域适应方法，这两种方法可以通过一个领域特定的文本提示有效地减少跨领域 TedLium-2 和 SPGISpeech 数据集上的词错误率（WER），特别是，深度 LLM-fusion 具有更好的实体召回和词汇外单词的召回优势。

Jun, 2023

利用对比性领域自适应框架 ConDA，本研究解决了在检测人工智能生成的新闻文本中未标注文本数据的问题，并取得了平均性能提升 31.7％，与完全监督的检测器相差不到 0.8％的结果。

Sep, 2023

通过使用大型语言模型 (LLMs) 生成大量合成的查询，可以在不使用大量标记的数据的情况下，有效地优化实现信息检索任务，同时消除因为领域的转变而导致真实世界应用效力降低的问题。

Mar, 2023

本文提出了一种基于提示的精调方法（LlamaIT），以实现对通用语言模型（LLM）在领域特定机器翻译任务中的有效和高效精调，并通过零样本提示与指令适应目标领域。结果表明，LlamaIT 能够显著提升 LLM 的领域特定机器翻译能力，同时保持其零样本机器翻译能力。

Feb, 2024

利用无需微调的 Preference Adaptation 方法增强 LLMs 的领域专属能力，提高文本分类和交互决策任务的性能，并显示调优自由方法具有从弱到强泛化的潜力。

Feb, 2024

本文介绍了一种基于标签监督的适应大语言模型（LLMs）的方法，通过从 LLMs 提取潜在表示并将其投影到标签空间计算交叉熵损失来微调模型。在各种下游任务中，该方法显著优于比其十倍规模的 LLMs 以及其他强大的基线模型如 BERT-Large 和 RoBERTa-Large。此外，通过从解码器中移除因果掩码，LS-unLLaMA 在命名实体识别（NER）中实现了最先进的性能。

Oct, 2023

通过无监督的领域自适应方法以及在上下文学习环境下的查询元素子集检索策略，我们研究了适应语言模型从源领域到目标领域的问题，以学习目标领域分布并通过语言建模实现任务信号的适应，从而在情感分析和命名实体识别任务中实现了显著的性能提升。

Nov, 2023

本文提出了一种基于内部语言模型估计的自适应领域适应方法，通过最大化内部和外部语言模型 (ELM) 的分数的插值对数似然分数来实现 ILME-ADA，该方法在 RNN-T 和 LAS 模型框架下使用神经网络和 n-gram 语言模型作为 ELM，在两个特定领域 (目标) 测试集上表现显著优于浅层和基于 ILME 的 LM 融合方法，且在一般测试集上性能下降最小。

Nov, 2022

大规模语言模型在文本生成方面产生了重大影响，难以区分机器和人类生成的文本的界限提出了新的挑战，而且阻碍了黑盒 LLMs 的准确检测方法。为了解决这些限制，提出了一种创新的框架 Distribution-Aligned LLMs Detection (DALD)，在没有源 LLMs 的准确日志的情况下，通过对公开可访问的高级模型（如 ChatGPT、GPT-4 和 Claude-3）的样本进行细化调优，实现了与未知源模型分布的同步，从而提高了检测能力和对快速模型迭代的韧性。

Jun, 2024