在真实世界中，语言模型在超出分布范围的场景中的泛化能力变得更低，基于提示的微调方法在语义差异较大的任务中表现更好，而基于梯度的学习存在结构障碍的偏差问题。

Sep, 2023

本文提出了 CodeS, 一个用于源代码学习的分布式模型的测试基准数据集，实验证明，在源代码任务中，其他领域的模型无法普遍适用，所有的代码分类模型都存在分布转变且受到表示性分布的影响更大，而预训练的双模型相对分布分离的适应性较强。

Jun, 2022

大规模语言模型在编程语言分析中被广泛应用以提高人类生产力。本研究通过引入大规模基准数据集，调查了应用概率方法来处理与代码分布变化相关的问题，结果表明这些方法能够提高 CodeLlama 的不确定性感知能力，并增加校准质量和不确定性估计精度。然而，在不同标准（如校准误差与错误分类检测）和效能与效率之间存在不同的性能动态，强调了需根据特定环境进行方法选择的必要性。

Jan, 2024

本文介绍了一种模块化的领域适应过程，强调模型生成者和模型使用者可以独立合作，以便更准确地测量文本特性。通过使用两种轻量级技术，本文在使用线性和上下文嵌入模型的四个多域文本分类数据集上证明了这些技术的可靠性，以提高领域外精度，并提出了对模型生成者和使用者的建议。

Apr, 2022

本文研究了文本摘要技术中的领域转移问题，提出了将领域的定义从类别扩展到数据源，并探讨了四种不同的学习策略以解决领域转移问题，在新测试中呈现出不同的性能特点。

Aug, 2019

通过广泛的评估工作，我们研究了当前多模态大型语言模型在超出分布情景和特定领域任务下的泛化边界。实证结果表明，多模态大型语言模型在常见训练域之外的泛化上存在困难，需要经过适应性的直接应用。我们进一步探索了上下文学习在分布偏移下的鲁棒性，并展示了它在领域偏移、标签偏移和上下文示例与测试数据之间的虚假相关偏移中的脆弱性。

Feb, 2024

通过实验发现多语言模型存在在未知领域的过度拟合问题，在跨语言迁移的设置下，语言和领域的差异对测试结果产生了影响；进一步提出两种新的方法来解决这个问题，通过利用最新大型语言模型避免昂贵的标注过程，通过对 13 种语言的测试集进行评估，结果表明这些方法在 Amazon 和 Restaurant 评论中的准确度比 CAD 方法提高了 3.1%。

Nov, 2023

M2D2 是一个细粒度的、大规模的多域语料库，用于研究语言模型中的域适应。该语料库包含来自维基百科和语义学者的 145 个域，共计 8.5B 个标记。使用来自维基百科和 ArXiv 分类的本体结构，我们将每个数据源中的域组织到 22 个组中。

Oct, 2022

本文介绍了一种开发特定领域小型、快速和有效的预训练模型的通用方法，该方法通过对通用预训练模型进行调整，以及在目标领域进行任务无关的知识蒸馏来实现。具体而言，在适应阶段，我们提出了领域特定词汇扩展，并使用语料库级别出现概率自动选择增量词汇表的大小。然后，我们系统地探索了压缩特定领域的大型预训练模型的不同策略。实验结果表明，我们的方法在生物医学和计算机科学领域的特定任务中表现优于 BERT BASE 模型，同时比 BERT BASE 小 3.3 倍，快 5.1 倍。

Jun, 2021

提出一种在测试时使用少量无标签数据进行模型适应以应对分布偏移的方法，通过利用预训练模型和源域的相关信息从有限数据中提取领域知识，并通过建立知识库、领域特定提示生成器、引导模块、领域感知对比损失和元学习等技术实现领域知识的提取。在多个基准测试中验证了该方法，表明该方法在领域知识提取方面优于之前的工作。

May, 2024