通过实验发现多语言模型存在在未知领域的过度拟合问题，在跨语言迁移的设置下，语言和领域的差异对测试结果产生了影响；进一步提出两种新的方法来解决这个问题，通过利用最新大型语言模型避免昂贵的标注过程，通过对 13 种语言的测试集进行评估，结果表明这些方法在 Amazon 和 Restaurant 评论中的准确度比 CAD 方法提高了 3.1%。

Nov, 2023

通过广泛的评估工作，我们研究了当前多模态大型语言模型在超出分布情景和特定领域任务下的泛化边界。实证结果表明，多模态大型语言模型在常见训练域之外的泛化上存在困难，需要经过适应性的直接应用。我们进一步探索了上下文学习在分布偏移下的鲁棒性，并展示了它在领域偏移、标签偏移和上下文示例与测试数据之间的虚假相关偏移中的脆弱性。

Feb, 2024

本文重新审视了自然语言处理领域中关于评估 out-of-distribution 鲁棒性的相关研究，并提出了一个基准套件（BOSS），通过其中包含的 5 项任务和 20 个数据集来评估 pre-trained large language models 和 5 种经典方法在分布转移时的性能，结果发现在 ID 示例中，微调特定领域模型的性能明显优于 LLMs，在 OOD 示例中，优先考虑具有上下文学习的 LLMs 结果更好，但大规模的微调和大型 LLMs 都面临着有效解决下游任务的挑战。

Jun, 2023

对大规模语言模型在超出预定义领域内意图检测任务中的能力进行了综合评估，揭示了它们的优势和劣势，发现 LLMs 表现出强大的零样本和少样本能力，但与使用完整资源进行微调的模型相比仍存在劣势。通过进一步的分析实验，讨论总结了 LLMs 面临的挑战，并提出了对未来工作的指导，包括注入领域知识、加强从领域内到超领域的知识转移和理解长指令。

Feb, 2024

通过对大型语言模型进行实证研究，本文发现余弦距离的异常检测器表现出卓越的效力，优于其他异常检测器，并通过强调大型语言模型嵌入空间的各向同性特征，提供了对这一现象的有趣解释，进一步增强了我们对大型语言模型在检测异常数据方面的适应性和可靠性。

Aug, 2023

通过研究两个大型语言模型 CodeT5 和 Codex 在代码领域外具有的一般化能力，我们发现多任务学习与少许训练数据的微调相结合的方法能够很好地适应不同域的代码摘要和生成需求。

Mar, 2023

本研究探讨了预训练大型生成语言模型在语义解析任务中在上下文学习时的分布内和分布外表现差异以及模型规模的影响，结果显示随着模型规模的增加，相对泛化差距逐渐减小。

Nov, 2022

本研究旨在探索预训练语言模型对领域转移能力的预测，并证明基于特征归因的因子对于预测模型领域转移能力具有一定的作用。

Oct, 2022

本篇研究论文探讨了自然语言处理中机器学习系统在处理超出标准数据集范畴的数据时的适用性，并在文本分类中研究了其可靠性及可能存在的偏差。此外，本文对该主题的最新进展、方法和评估进行了综述，并讨论了涉及的挑战和未来的研究方向。

May, 2023

本研究系统地探讨了在预训练语言模型（Pre-trained Language Models）规模扩大或转移方法改变时，检测样本分布变化的能力如何随之改变，着重评估了各种 PETL 技术在三个不同意图分类任务上的效果。

Jan, 2023