本文研究使用预训练语言模型的转移学习、领域特定术语扩展词汇表以及利用未标记数据结构创造辅助合成任务等方法，在 IT 领域的三个任务中，采用逐步应用的策略在预先训练的 Roberta-large LM 上显示出显着的性能提升。

Oct, 2020

本文通过编制全面的生物医学 NLP 基准测试集，证明了在丰富的未标记文本的领域中，从头开始针对特定领域的预训练语言模型相对于持续预训练通用领域语言模型，能够显著提高生物医学 NLP 任务的效果，并发现一些常用做法不必要。我们为社区发布了我们的最新预训练和任务特定模型，并创建了一个包含我们的 BLURB 基准测试的排行榜。

Jul, 2020

本文提出了一种使用计算有效的适配器方法在多个不同领域适应的方法，其通过冻结预先训练的语言模型并与每个节点相关联的适配器权重组合，实现相关领域之间的参数共享。GPT-2 和 C4 中最多的 100 个网站上的实验结果表明，这种方法可以全面提高领域内性能，并提供了一种推理时间算法来推出新领域的泛化性能，同时只能增加成本。

Dec, 2021

这项研究系统地探索了领域专用语料库和各种迁移学习技术对信息检索任务的深度学习模型性能的影响，并提出了一个用于建筑、工程和建筑（AEC）领域的预训练领域专用语言模型。BERT 模型在所有 IR 任务中的表现明显优于传统方法，在 F1 得分中的最大改进分别为 5.4％和 10.1％。

Mar, 2022

我们提出了一种基于预训练语言模型的跨领域自动测量和上下文提取方法，并通过构建多源多领域语料库和训练端到端提取流水线，应用多源任务自适应预训练和微调方法来评估模型的跨领域泛化能力，并通过任务特定的误差分析得出未来工作的见解。我们的结果表明，多源训练导致最佳的整体结果，而针对各自单个领域的训练则产生最佳的结果。虽然我们的设置在提取数量值和单位方面取得了成功，但仍需进一步研究以改进上下文实体的提取。我们将本文中使用的跨领域语料库在线提供。

Aug, 2023

本文通过使用历史数据比较了预处理训练的生物医学领域模型（PLMs）和使用 Transformer 和 CRFs 模型的模型（TransformerCRF），并发现在临床文本挖掘任务中它们的性能表现最差。

Oct, 2022

本研究通过研究不同领域和任务的分类模型，验证了在特定领域和任务上进行二次预训练（领域自适应和任务自适应预训练）可以显著提高性能，同时也发现多阶段适应预训练在任务表现上取得了大幅提升。

Apr, 2020

本文研究如何针对不同领域生成相关的回答。通过探讨交错训练、多领域学习和基于域特定频率的加权训练方法，我们提出了一种新的词级别重要性权重度量 DF，并通过将其整合到损失函数中，得到了显著的改进。

May, 2022

本文提出了一种基于大规模预训练语言模型的领域数据选择方法，通过度量句子的隐式相似性进行聚类，仅需要少量数据即可有效提高神经机器翻译的准确性。

Apr, 2020

这篇论文研究了大型语言模型（LLMs）中不断学习（CL）领域的发展，重点是开发高效和可持续经验的训练策略。通过不断适应域预训练，我们的研究评估了 LLMs 在不同数据环境中的适应性和能力，并引入了一个新的基准来衡量这种适应能力，揭示了关于知识转移和模型大小的若干关键见解。

Feb, 2024