预训练语言模型的廉价领域自适应：生物医学实体识别和 Covid-19 问答的案例研究

Apr, 2020

预训练语言模型的廉价领域自适应：生物医学实体识别和 Covid-19 问答的案例研究

Inexpensive Domain Adaptation of Pretrained Language Models: Case Studies on Biomedical NER and Covid-19 QA

Nina Poerner, Ulli Waltinger, Hinrich Schütze

TL;DR本文介绍了基于目标域文本的 Word2Vec 的训练和对齐策略，用于适应已有的预训练语言模型，并在生物医学实体识别任务和 Covid-19 问答任务上取得了 60% 的 BioBERT-BERT F1 差距的覆盖率，且成本仅相当于 BioBERT 的 5% 的 CO2 排放和 2% 的云计算成本。

Abstract

domain adaptation of pretrained language models (PTLMs) is typically achieved by unsupervised pretraining on target-domain text. While successful, this approach is expensive in terms of hardware, runtime and CO_2

domain adaptation pretrained language models word2vec biomedical named entity recognition covid-19

发现论文，激发创造

针对生物医学自然语言处理的领域特定语言模型预训练

本文通过编制全面的生物医学 NLP 基准测试集，证明了在丰富的未标记文本的领域中，从头开始针对特定领域的预训练语言模型相对于持续预训练通用领域语言模型，能够显著提高生物医学 NLP 任务的效果，并发现一些常用做法不必要。我们为社区发布了我们的最新预训练和任务特定模型，并创建了一个包含我们的 BLURB 基准测试的排行榜。

Jul, 2020

适应并蒸馏：为特定领域开发小型、快速且高效的预训练语言模型

本文介绍了一种开发特定领域小型、快速和有效的预训练模型的通用方法，该方法通过对通用预训练模型进行调整，以及在目标领域进行任务无关的知识蒸馏来实现。具体而言，在适应阶段，我们提出了领域特定词汇扩展，并使用语料库级别出现概率自动选择增量词汇表的大小。然后，我们系统地探索了压缩特定领域的大型预训练模型的不同策略。实验结果表明，我们的方法在生物医学和计算机科学领域的特定任务中表现优于 BERT BASE 模型，同时比 BERT BASE 小 3.3 倍，快 5.1 倍。

Jun, 2021

利用实体感知屏蔽策略提高低资源生物医学问答性能

本文提出了一种称为生物医学实体感知蒙版 (BEM) 的简单方法，以帮助受限于特定领域及其 COVID-19 文献的预训练语言模型进行微调，从而提升其生物医学问答数据集的性能。实验证明，该方法与先进模型具有相同的性能。

Feb, 2021

低资源领域适应的多阶段预训练

本文研究使用预训练语言模型的转移学习、领域特定术语扩展词汇表以及利用未标记数据结构创造辅助合成任务等方法，在 IT 领域的三个任务中，采用逐步应用的策略在预先训练的 Roberta-large LM 上显示出显着的性能提升。

Oct, 2020

面向西班牙语的生物医学和临床语言模型：中等资源情景下专业领域预训练的好处

本文介绍了针对西班牙语的生物医学和临床语言模型，通过实验不同的预训练选择和测试领域数据，生成可用于实际临床数据的模型，并通过对比 NER 任务，证实了进行特定领域的预训练对提高下游任务性能非常重要。

Sep, 2021

针对临床和生物医学文本理解的德语语言模型的综合研究

本文探讨了如何通过在特定领域数据上进行连续预训练，来适应领域特定需求，以提高医学自然语言处理任务的性能。实验证明，通过在临床数据或翻译文本上进行预训练已被证明是在医学领域适应性优化的可靠方法。

Apr, 2024

预训练数据分布对病理报告分类效果的研究

测试 4 个病理分类任务，涉及 2907 份前列腺癌病理报告，评估 5 个变压器预训练模型以及他们的不同预训练语料库，发现混合域和领域特定的模型在微调过程中具有更快的特征消歧能力，同时，混合域模型更具抗过度拟合性。同时，使用通用自然语言和特定领域语料库在预训练中互补起到了病理报告分类的作用。

May, 2023

用于定位医学 BERT 和增强生物医学 BERT 的预训练技术

本研究探讨了如何通过对特定语料库的过采样和使用更大的语料库进行预训练，在医学和其他领域中建立高性能的 BERT 模型以提高自然语言处理中信息提取的性能。

May, 2020

自适应分词的语言模型高效域适应

通过适应标记器，将预训练语言模型转移到新领域，提供了与基于专门领域的预训练方法相当的性能，同时生成的模型更小且训练和推断时间更短。

Sep, 2021

基于 Transformer 的生物医学语言模型的领域内适应性本地化

本文旨在探究两种途径从英语语料库中翻译生成的语言格式数据和本地化的语料库数据来建立生物医学语言模型，以应用在医疗领域中以提高患者护理和管理（本研究以意大利为例）。通过实验发现，在相对较小的语料库情况下，高质量数据的合并可以提高模型性能，但数据量的限制更为严格；本文的研究成果有望为意大利医院和学术界提供发展机遇，并为如何构建通用于其他不太具备资源的语言和不同领域设置的生物医学语言模型提供有价值的见解。

Dec, 2022