本文通过编制全面的生物医学 NLP 基准测试集，证明了在丰富的未标记文本的领域中，从头开始针对特定领域的预训练语言模型相对于持续预训练通用领域语言模型，能够显著提高生物医学 NLP 任务的效果，并发现一些常用做法不必要。我们为社区发布了我们的最新预训练和任务特定模型，并创建了一个包含我们的 BLURB 基准测试的排行榜。

Jul, 2020

本文介绍了针对西班牙语的生物医学和临床语言模型，通过实验不同的预训练选择和测试领域数据，生成可用于实际临床数据的模型，并通过对比 NER 任务，证实了进行特定领域的预训练对提高下游任务性能非常重要。

Sep, 2021

对 PLMs 在医学领域的表现进行了比较，提出了一种在法语领域预先训练 DrBERT 模型的方法，并且发布了该领域专用的 PLMs。

Apr, 2023

本研究探讨了如何通过对特定语料库的过采样和使用更大的语料库进行预训练，在医学和其他领域中建立高性能的 BERT 模型以提高自然语言处理中信息提取的性能。

May, 2020

本文介绍了 EriBERTa，一种在大量医疗和临床语料库上进行预训练的双语领域特定语言模型，并展示了其在医学文本理解和信息提取方面的优越能力，表现出有望实现知识从一种语言到另一种语言的转移。

Jun, 2023

本研究旨在探讨语言资源有限情况下，各种预先培训方法对土耳其临床语言模型在涉及放射学报告的多标签分类任务中表现的影响，并通过利用有限的临床任务数据首次评估了同时进行预训练的方法。我们发现，在使用大量通用域语料库的情况下，通用土耳其 BERT 模型和 TurkRadBERT-task v1 表现最佳。此外，本研究还强调了预先训练期间领域特定词汇对于增强模型性能的重要性。

May, 2023

通过研究多语言神经网络模型，使用深度学习，如基于 Transformer 的结构，我们在临床文本机器翻译方面进行了调查。此外，为了解决语言资源不平衡问题，我们还使用基于大规模多语言预训练语言模型（MMPLMs）的迁移学习方法进行了实验。在临床案例（CC）、临床术语（CT）和本体概念（OC）等三个子任务上的实验结果表明，我们的模型在 ClinSpEn-2022 共享任务中的英语 - 西班牙语临床领域数据中表现出了最佳水平。此外，基于专家评估的人工评估结果显示，小型预训练语言模型（PLM）在临床领域微调中以大幅度优于其他两个超大型语言模型，这是该领域前所未有的发现。最后，迁移学习方法在我们的实验设置中运行良好，使用 WMT21fb 模型适应了预训练阶段在 WMT21fb 中未见的西班牙语语言空间，这值得进一步探索临床知识转化方面，例如研究更多语言。这些研究结果可以为特定领域的机器翻译开发提供一些启示，尤其是在临床和医疗领域。在我们的工作基础上可以开展进一步的研究项目，以改进医疗文本分析和知识转化。

Dec, 2023

本研究介绍了一种专门为临床场景设计和优化的语言模型 ——ClinicalGPT，通过整合大量临床实际数据、领域特定知识和多轮次对话信息，使其更好地处理多种临床任务，并通过医学知识问答、医学考试、患者咨询和医疗记录的诊断分析等全面评估框架证明其在这些任务中显著优于其他模型，突出了我们的方法在将大型语言模型应用于卫生保健这一关键领域的有效性。

Jun, 2023

测试 4 个病理分类任务，涉及 2907 份前列腺癌病理报告，评估 5 个变压器预训练模型以及他们的不同预训练语料库，发现混合域和领域特定的模型在微调过程中具有更快的特征消歧能力，同时，混合域模型更具抗过度拟合性。同时，使用通用自然语言和特定领域语料库在预训练中互补起到了病理报告分类的作用。

May, 2023

本文介绍了一种使用预训练语言模型和迁移学习的基于词 / 子词级别的模型，用于分析医学领域的文本，并在自然语言推理任务中取得了 90.6% 的准确率，为医学领域的模型构建提供了一些有用的信息。

Jun, 2019