对 PLMs 在医学领域的表现进行了比较，提出了一种在法语领域预先训练 DrBERT 模型的方法，并且发布了该领域专用的 PLMs。

Apr, 2023

这篇论文是关于对医学法语遮蔽语言模型在临床命名实体识别任务上的评估研究，发现 CamemBERT-bio 在性能上表现优于 DrBERT，而 FlauBERT 则具有竞争力，FrALBERT 的碳排放量最低。这是首个基准评估了法语医学遮蔽语言模型在临床实体识别方面的性能，并比较了其在嵌套实体识别上的性能和环境影响。

Mar, 2024

该论文描述了一个开放的俄罗斯医学语言理解基准，包括分类、问答、自然语言推理、命名实体识别等多种任务类型，以及新的文本集合，提供统一格式标注、数据分割和评估指标，还实现了多个基准模型，从简单模型到具有变形金刚架构的神经网络模型，预计高级模型表现更好，但即使是简单模型在某些任务上也可以得到不错的结果。

Jan, 2022

本文通过编制全面的生物医学 NLP 基准测试集，证明了在丰富的未标记文本的领域中，从头开始针对特定领域的预训练语言模型相对于持续预训练通用领域语言模型，能够显著提高生物医学 NLP 任务的效果，并发现一些常用做法不必要。我们为社区发布了我们的最新预训练和任务特定模型，并创建了一个包含我们的 BLURB 基准测试的排行榜。

Jul, 2020

为了解决医学大语言模型的评估工作耗时且需要大量人力的问题，我们引入了 MedBench，这是一个综合性的基准测试，包括来自医学各领域的 40,041 个问题。通过对医学语言学习模型的知识掌握和推理能力进行评估，MedBench 建立了一个可靠的标准，揭示了医学大语言模型的能力和限制，以帮助医学研究社区。

Dec, 2023

本篇论文综述了近期预训练语言模型在生物医学领域的研究进展及其在生物医学下游任务中的应用，提出了现有生物医学 PLMs 的分类及其在下游任务中的应用，讨论了其限制与未来发展趋势。

Oct, 2021

通过适应生物医学领域 (PubMed、PubMed Central 和 MIMIC-III 数据集) 并微调了 20 个基准数据集上的 6 个任务，我们提出了 BioALBERT，并展示了它在大部分任务中优于现有技术。

Jul, 2021

最近，大型语言模型 (LLM) 在解决各种任务方面展现了令人印象深刻的能力。然而，尽管在各种任务中取得了成功，但以前的研究尚未调查它们在生物医学领域的能力。为此，本文旨在评估 LLMs 在基准生物医学任务中的性能。为此，我们对 26 个数据集中 6 个不同生物医学任务的 4 种流行 LLMs 进行了全面评估。据我们所知，这是第一次在生物医学领域对各种 LLMs 进行广泛评估和比较。有趣的是，基于我们的评估结果我们发现，在具有较小训练集的生物医学数据集中，零次矫正的 LLMs 甚至在效果上超过了当前最先进的生物医学模型。这表明，在大型文本语料库上进行预训练使 LLMs 在生物医学领域具有了相当专业的能力。我们还发现，在所有任务中没有单个 LLM 能够胜过其他 LLMs，不同 LLMs 的性能可能会因任务而异。尽管与在大型训练集上进行精细调整的生物医学模型相比，它们的性能仍然相当差，但我们的研究结果表明，LLMs 在缺乏大规模注释数据的各种生物医学任务中具有潜在的价值工具。

Oct, 2023

本研究采用新的基准测试方法，重点评估了 13 种 Transformer 模型在两个已有的法语口语理解任务中的质量和其生态影响，并证明了压缩模型可以取得较大模型相似的结果，同时具有较小的生态环境影响。

Jul, 2022

本文介绍了 Biomedical Language Understanding Evaluation (BLUE) benchmark，该基准旨在促进预训练语言表示在生物医学领域的发展研究。我们评估了多个基于 BERT 和 ELMo 的基线，并发现在 PubMed 文摘和 MIMIC-III 临床笔记上预训练的 BERT 模型取得了最佳结果。

Jun, 2019