本文通过编制全面的生物医学 NLP 基准测试集，证明了在丰富的未标记文本的领域中，从头开始针对特定领域的预训练语言模型相对于持续预训练通用领域语言模型，能够显著提高生物医学 NLP 任务的效果，并发现一些常用做法不必要。我们为社区发布了我们的最新预训练和任务特定模型，并创建了一个包含我们的 BLURB 基准测试的排行榜。
Jul, 2020
本研究通过实证研究多个因素，如子单词词汇集、模型大小、预训练语料库和领域转移等，对领域语言应用的表现进行评估，结果表明使用更大的BioMegatron模型训练的表现更好，对于生物医学命名实体识别、关系抽取和问答等方面也有显著提高。
Oct, 2020
通过适应生物医学领域(PubMed、PubMed Central和MIMIC-III数据集)并微调了20个基准数据集上的6个任务，我们提出了BioALBERT，并展示了它在大部分任务中优于现有技术。
Jul, 2021
本文介绍了针对西班牙语的生物医学和临床语言模型，通过实验不同的预训练选择和测试领域数据，生成可用于实际临床数据的模型，并通过对比NER任务，证实了进行特定领域的预训练对提高下游任务性能非常重要。
Sep, 2021
本篇论文综述了近期预训练语言模型在生物医学领域的研究进展及其在生物医学下游任务中的应用，提出了现有生物医学PLMs的分类及其在下游任务中的应用，讨论了其限制与未来发展趋势。
Oct, 2021
通过现有语言模型、测试四个数据集，我们的研究表明，在生物医学NLP任务（关系提取）中，虽然一般领域的模型通常优于生物医学领域的模型，但生物医学数据集上的fine-tuning可以与一般数据集fine-tuning达到类似的效果，提示将研究重点放在大规模生物医学数据集fine-tuning上，而非构建特定领域的生物医学语言模型。
Feb, 2024
本文探讨了如何通过在特定领域数据上进行连续预训练，来适应领域特定需求，以提高医学自然语言处理任务的性能。实验证明，通过在临床数据或翻译文本上进行预训练已被证明是在医学领域适应性优化的可靠方法。
Apr, 2024
通过综合调查了解医学领域中的语言模型，并选择了一个子集进行评估，发现在资源受限的环境中，某些模型具有出色的性能，强调了在医学上进一步探索模型应用的潜力。
Jun, 2024
本研究解决了大型语言模型（LLMs）在生成临床预测概率时的可靠性问题。通过对比显式和隐式概率，该研究发现显式概率在区分、精确度和召回率方面的表现较差，尤其是在小型LLM和不平衡数据集上更为明显。这一发现强调了在临床应用中对生成概率的谨慎解读与研究的必要性。
Aug, 2024
本研究针对当前大型语言模型在处理域特定长文本时的信息稀疏性问题，提出了一种新的分层模型，该模型利用潜在目标词汇列表来提取候选句子，并将其上下文化嵌入表示为分类依据。研究结果表明，此模型在医学文档分类任务中优于现有的较大语言模型，具有显著的实际应用潜力。