本研究通过实证研究多个因素，如子单词词汇集、模型大小、预训练语料库和领域转移等，对领域语言应用的表现进行评估，结果表明使用更大的BioMegatron模型训练的表现更好，对于生物医学命名实体识别、关系抽取和问答等方面也有显著提高。

Oct, 2020

本篇论文综述了近期预训练语言模型在生物医学领域的研究进展及其在生物医学下游任务中的应用，提出了现有生物医学PLMs的分类及其在下游任务中的应用，讨论了其限制与未来发展趋势。

Oct, 2021

本研究旨在通过建立多样化跨不同领域和时间段的8个任务套件，量化时间错位对NLP模型性能的影响。我们发现时间错位对任务性能的影响比先前报告的要大，结论表明仍需继续研究以提高NLP模型的时间强度。

Nov, 2021

我们介绍了 BigBIO 项目，这是一个包含 126 个以上生物医学 NLP 数据集的社区库，可用于训练和评估语言模型，其数据集的元数据和编程访问支持元数据集合的构建，并且支持End-to-End的零样本任务。

Jun, 2022

最近，大型语言模型 (LLM) 在解决各种任务方面展现了令人印象深刻的能力。然而，尽管在各种任务中取得了成功，但以前的研究尚未调查它们在生物医学领域的能力。为此，本文旨在评估LLMs在基准生物医学任务中的性能。为此，我们对26个数据集中6个不同生物医学任务的4种流行LLMs进行了全面评估。据我们所知，这是第一次在生物医学领域对各种LLMs进行广泛评估和比较。有趣的是，基于我们的评估结果我们发现，在具有较小训练集的生物医学数据集中，零次矫正的LLMs甚至在效果上超过了当前最先进的生物医学模型。这表明，在大型文本语料库上进行预训练使LLMs在生物医学领域具有了相当专业的能力。我们还发现，在所有任务中没有单个LLM能够胜过其他LLMs，不同LLMs的性能可能会因任务而异。尽管与在大型训练集上进行精细调整的生物医学模型相比，它们的性能仍然相当差，但我们的研究结果表明，LLMs在缺乏大规模注释数据的各种生物医学任务中具有潜在的价值工具。

Oct, 2023

利用指令调整（instruction tuning）技术，对两个规模庞大的通用语言模型进行研究，以期在生物医学自然语言处理任务上取得类似于BioBERT和BioClinicalBERT等特定编码器模型的结果，并提供了相应的代码、模型和基于指令的数据集。

Dec, 2023

AI在生物医学领域的应用包括使用大型语言模型来处理生物医学数据，如文本数据、生物序列和脑信号，并面临着可信性、个性化和多模态数据表示等挑战。

Mar, 2024

通过综合调查了解医学领域中的语言模型，并选择了一个子集进行评估，发现在资源受限的环境中，某些模型具有出色的性能，强调了在医学上进一步探索模型应用的潜力。

Jun, 2024

生物医学知识、大型语言模型、假设生成、不确定性与生物医学发现是本研究的关键词和主题，在综合评估了大型语言模型作为生物医学假设生成器的能力后，研究发现大型语言模型可以生成新颖且经过验证的假设，而多智体交互和工具使用可以提高零样本假设生成的性能，并针对外部知识的类型和范围提出了需谨慎考虑的观点，为进一步研究提供了有价值的洞见。

Jul, 2024

本研究探讨了生物医学领域特定微调的大语言模型在面对不同临床任务时的有效性，发现其大多数情况下表现不及通用模型。特别是在缺乏医学知识的任务中，小型生物医学模型表现尤为逊色。这一发现挑战了当前关于领域特定微调的假设，并强调了在医疗人工智能中需要更严格的评估框架。

Aug, 2024