开发类似GPT-3的自回归生成语言模型用于DNA序列，研究了RNNs和N-grams在处理人类基因中的核苷酸序列时的表现以及选择具有最小词汇量的语言对数据需求的影响。

Jul, 2023

该研究评估了领先的大型语言模型（LLMs），包括GPT-4、GPT-3.5、PaLM2、Claude2和SenseNova对概念生物学问题的回答能力。结果表明，GPT-4在逻辑推理方面表现出色，并具备数据分析、假设生成和知识整合等能力，从而有望在生物学研究中发挥作用，但还需要进一步的发展和验证。

Nov, 2023

基于转换器架构的大型语言模型（LLMs）在基因组学中扮演了转变性的角色。本文旨在成为对基因组数据感兴趣的计算生物学家和计算机科学家的指南，同时也希望为生物学家们介绍和讨论我们将来如何分析基因组数据的基本转变。

Nov, 2023

大语言模型如ChatGPT不仅限于人类语言，还可以分析DNA、蛋白质和基因表达等串联数据，从而生成可应用于复杂模式识别和生物学解释的基础模型，本文评述了不同类型的大语言模型，并展示了它们在生物学领域中的最新应用，同时探讨了这些模型如何在植物界中进行部署。

Jan, 2024

大型语言模型在生物信息学领域具有巨大潜力和前景，广泛应用于基因组学、转录组学、蛋白质组学、药物发现和单细胞分析等多个层面的生物信息学问题。

Jan, 2024

大型语言模型 (LLMs) 在增强自然语言理解方面具有变革性的力量，代表着朝着人工通用智能迈出的重要一步。科学LLMs是一个新兴的领域，专门针对促进科学发现进行工程化设计。本文详细调查了科学LLMs，并围绕生物化学领域进行了深入研究，包括文本知识、小型分子、大分子蛋白质、基因组序列以及它们的组合，从模型架构、能力、数据集和评估等方面进行了分析。最后，我们批判性地审查了当前的挑战，并指出了前景广阔的研究方向以及LLMs的进展。通过提供对该领域技术发展的全面概述，本调查力求成为研究人员在科学LLMs复杂领域中的宝贵资源。

Jan, 2024

基于大型语言模型（LLMs）的研究和应用在生物信息学领域有着巨大潜力和效力，该研究通过分析各种关键生物信息学任务，证明了LLMs（如GPT变体）在给定适当提示的情况下可以成功处理大多数任务，同时也分析了在复杂生物信息学任务中的局限性。

Feb, 2024

该研究对250个科学领域的大型语言模型进行了全面调研，揭示了它们在架构和预训练技术上的交叉领域和跨模态连接，并总结了每个领域和模态的预训练数据集和评估任务。此外，还研究了大型语言模型在科学发现中的应用。

Jun, 2024

基因组学和蛋白质组学研究中的大型语言模型（LLMs）应用前景广阔。我们提出了一种名为Geneverse的针对基因组学和蛋白质组学研究中三个创新任务的经过微调的LLMs和多模态LLMs（MLLMs）集合。Geneverse模型基于领域特定的数据集进行训练和评估，我们使用高级的参数高效微调技术来实现模型适应性，包括生成基因功能描述、从蛋白质结构推理蛋白功能以及从空间转录组数据中选择标记基因。我们证明经过调适的LLMs和MLLMs在这些任务中表现良好，可能在准确性和结构正确性方面优于基于闭源的大规模模型。我们所使用的所有训练策略和基本模型均可以免费获取。

Jun, 2024

本研究解决了在蛋白质序列生成中可用数据有限的问题，通过重新训练包括Mistral-7B、Llama-2-7B、Llama-3-8B和gemma-7B在内的预训练大型语言模型，使其能够生成生物上合理的蛋白质结构。研究结果表明，即使在仅有42,000个独特人类蛋白质序列的数据集上，这些模型的表现与使用数百万蛋白质序列训练的专业模型相当，推动了计算生物学领域的透明度和合作。

Aug, 2024