Geneverse: 用于基因组学和蛋白质组学研究的开源多模态大型语言模型集合

Jun, 2024

Geneverse: 用于基因组学和蛋白质组学研究的开源多模态大型语言模型集合

Geneverse: A collection of Open-source Multimodal Large Language Models for Genomic and Proteomic Research

Tianyu Liu, Yijia Xiao, Xiao Luo, Hua Xu, W. Jim Zheng...

TL;DR基因组学和蛋白质组学研究中的大型语言模型（LLMs）应用前景广阔。我们提出了一种名为 Geneverse 的针对基因组学和蛋白质组学研究中三个创新任务的经过微调的 LLMs 和多模态 LLMs（MLLMs）集合。Geneverse 模型基于领域特定的数据集进行训练和评估，我们使用高级的参数高效微调技术来实现模型适应性，包括生成基因功能描述、从蛋白质结构推理蛋白功能以及从空间转录组数据中选择标记基因。我们证明经过调适的 LLMs 和 MLLMs 在这些任务中表现良好，可能在准确性和结构正确性方面优于基于闭源的大规模模型。我们所使用的所有训练策略和基本模型均可以免费获取。

Abstract

The applications of large language models (LLMs) are promising for biomedical and healthcare research. Despite the availability of open-source LLMs trained using a wide range of biomedical data, current research on the applications of LLMs to →

large language models genomics proteomics finetuned llms multimodal llms

发现论文，激发创造

转型与超越：用于基因组的大型语言模型

基于转换器架构的大型语言模型（LLMs）在基因组学中扮演了转变性的角色。本文旨在成为对基因组数据感兴趣的计算生物学家和计算机科学家的指南，同时也希望为生物学家们介绍和讨论我们将来如何分析基因组数据的基本转变。

Nov, 2023

MEGAVERSE：跨语言、跨模态、跨模型和跨任务进行大型语言模型基准测试

通过评估 GPT-4 和 PaLM2 在 MEGAVERSE 数据集上的表现，研究发现这两个模型在多个任务上超过了 Llama 模型，尤其是在资源稀缺的语言中，其中 GPT-4 在更多的数据集上优于 PaLM2。然而，为了准确评估非英语语言上 LLM 的性能，我们需要解决数据污染等问题。

Nov, 2023

GenTranslate：大型语言模型是生成式跨语音和机器翻译器

利用大型语言模型的丰富语言知识和强大的推理能力，我们提出了一种新的生成式翻译范式 ——“GenTranslate”，可以从 N 个候选译文中生成更高质量的翻译结果，并且在各种语音和机器翻译基准测试中明显优于现有模型。

Feb, 2024

生物信息学研究中大型语言模型的评价

基于大型语言模型（LLMs）的研究和应用在生物信息学领域有着巨大潜力和效力，该研究通过分析各种关键生物信息学任务，证明了 LLMs（如 GPT 变体）在给定适当提示的情况下可以成功处理大多数任务，同时也分析了在复杂生物信息学任务中的局限性。

Feb, 2024

XGen-7B 技术报告

我们训练了 XGen，这是一系列包含 70 亿参数的模型，可支持长度达 8K 的序列，同时通过公共领域的指导数据进行了微调，与最先进的开源 LLMs 相比，在标准基准测试和长序列建模任务中表现出可比或更好的结果。

Sep, 2023

生物信息学中的大型语言模型：应用与展望

大型语言模型在生物信息学领域具有巨大潜力和前景，广泛应用于基因组学、转录组学、蛋白质组学、药物发现和单细胞分析等多个层面的生物信息学问题。

Jan, 2024

VeriGen: Verilog 代码生成的大型语言模型

通过在 Verilog 数据集上微调现有的 Large Language Models（LLMs），我们探索了使用 LLMs 自动生成高质量的 Verilog 代码的能力。微调后的开源 CodeGen-16B 模型在功能正确性上优于最先进的商业 GPT-3.5-turbo 模型，并在多样化和复杂的问题集中表现出竞争性能，尤其在某些场景下显示了对生成正确 Verilog 代码的潜力，突出了内部小型 LLMs 在硬件设计自动化方面的潜力。

Jul, 2023

评估大型语言模型在基因集功能发现中的应用

OpenAI 的 GPT-4 是一个基于生物医学知识的大型语言模型，能够从嵌入式知识中提出关于普遍基因功能的假设，为基因集分析提供可靠的功能概述和支持。

Sep, 2023

植物生物学中的大型语言模型

大语言模型如 ChatGPT 不仅限于人类语言，还可以分析 DNA、蛋白质和基因表达等串联数据，从而生成可应用于复杂模式识别和生物学解释的基础模型，本文评述了不同类型的大语言模型，并展示了它们在生物学领域中的最新应用，同时探讨了这些模型如何在植物界中进行部署。

Jan, 2024

UniGen：使用大型语言模型进行文本数据集生成的统一框架

UniGen 是一个综合的 LLM 框架，利用创新机制解决现有生成框架中的泛化、可控性、多样性和准确性等挑战，通过引入属性导向的生成模块和检查功能，以及基于代码的数学评估和检索增强生成技术，产生多样、准确和高度可控的数据，并支持用户指定的约束条件，满足特定需求。相比其他生成方法，UniGen 生成的数据质量更高，适用于动态演变的基准测试和数据增强，提升了 LLM 在代理能力和推理技能等领域的能力。

Jun, 2024