Feb, 2024

FGBERT：用于宏基因组学的功能驱动预训练基因语言模型

PDF
TL;DR通过蛋白质基因表示为基础，引入了一种上下文感知和结构相关的分词器，即 Masked Gene Modeling（MGM）用于基因组级预训练，Triple Enhanced Metagenomic Contrastive Learning（TEM-CL）用于基因级预训练，提出了一种新颖的 metagenomic language model（NAME），基于 1 亿个元基因组序列进行了预训练，并在八个数据集上展示了其卓越性能。
metagenomic datagene representationmasked gene modelingtriple enhanced metagenomic contrastive learningmetagenomic language model
发现论文，激发创造
  • GeneMask：基因序列的快速预训练以实现少样本学习

    提出了一种新的掩码算法 GeneMask，用于基因序列的掩码语言模型训练，该模型在四个基准基因序列分类数据集的五个少样本设置中明显优于当前最先进模型 DNABert 和 LOGO，同时训练时间不到原始模型的十分之一。

    Jul, 2023

  • 基因聚类的自然语言处理

    本文提出一种使用 BERT 和文本处理方法编码基因功能，并将其进行多维数据降维和聚类，以优化 mRNA 测序中基因数据分析流程的方法。通过对 180 种不同方法的性能评估选择最高效的流程，并通过聚类指数和专家评审进行了评估。

    Jul, 2022

  • 评估大型语言模型在基因集功能发现中的应用

    OpenAI 的 GPT-4 是一个基于生物医学知识的大型语言模型，能够从嵌入式知识中提出关于普遍基因功能的假设，为基因集分析提供可靠的功能概述和支持。

    Sep, 2023

  • ProGen: 蛋白质生成的语言建模

    利用 1.2B 的参数语言模型 ProGen，将蛋白质工程视为无监督的序列生成问题，以此利用缺乏昂贵结构注释的蛋白质的日益增长的集合，从而生成出更具有进化多样性的序列，为解决合成生物学、医学和材料科学等领域的根本问题提供了可能。

    Mar, 2020

  • 使用大语言模型进行基因集总结

    本研究提出了一种基于 GPT 模型的新的基因集功能摘要方法，该方法使用结构化文本、自由叙述基因概要或直接模型检索等来源来生成 GO 术语列表，但并不能依靠本方法来代替标准术语富集分析，手动筛选方法仍然必要。

    May, 2023

  • Geneverse: 用于基因组学和蛋白质组学研究的开源多模态大型语言模型集合

    基因组学和蛋白质组学研究中的大型语言模型（LLMs）应用前景广阔。我们提出了一种名为 Geneverse 的针对基因组学和蛋白质组学研究中三个创新任务的经过微调的 LLMs 和多模态 LLMs（MLLMs）集合。Geneverse 模型基于领域特定的数据集进行训练和评估，我们使用高级的参数高效微调技术来实现模型适应性，包括生成基因功能描述、从蛋白质结构推理蛋白功能以及从空间转录组数据中选择标记基因。我们证明经过调适的 LLMs 和 MLLMs 在这些任务中表现良好，可能在准确性和结构正确性方面优于基于闭源的大规模模型。我们所使用的所有训练策略和基本模型均可以免费获取。

    Jun, 2024

  • 利用全局生成模型探索蛋白质序列空间

    该研究总结了在蛋白质研究中使用语言模型的应用，包括设计新型人工蛋白质、使用非 Transformer 结构以及应用于定向进化方面。这些成果已经快速提升了蛋白质研究的发展和性能。

    May, 2023

  • MGI: 基因组和医学影像的多模态对比预训练

    提出了一种多模态预训练框架，通过整合基因组学和医学图像数据，在肿瘤分割任务中优于相关方法。

    Jun, 2024

  • 基因诱导的多模态预训练用于图像组学分类

    该研究提出了一种基因诱导的多模态预训练（GiMP）框架，通过整合基因组学和全面切片图像（WSIs）进行分类任务，处理了多模态图像组合分类的主要挑战，并实现了 99.47% 的准确率。

    Sep, 2023

  • Prot2Text: GNNs 与 Transformers 实现的多模态蛋白质功能生成

    使用图神经网络和大型语言模型在编码器 - 解码器框架中，本研究提出了一种新颖的方法 Prot2Text，以自由文本形式预测蛋白质的功能，超越传统的二分类或多分类任务，该多模态方法综合蛋白质序列、结构和文本注释等多种数据类型，实现了对蛋白质功能的整体表示，提供了详细准确的描述，通过从 SwissProt 中提取多模态蛋白质数据集对模型进行评估，结果表明了多模态模型的转变性影响，特别是图神经网络和大型语言模型的融合，为研究人员提供了更准确预测蛋白质功能的强大工具，代码、模型和演示将公开发布。

    Jul, 2023