May, 2023

利用全局生成模型探索蛋白质序列空间

PDF
TL;DR该研究总结了在蛋白质研究中使用语言模型的应用，包括设计新型人工蛋白质、使用非 Transformer 结构以及应用于定向进化方面。这些成果已经快速提升了蛋白质研究的发展和性能。
specialized architectureslanguage modelsprotein researchprotein generative modelsdirected evolution
发现论文，激发创造
  • ProtChatGPT: 面向理解蛋白质的大型语言模型

    ProtChatGPT 通过自然语言学习和理解蛋白质结构，使用户能够上传蛋白质、提问和进行互动对话以生成全面答案，为蛋白质研究提供了新的可能性。

    Feb, 2024

  • ProGen: 蛋白质生成的语言建模

    利用 1.2B 的参数语言模型 ProGen，将蛋白质工程视为无监督的序列生成问题，以此利用缺乏昂贵结构注释的蛋白质的日益增长的集合，从而生成出更具有进化多样性的序列，为解决合成生物学、医学和材料科学等领域的根本问题提供了可能。

    Mar, 2020

  • 人类基因核苷酸序列的生成式语言模型

    开发类似 GPT-3 的自回归生成语言模型用于 DNA 序列，研究了 RNNs 和 N-grams 在处理人类基因中的核苷酸序列时的表现以及选择具有最小词汇量的语言对数据需求的影响。

    Jul, 2023

  • 利用大规模预训练语言模型建模蛋白质

    使用大规模的语言模型，可以从蛋白质序列中准确捕捉到进化信息，并在标记层和序列层任务中取得了显着的改进。

    Aug, 2021

  • ProGen2：探索蛋白质语言模型的界限

    介绍了一套名为 ProGen2 的蛋白质语言模型，它具有 64 亿个参数，在来自多种数据库的超过 10 亿个蛋白质序列数据集上进行训练。ProGen2 模型表现出捕获已观察到的进化序列分布，生成新的可行序列以及在不需要额外微调的情况下预测蛋白质适应性的最佳性能。研究表明在向蛋白质序列模型提供数据分布时需要越来越多的关注点。

    Jun, 2022

  • Prot2Text: GNNs 与 Transformers 实现的多模态蛋白质功能生成

    使用图神经网络和大型语言模型在编码器 - 解码器框架中，本研究提出了一种新颖的方法 Prot2Text，以自由文本形式预测蛋白质的功能，超越传统的二分类或多分类任务，该多模态方法综合蛋白质序列、结构和文本注释等多种数据类型，实现了对蛋白质功能的整体表示，提供了详细准确的描述，通过从 SwissProt 中提取多模态蛋白质数据集对模型进行评估，结果表明了多模态模型的转变性影响，特别是图神经网络和大型语言模型的融合，为研究人员提供了更准确预测蛋白质功能的强大工具，代码、模型和演示将公开发布。

    Jul, 2023

  • 利用深度生成模型进行蛋白质序列设计

    该论文综述了近期将机器学习应用于蛋白质序列优化的发展，重点介绍了深度生成方法对这一过程的促进作用。

    Apr, 2021

  • 赋予蛋白质语言模型结构知识

    利用蛋白质结构数据提升蛋白质语言模型的新框架，通过整合结构信息和结构提取模块，优化了预训练语言模型的自注意机制，此框架在蛋白质功能预测上表现优越，为蛋白质建模提供更有效和高效的方法。

    Jan, 2024

  • 应用生成预训练自回归转换器图神经网络分析和发现新型蛋白质

    利用基于语言模型的灵活深度学习策略，基于一个完全基于提示的模型，将 transformer 和图卷积架构集成到因果多头图机制中，实现一个生成预训练模型，用于预测蛋白质的二级结构内容、蛋白质可溶性和蛋白质测序等任务，并可用于设计具有这些特性的蛋白质，这个模型展现了多任务和协同作用的应用价值。

    May, 2023

  • 逐个原子生成蛋白质及其超越：基于语言模型的研究

    蛋白质语言模型和化学语言模型可以学习蛋白质的原子级表示，实现无限制的蛋白质生成，包括修改侧链和生成蛋白质 - 药物结合物，展示了语言模型在原子级别的生物分子设计的潜力。

    Aug, 2023