Mar, 2020

ProGen: 蛋白质生成的语言建模

PDF
TL;DR利用 1.2B 的参数语言模型 ProGen，将蛋白质工程视为无监督的序列生成问题，以此利用缺乏昂贵结构注释的蛋白质的日益增长的集合，从而生成出更具有进化多样性的序列，为解决合成生物学、医学和材料科学等领域的根本问题提供了可能。
发现论文，激发创造
  • ProGen2：探索蛋白质语言模型的界限

    介绍了一套名为 ProGen2 的蛋白质语言模型，它具有 64 亿个参数，在来自多种数据库的超过 10 亿个蛋白质序列数据集上进行训练。ProGen2 模型表现出捕获已观察到的进化序列分布，生成新的可行序列以及在不需要额外微调的情况下预测蛋白质适应性的最佳性能。研究表明在向蛋白质序列模型提供数据分布时需要越来越多的关注点。

    Jun, 2022

  • 利用全局生成模型探索蛋白质序列空间

    该研究总结了在蛋白质研究中使用语言模型的应用，包括设计新型人工蛋白质、使用非 Transformer 结构以及应用于定向进化方面。这些成果已经快速提升了蛋白质研究的发展和性能。

    May, 2023

  • 利用深度生成模型进行蛋白质序列设计

    该论文综述了近期将机器学习应用于蛋白质序列优化的发展，重点介绍了深度生成方法对这一过程的促进作用。

    Apr, 2021

  • 使用等变去噪扩散概率模型生成蛋白质结构与序列

    本文引入了一种生成模型，旨在设计具有特定 3D 结构和化学性质的蛋白质，以实现特定的功能。通过实验数据全面学习，该模型可生成全原子骨架构象以及序列和侧链预测，实现了分子生成建模方法的显著扩大。

    May, 2022

  • 逐个原子生成蛋白质及其超越：基于语言模型的研究

    蛋白质语言模型和化学语言模型可以学习蛋白质的原子级表示，实现无限制的蛋白质生成，包括修改侧链和生成蛋白质 - 药物结合物，展示了语言模型在原子级别的生物分子设计的潜力。

    Aug, 2023

  • 利用大规模预训练语言模型建模蛋白质

    使用大规模的语言模型，可以从蛋白质序列中准确捕捉到进化信息，并在标记层和序列层任务中取得了显着的改进。

    Aug, 2021

  • PoET: 蛋白家族的生成模型，作为序列组成的序列

    提出了一种全新的蛋白质进化转换器（PoET）, 它是一种自回归生成整个蛋白家族的模型，可以用作检索嵌入式语言模型，从而生成和评分任意修饰物，并对深度突变扫描数据集进行广泛实验，可以改善所有 MSA 深度的蛋白质变体效应预测。

    Jun, 2023

  • ProPath：变异致病性的疾病特异性蛋白质语言模型

    我们提出了一种疾病特异性的蛋白质语言模型 ProPath，通过孪生网络捕捉罕见错义变异的伪对数似然比，从而解决了临床基因变异的分类问题，并在家族性心肌病和心律失常的临床变异集中取得了最好的性能表现。

    Nov, 2023

  • InstructProtein: 通过知识指导对齐人类和蛋白质语言

    InstructProtein 是一种具备双向生成能力的语言模型，用于预测蛋白质的功能描述并通过自然语言促使蛋白质序列生成，通过预训练和基于知识图谱的指导数据生成框架，解决了蛋白质序列理解和人类语言理解之间的差距。

    Oct, 2023

  • OntoProtein: 基因本体嵌入的蛋白质预训练

    OntoProtein 是第一个将 GO 结构应用于蛋白质预训练的通用框架，通过与知识图谱和蛋白质嵌入的联合优化，能够优化蛋白质表示并在蛋白质相互作用和蛋白质功能预测方面实现更好的性能。

    Jan, 2022