May, 2023

应用生成预训练自回归转换器图神经网络分析和发现新型蛋白质

PDF
TL;DR利用基于语言模型的灵活深度学习策略，基于一个完全基于提示的模型，将 transformer 和图卷积架构集成到因果多头图机制中，实现一个生成预训练模型，用于预测蛋白质的二级结构内容、蛋白质可溶性和蛋白质测序等任务，并可用于设计具有这些特性的蛋白质，这个模型展现了多任务和协同作用的应用价值。
protein modelingdeep learninggenerative modelmultitaskingsynergies
发现论文，激发创造
  • Tranception: 利用自回归转换器和推断时检索进行蛋白质适应性预测

    介绍了使用 Tranception 模型和 ProteinGym 数据集实现蛋白质序列的健康预测的方法。

    May, 2022

  • 预训练图循环网络用于语言表示

    本研究提出了一种基于图循环网络的语言模型预训练方法，其在性能、效率和生成多样性方面优于基于注意力机制的 Transformer，用于自监督学习的时候有较高的潜力。

    Sep, 2022

  • 利用 Transformer 神经网络同时考虑序列和结构进行蛋白质预测任务

    本研究通过转换神经网络来实现蛋白质序列与三级结构的联合表示，进而提高了与功能相关的预测任务的表现，包括超家族成员预测。

    Jun, 2022

  • 基于 Transformer 的强化学习的分子全新设计

    我们介绍了一种用于分子全新设计的 Transformer 基准生成模型的微调方法，利用 Transformer 相比循环神经网络 (RNNs) 的优越序列学习能力，我们的模型可以有效地生成具有期望属性的分子结构。与传统的基于 RNN 的模型相比，我们提出的方法在生成被预测为对多种生物目标活性化合物方面表现出优秀性能，捕捉分子结构序列中的长期依赖关系。通过生成查询结构的类似物和产生具有特定属性的化合物等多项任务的验证，我们的方法在性能上优于基准的基于 RNN 的方法。我们的方法可用于脱轴融合 (scaffold hopping)，从单个分子开始的库扩展，以及生成对生物目标具有高预测活性的化合物。

    Oct, 2023

  • ProtTrans：通过自监督深度学习与高性能计算攻克生命密码的语言

    通过训练两个自回归模型和四个自编码器模型，使用生物信息数据培训出来的语言模型（Language Models）能够在低推断开销下完成新的前沿预测，例如使用蛋白 LM - 嵌入 (ProtT5) 能够在无需使用进化信息的情况下，成功地进行氨基酸序列每残基预测，并出现在这个 https URL。

    Jul, 2020

  • 利用全局生成模型探索蛋白质序列空间

    该研究总结了在蛋白质研究中使用语言模型的应用，包括设计新型人工蛋白质、使用非 Transformer 结构以及应用于定向进化方面。这些成果已经快速提升了蛋白质研究的发展和性能。

    May, 2023

  • Prot2Text: GNNs 与 Transformers 实现的多模态蛋白质功能生成

    使用图神经网络和大型语言模型在编码器 - 解码器框架中，本研究提出了一种新颖的方法 Prot2Text，以自由文本形式预测蛋白质的功能，超越传统的二分类或多分类任务，该多模态方法综合蛋白质序列、结构和文本注释等多种数据类型，实现了对蛋白质功能的整体表示，提供了详细准确的描述，通过从 SwissProt 中提取多模态蛋白质数据集对模型进行评估，结果表明了多模态模型的转变性影响，特别是图神经网络和大型语言模型的融合，为研究人员提供了更准确预测蛋白质功能的强大工具，代码、模型和演示将公开发布。

    Jul, 2023

  • GraphGPT：使用生成式预训练 Transformer 进行图学习

    我们介绍了一种名为 GraphGPT 的自我监督建模方法，该方法通过将图或抽样子图转化为表示节点、边和属性的可逆令牌序列，并使用欧拉路径优先进行预训练，最后通过监督学习任务进行微调，该模型在大规模分子数据集 PCQM4Mv2、蛋白质相互作用数据集 ogbl-ppa 以及开放图基准数据集 ogbn-proteins 上取得了接近或优于现有方法的结果，并且能够训练超过 400M 个参数的 GraphGPT，具有一致提升的性能，这超出了 GNN 和先前的图变换模型的能力。

    Dec, 2023

  • xTrimoPGLM: 语言解码的统一百亿级预训练变压器

    通过创新的预训练框架，提出了一个统一的蛋白质语言模型 xTrimoPGLM，能够同时处理蛋白质理解和生成任务，拥有超过 1000 亿个参数和 1 万亿个训练标记的前所未有的规模。在 18 个蛋白质理解基准测试中，xTrimoPGLM 明显优于其他先进基准，能够提供蛋白质结构的原子分辨率视图，并超越现有基于语言模型的工具的 3D 结构预测能力。此外，xTrimoPGLM 不仅可以根据自然原理生成全新的蛋白质序列，还可以在有监督的精调后进行可编程的生成。这些结果凸显了 xTrimoPGLM 在理解和生成蛋白质序列方面的重大能力和多功能性，在蛋白质科学基础模型的发展中具有重要意义。

    Jan, 2024

  • 多模态基于图的转换器框架用于生物医学关系抽取

    本研究介绍了一种使用多模态线索（如分子结构）帮助模型学习实体（蛋白质）的多组学生物信息的新颖框架，以图形为基础的多模态学习机制利用 GraphBERT 模型编码了文本和分子结构信息，并利用不同模态的基础特征进行端到端的学习。在生物医学领域的蛋白质相互作用任务中，我们的提出的广义方法发现受到了领域特定模态的额外获益。

    Jul, 2021