Jun, 2022

利用 Transformer 神经网络同时考虑序列和结构进行蛋白质预测任务

PDF
TL;DR本研究通过转换神经网络来实现蛋白质序列与三级结构的联合表示，进而提高了与功能相关的预测任务的表现，包括超家族成员预测。
protein sequencestransformer neural networksjoint sequence-structure representationsfunction-related prediction taskssuperfamily membership
发现论文，激发创造
  • 一种利用 Transformer 和 CNN 整合的蛋白质结构预测方法

    基于深度学习方法的 DstruCCN 模型采用了卷积神经网络和监督式 Transformer 蛋白质语言模型，通过结合两者的训练特征以预测蛋白质的 Transformer 结合位点矩阵，然后使用能量最小化重构蛋白质的三维结构。

    Feb, 2024

  • 赋予蛋白质语言模型结构知识

    利用蛋白质结构数据提升蛋白质语言模型的新框架，通过整合结构信息和结构提取模块，优化了预训练语言模型的自注意机制，此框架在蛋白质功能预测上表现优越，为蛋白质建模提供更有效和高效的方法。

    Jan, 2024

  • 应用生成预训练自回归转换器图神经网络分析和发现新型蛋白质

    利用基于语言模型的灵活深度学习策略，基于一个完全基于提示的模型，将 transformer 和图卷积架构集成到因果多头图机制中，实现一个生成预训练模型，用于预测蛋白质的二级结构内容、蛋白质可溶性和蛋白质测序等任务，并可用于设计具有这些特性的蛋白质，这个模型展现了多任务和协同作用的应用价值。

    May, 2023

  • 探寻 Transformer 模型在蛋白质功能预测中的内部机制

    我们探索了可解释的人工智能（XAI）如何帮助揭示神经网络在蛋白质功能预测中的内部运作，通过扩展广泛使用的 XAI 方法 —— 集成梯度，使得可以检查 Gene Ontology 术语和酶委员会编号预测中微调的 Transformer 模型内部的潜在表示。

    Sep, 2023

  • Tranception: 利用自回归转换器和推断时检索进行蛋白质适应性预测

    介绍了使用 Tranception 模型和 ProteinGym 数据集实现蛋白质序列的健康预测的方法。

    May, 2022

  • BERT 与生物学相遇：解析蛋白质语言模型中的注意力

    本研究通过注意力机制探索分析蛋白质 Transformer 模型，展示其捕捉蛋白质折叠结构，定位蛋白质功能性区域，以及随着层数增加逐渐关注复杂生物物理特性等行为，结果表明三种 Transformer 架构对此表现一致，并提供蛋白质结构和注意力之间的三维可视化交互。

    Jun, 2020

  • Prot2Text: GNNs 与 Transformers 实现的多模态蛋白质功能生成

    使用图神经网络和大型语言模型在编码器 - 解码器框架中，本研究提出了一种新颖的方法 Prot2Text，以自由文本形式预测蛋白质的功能，超越传统的二分类或多分类任务，该多模态方法综合蛋白质序列、结构和文本注释等多种数据类型，实现了对蛋白质功能的整体表示，提供了详细准确的描述，通过从 SwissProt 中提取多模态蛋白质数据集对模型进行评估，结果表明了多模态模型的转变性影响，特别是图神经网络和大型语言模型的融合，为研究人员提供了更准确预测蛋白质功能的强大工具，代码、模型和演示将公开发布。

    Jul, 2023

  • 使用基于 Transformer 的深度学习模型来进行 RNA 二级结构预测

    讨论了 RNA 和 RNA 的二级结构及其预测的基本概念，以及机器学习技术在预测生物大分子结构中的应用，并提出了基于 ResNet 的 RNA 三级结构预测算法和打分模型。

    Apr, 2024

  • 利用结构信息学习蛋白质序列嵌入

    本研究提出了一种基于表征学习的框架，将蛋白质序列映射到表示蛋白质结构信息的序列向量中，并通过双向 LSTM 模型和全局结构相似度以及单个蛋白质残基接触映射的反馈机制进行训练，实现了蛋白质序列在预测结构相似性方面的多任务学习，而且该方法在跨膜域预测方面也取得了优异的表现。

    Feb, 2019

  • 使用多尺度深度卷积神经网络和下一步条件进行蛋白质二级结构预测

    本研究通过深度学习技术，使卷积神经网络适应蛋白二级结构预测问题，达到了 70％的准确度，并尝试使用序列到序列学习和集合策略进一步提高精确度。

    Nov, 2016