Aug, 2023

PTransIPs: 基于蛋白质预训练语言模型和 Transformer 的磷酸化位点鉴定

PDF
TL;DRPTransIPs 是一个新颖的深度学习模型，用于识别磷酸化位点，通过在蛋白质序列中提取氨基酸的唯一编码，并结合预训练的大规模蛋白质模型的嵌入作为附加数据输入，PTransIPs 采用卷积神经网络与残差连接以及带有多头注意机制的 Transformer 模型组合进行训练，取得了比现有方法更好的分类结果，对于识别磷酸化 S/T 和 Y 位点的 AUROC 分别为 0.9232 和 0.9660，并且证实了预训练模型嵌入对于 PTransIPs 性能的贡献。
发现论文，激发创造
  • 赋予蛋白质语言模型结构知识

    利用蛋白质结构数据提升蛋白质语言模型的新框架，通过整合结构信息和结构提取模块，优化了预训练语言模型的自注意机制，此框架在蛋白质功能预测上表现优越，为蛋白质建模提供更有效和高效的方法。

    Jan, 2024

  • 基于远程标注和置信度校准的大规模蛋白质翻译后修饰抽取

    在这项研究中，作者使用 IntAct PPI 数据库创建了一个远程监督的数据集，用 PPI-BioBERT-x10 训练集成的 BioBERT 模型来预测蛋白质对之间的 PTMs，并提出一个置信度校准的方法以对其进行过滤和人工筛选。他们发现，即使进行了置信度校准，也会出现在测试数据集外的误差和挑战。因此，他们利用多篇文章进行预测，从而提高了预测的精度和可靠性。这项研究探讨了深度学习方法在文本挖掘中的应用和局限性，同时强调了在人工筛选过程中置信度校准的重要性。

    Jan, 2022

  • 使用 Attention U-Net 和 ProtTrans 蛋白质语言模型进行蛋白质内在无序预测

    使用蛋白质语言模型 ProtTrans 构建的基于 Attention U-Net 卷积神经网络的蛋白质内在无序预测器 DisorderUnetLM 在预测蛋白质内在无序区域方面达到了最好的结果，排名 CAIP-2 基准的 9th（ROC-AUC 为 0.924）和 Disorder-NOX 子集的 1st（ROC-AUC 为 0.844），显示出在即将到来的 CAID-3 挑战中具有良好的性能。

    Apr, 2024

  • 利用深度学习和自然语言处理预测蛋白质序列中的 ATP 结合位点

    通过使用深度学习和自然语言处理算法，我们提出了一种方法来分类 ATP - 蛋白结合位点，并进行了多种实验，结果显示相比最先进的基准方法有了改进。

    Feb, 2024

  • 预训练蛋白质模型注入构象的提示指导

    通过学习可解释、可插入、可扩展的蛋白质提示，将任务相关知识注入预训练蛋白质模型（PTPMs），从而使得 PTPMs 能够生成任务感知的表示，进而在多任务设置下，学习同时序列与交互构象提示的构象感知预训练蛋白质模型，实验证明这种方法显著提高了 PTPMs 在需要构象知识的任务上的性能。

    Feb, 2022

  • Tranception: 利用自回归转换器和推断时检索进行蛋白质适应性预测

    介绍了使用 Tranception 模型和 ProteinGym 数据集实现蛋白质序列的健康预测的方法。

    May, 2022

  • 探寻 Transformer 模型在蛋白质功能预测中的内部机制

    我们探索了可解释的人工智能（XAI）如何帮助揭示神经网络在蛋白质功能预测中的内部运作，通过扩展广泛使用的 XAI 方法 —— 集成梯度，使得可以检查 Gene Ontology 术语和酶委员会编号预测中微调的 Transformer 模型内部的潜在表示。

    Sep, 2023

  • ProtTrans：通过自监督深度学习与高性能计算攻克生命密码的语言

    通过训练两个自回归模型和四个自编码器模型，使用生物信息数据培训出来的语言模型（Language Models）能够在低推断开销下完成新的前沿预测，例如使用蛋白 LM - 嵌入 (ProtT5) 能够在无需使用进化信息的情况下，成功地进行氨基酸序列每残基预测，并出现在这个 https URL。

    Jul, 2020

  • 应用生成预训练自回归转换器图神经网络分析和发现新型蛋白质

    利用基于语言模型的灵活深度学习策略，基于一个完全基于提示的模型，将 transformer 和图卷积架构集成到因果多头图机制中，实现一个生成预训练模型，用于预测蛋白质的二级结构内容、蛋白质可溶性和蛋白质测序等任务，并可用于设计具有这些特性的蛋白质，这个模型展现了多任务和协同作用的应用价值。

    May, 2023

  • 基于结构信息的蛋白质语言模型

    通过将远程同源检测集成到蛋白质语言模型中，我们实现了将结构信息融入蛋白质语言模型，从而在蛋白质功能预测任务中提高了功能注释准确性。

    Feb, 2024