Mar, 2023

轻量级对比蛋白质结构序列变换

PDF
TL;DR本文提出了一种用于蛋白质结构表示预训练的新型无监督方法，该方法利用现有的预训练语言模型通过无监督的对比对齐指导结构模型的学习，并提出了一种自监督的结构约束来进一步学习结构的内部信息。实验结果表明，该方法的性能在多个任务和特定数据集上均表现出卓越的优越性。
proteinstructurepretrainingunsupervisedlanguage model
发现论文，激发创造
  • 蛋白质结构感知的自监督学习

    我们提出了一种新颖的结构感知的蛋白自监督学习方法，利用图神经网络模型预训练，从残基距离和二面角的角度考虑自监督学习任务，借鉴预训练蛋白语言模型的序列信息结合专门设计的 GNN 模型的结构信息进行伪二级优化，实验证明该方法在多个监督型下游任务中的有效性。

    Apr, 2022

  • 赋予蛋白质语言模型结构知识

    利用蛋白质结构数据提升蛋白质语言模型的新框架，通过整合结构信息和结构提取模块，优化了预训练语言模型的自注意机制，此框架在蛋白质功能预测上表现优越，为蛋白质建模提供更有效和高效的方法。

    Jan, 2024

  • 基于结构信息的蛋白质语言模型

    通过将远程同源检测集成到蛋白质语言模型中，我们实现了将结构信息融入蛋白质语言模型，从而在蛋白质功能预测任务中提高了功能注释准确性。

    Feb, 2024

  • 3D 蛋白质结构的对比表示学习

    本文介绍了一种利用无监督对比学习来学习有意义的蛋白质结构表示的框架，其利用蛋白质数据银行中的蛋白质，展示了这些表示可以用于解决多种任务，如蛋白质功能预测、蛋白质折叠分类、结构相似性预测和蛋白质配体结合亲和力预测。此外，作者还表明，使用该算法预训练的微调网络在许多任务中取得了新的最优结果。

    May, 2022

  • 几何结构预训练下的蛋白表征学习

    本文提出了利用 3D 蛋白结构进行预训练的蛋白质表示方法，并通过多视图对比学习和自我预测任务，实现了对蛋白质的编码。实验结果表明，该方法不仅可以比现有的基于序列的方法更有效地预测蛋白质的功能和褶叠分类，而且使用的预训练数据更少。

    Mar, 2022

  • 使用结构信息预训练深度双向蛋白质序列表示

    本文提出了一种名为 PLUS 的蛋白质序列预训练方案，可以提高蛋白质生物学任务的性能并利用未标记蛋白质之间的进化关系，PLUS-RNN 在六个任务中表现优于其他同等大小的语言模型。

    Nov, 2019

  • DeepStruct: 为结构预测预训练语言模型

    介绍了一种提高语言模型结构理解能力的方法，它通过预训练语言模型生成的结构来替代以往的基于任务数据的微调方式，并且在包含 28 个数据集的 10 个预测任务上实现了零样本迁移和超越了 21 个数据集的最新成果。

    May, 2022

  • 使用等变平移技术进行蛋白质序列和结构联合设计

    本文提出了一种基于上下文特征的三角函数编码器和旋转平移等变解码器，能够在随机初始化的基础上迭代地将蛋白质序列和结构转化为所需状态，从而设计高保真度的蛋白质的新方法。实验结果表明，该方法在多项任务上均优于现有基线算法，而且比基于抽样的方法更快且可靠。

    Oct, 2022

  • 利用大规模预训练语言模型建模蛋白质

    使用大规模的语言模型，可以从蛋白质序列中准确捕捉到进化信息，并在标记层和序列层任务中取得了显着的改进。

    Aug, 2021

  • 利用结构信息学习蛋白质序列嵌入

    本研究提出了一种基于表征学习的框架，将蛋白质序列映射到表示蛋白质结构信息的序列向量中，并通过双向 LSTM 模型和全局结构相似度以及单个蛋白质残基接触映射的反馈机制进行训练，实现了蛋白质序列在预测结构相似性方面的多任务学习，而且该方法在跨膜域预测方面也取得了优异的表现。

    Feb, 2019