Nov, 2019

使用结构信息预训练深度双向蛋白质序列表示

PDF
TL;DR本文提出了一种名为 PLUS 的蛋白质序列预训练方案，可以提高蛋白质生物学任务的性能并利用未标记蛋白质之间的进化关系，PLUS-RNN 在六个任务中表现优于其他同等大小的语言模型。
semi-supervised learningprotein sequence modelingpre-trainingplusevolutionary relationships
发现论文，激发创造
  • 轻量级对比蛋白质结构序列变换

    本文提出了一种用于蛋白质结构表示预训练的新型无监督方法，该方法利用现有的预训练语言模型通过无监督的对比对齐指导结构模型的学习，并提出了一种自监督的结构约束来进一步学习结构的内部信息。实验结果表明，该方法的性能在多个任务和特定数据集上均表现出卓越的优越性。

    Mar, 2023

  • 蛋白质结构感知的自监督学习

    我们提出了一种新颖的结构感知的蛋白自监督学习方法，利用图神经网络模型预训练，从残基距离和二面角的角度考虑自监督学习任务，借鉴预训练蛋白语言模型的序列信息结合专门设计的 GNN 模型的结构信息进行伪二级优化，实验证明该方法在多个监督型下游任务中的有效性。

    Apr, 2022

  • 利用大规模预训练语言模型建模蛋白质

    使用大规模的语言模型，可以从蛋白质序列中准确捕捉到进化信息，并在标记层和序列层任务中取得了显着的改进。

    Aug, 2021

  • 双向语言模型的半监督序列标注

    本文探讨了一种半监督的方法，通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务，相比其他转移学习或添加标记数据和任务特定词典的方法，在命名实体识别和块分割等任务上实现了最先进的结果。

    Apr, 2017

  • 几何结构预训练下的蛋白表征学习

    本文提出了利用 3D 蛋白结构进行预训练的蛋白质表示方法，并通过多视图对比学习和自我预测任务，实现了对蛋白质的编码。实验结果表明，该方法不仅可以比现有的基于序列的方法更有效地预测蛋白质的功能和褶叠分类，而且使用的预训练数据更少。

    Mar, 2022

  • 赋予蛋白质语言模型结构知识

    利用蛋白质结构数据提升蛋白质语言模型的新框架，通过整合结构信息和结构提取模块，优化了预训练语言模型的自注意机制，此框架在蛋白质功能预测上表现优越，为蛋白质建模提供更有效和高效的方法。

    Jan, 2024

  • 利用结构信息学习蛋白质序列嵌入

    本研究提出了一种基于表征学习的框架，将蛋白质序列映射到表示蛋白质结构信息的序列向量中，并通过双向 LSTM 模型和全局结构相似度以及单个蛋白质残基接触映射的反馈机制进行训练，实现了蛋白质序列在预测结构相似性方面的多任务学习，而且该方法在跨膜域预测方面也取得了优异的表现。

    Feb, 2019

  • 半监督序列学习

    本文提出两种方法用于使用未标记的数据改善序列学习。第一种方法是预测序列中的下一个元素，第二种方法是使用序列自编码器。通过这两种算法的无监督训练，我们可以训练出更稳定且泛化性能更好的长短时记忆网络，并在诸如 IMDB、DBpedia 和 20 Newsgroups 等文本分类任务中获得强大的性能。

    Nov, 2015

  • 预训练语言模型用于蛋白序列表示学习的重编程

    本文提出了一种通过 Representation Learning via Dictionary Learning（R2DL）框架，在少于一定训练样本的情况下对蛋白质序列进行嵌入，可以更好地进行蛋白质属性预测，并且可以比基于预先训练和标准监督方法的基线提高 $10^5$ 倍以上。

    Jan, 2023

  • OntoProtein: 基因本体嵌入的蛋白质预训练

    OntoProtein 是第一个将 GO 结构应用于蛋白质预训练的通用框架，通过与知识图谱和蛋白质嵌入的联合优化，能够优化蛋白质表示并在蛋白质相互作用和蛋白质功能预测方面实现更好的性能。

    Jan, 2022