Jan, 2024

赋予蛋白质语言模型结构知识

PDF
TL;DR利用蛋白质结构数据提升蛋白质语言模型的新框架，通过整合结构信息和结构提取模块，优化了预训练语言模型的自注意机制，此框架在蛋白质功能预测上表现优越，为蛋白质建模提供更有效和高效的方法。
protein language modelsprotein structuregraph transformersprotein structure transformerprotein function prediction
发现论文，激发创造
  • 基于结构信息的蛋白质语言模型

    通过将远程同源检测集成到蛋白质语言模型中，我们实现了将结构信息融入蛋白质语言模型，从而在蛋白质功能预测任务中提高了功能注释准确性。

    Feb, 2024

  • 蛋白质语言模型与结构预测：联系与进展

    本文系统地概述了蛋白质语言模型在蛋白质结构预测中的应用和方法，介绍了网络架构、预训练策略、常用蛋白质数据库等方面的最新进展和挑战，并展望了未来发展方向。

    Nov, 2022

  • 轻量级对比蛋白质结构序列变换

    本文提出了一种用于蛋白质结构表示预训练的新型无监督方法，该方法利用现有的预训练语言模型通过无监督的对比对齐指导结构模型的学习，并提出了一种自监督的结构约束来进一步学习结构的内部信息。实验结果表明，该方法的性能在多个任务和特定数据集上均表现出卓越的优越性。

    Mar, 2023

  • 蛋白质结构感知的自监督学习

    我们提出了一种新颖的结构感知的蛋白自监督学习方法，利用图神经网络模型预训练，从残基距离和二面角的角度考虑自监督学习任务，借鉴预训练蛋白语言模型的序列信息结合专门设计的 GNN 模型的结构信息进行伪二级优化，实验证明该方法在多个监督型下游任务中的有效性。

    Apr, 2022

  • 利用 Transformer 神经网络同时考虑序列和结构进行蛋白质预测任务

    本研究通过转换神经网络来实现蛋白质序列与三级结构的联合表示，进而提高了与功能相关的预测任务的表现，包括超家族成员预测。

    Jun, 2022

  • 利用大规模预训练语言模型建模蛋白质

    使用大规模的语言模型，可以从蛋白质序列中准确捕捉到进化信息，并在标记层和序列层任务中取得了显着的改进。

    Aug, 2021

  • 利用全局生成模型探索蛋白质序列空间

    该研究总结了在蛋白质研究中使用语言模型的应用，包括设计新型人工蛋白质、使用非 Transformer 结构以及应用于定向进化方面。这些成果已经快速提升了蛋白质研究的发展和性能。

    May, 2023

  • PEvoLM：蛋白质序列演化信息语言模型

    该研究使用嵌入语言模型（ELMo）将蛋白质序列转化为数字向量表示，引入一种新颖的双向语言模型（bi-LM）以降低参数数量并使用单一路径进行预测，同时进行多任务学习以获取蛋白质序列的进化信息。

    Aug, 2023

  • BERT 与生物学相遇：解析蛋白质语言模型中的注意力

    本研究通过注意力机制探索分析蛋白质 Transformer 模型，展示其捕捉蛋白质折叠结构，定位蛋白质功能性区域，以及随着层数增加逐渐关注复杂生物物理特性等行为，结果表明三种 Transformer 架构对此表现一致，并提供蛋白质结构和注意力之间的三维可视化交互。

    Jun, 2020

  • 利用结构信息学习蛋白质序列嵌入

    本研究提出了一种基于表征学习的框架，将蛋白质序列映射到表示蛋白质结构信息的序列向量中，并通过双向 LSTM 模型和全局结构相似度以及单个蛋白质残基接触映射的反馈机制进行训练，实现了蛋白质序列在预测结构相似性方面的多任务学习，而且该方法在跨膜域预测方面也取得了优异的表现。

    Feb, 2019