蛋白质表示学习旨在从蛋白质数据库中提取知识，以应用于各种蛋白质相关的下游任务，我们引入了新颖的不对称多模态掩码自编码器（AMMA），利用统一多模态编码器将蛋白质序列、结构和功能三种关键形态集成为统一的表示空间，通过不对称解码器确保序列潜在特征反映结构和功能信息，实验表明 AMMA 在学习展现良好间模态关系的蛋白质表示方面具有极高的效果，进而使其在各种蛋白质相关的下游任务中发挥作用。

Apr, 2024

OntoProtein 是第一个将 GO 结构应用于蛋白质预训练的通用框架，通过与知识图谱和蛋白质嵌入的联合优化，能够优化蛋白质表示并在蛋白质相互作用和蛋白质功能预测方面实现更好的性能。

Jan, 2022

本文提出了利用 3D 蛋白结构进行预训练的蛋白质表示方法，并通过多视图对比学习和自我预测任务，实现了对蛋白质的编码。实验结果表明，该方法不仅可以比现有的基于序列的方法更有效地预测蛋白质的功能和褶叠分类，而且使用的预训练数据更少。

Mar, 2022

我们提出了一种新颖的结构感知的蛋白自监督学习方法，利用图神经网络模型预训练，从残基距离和二面角的角度考虑自监督学习任务，借鉴预训练蛋白语言模型的序列信息结合专门设计的 GNN 模型的结构信息进行伪二级优化，实验证明该方法在多个监督型下游任务中的有效性。

Apr, 2022

蛋白质表示学习是一个具有挑战性的任务，旨在从其氨基酸序列中捕获蛋白质的结构和功能。本文提出了一种神经聚类框架，通过考虑蛋白质的一级和三级结构信息来自动发现蛋白质的关键部分，在四个蛋白质相关任务上取得了最先进的表现。

Mar, 2024

利用生成型神经网络学习药物靶标蛋白结构的结构集合，以便于更好的理解药物机理和发展治疗方法，同时通过蛋白几何自编码器模型在蛋白质的内在和外在几何学上进行分离编码，快速生成蛋白质构象的方案。

May, 2022

本研究提出了 ProtLOCA 方法，它是一种基于氨基酸结构表示的局部几何对齐方法，通过在蛋白质对全局结构匹配任务中的有效性测试、CATH 标签的独立测试数据集上的性能优于现有序列和结构表示学习方法，快速而准确地匹配结构一致的蛋白质域，还在局部结构配对任务中首次提供了突显不同整体结构但具有相同功能的蛋白质间共同局部结构的有效解决方案，为使用深度学习方法分析蛋白质结构以推断功能提供了新的可能性。

Jun, 2024

神经语言模型在自然语言处理任务中学习复杂实体表示成为强大工具，然而在计算生物学等领域中，其可解释性仍然是一个重要挑战。本研究旨在通过识别和表征知识神经元增强蛋白质语言模型（特别是 ESM 模型）的可解释性，通过将 ESM 模型针对酶序列分类任务进行微调，在比较两种保留原始模型中的子集神经元的知识神经元选择方法方面取得了一致优于随机基准线的结果。尤其是这些方法表明自注意力模块的关键向量预测网络中存在高密度的知识神经元，考虑到关键向量专门用于理解输入序列的不同特征，这些知识神经元可以捕捉不同的酶序列基序知识。未来，可以对每个神经元所捕捉到的知识类型进行表征。

Dec, 2023

通过训练两个自回归模型和四个自编码器模型，使用生物信息数据培训出来的语言模型（Language Models）能够在低推断开销下完成新的前沿预测，例如使用蛋白 LM - 嵌入 (ProtT5) 能够在无需使用进化信息的情况下，成功地进行氨基酸序列每残基预测，并出现在这个 https URL。

Jul, 2020

本文提出了一种利用图神经网络和自然语言大模型生成结构和序列感知型蛋白质表示的新框架，并将其与传统的基于结构对齐的方法相比较，证明了该方法在比较蛋白质结构和蛋白质结构分类任务中的优越性能。

Jun, 2023