通过训练两个自回归模型和四个自编码器模型，使用生物信息数据培训出来的语言模型（Language Models）能够在低推断开销下完成新的前沿预测，例如使用蛋白 LM - 嵌入 (ProtT5) 能够在无需使用进化信息的情况下，成功地进行氨基酸序列每残基预测，并出现在这个 https URL。

Jul, 2020

使用大规模的语言模型，可以从蛋白质序列中准确捕捉到进化信息，并在标记层和序列层任务中取得了显着的改进。

Aug, 2021

该研究综述了蛋白质表征学习的发展及其模型架构、先验任务、下游应用等方面，介绍了序列、结构、序列 - 结构配合等三类现有方法，并探讨了蛋白质表征学习存在的技术挑战和发展方向。

Dec, 2022

我们提出了一种新的深度流形转换方法来进行通用蛋白质表示学习（DMTPRL），通过流形学习策略改进学习嵌入的质量和适应性，利用基于图内节点相似度的新颖流形学习损失训练，DMTPRL 方法在流行数据集上的各种下游任务中表现优于最先进的基线结果，证实了我们学习通用和鲁棒的蛋白质表示的方法。

Jan, 2024

该研究介绍了扩散蛋白质语言模型（DPLM），一种多功能的蛋白质语言模型，展示了对蛋白质序列具有强大的生成和预测能力。通过生成自监督离散扩散概率框架对进化规模的蛋白质序列进行可扩展的 DPLM 预训练，使 DPLM 展现出无条件生成结构合理、新颖且多样的蛋白质序列的能力。此外，DPLM 通过生成预训练使得其对蛋白质具有更好的理解，成为一种优秀的表示学习器，可以根据不同的预测任务进行微调，与 ESM2（Lin et al.，2022）相比具有较好的效果。此外，DPLM 可以根据需求进行定制，通过几种方式展示其条件生成的能力：（1）以部分肽段序列为条件，例如高成功率生成功能基序的脚手架；（2）以其他模态为条件，例如结构条件生成逆折叠；以及（3）通过插入式分类器指导将序列生成导向所需的属性，例如满足指定的二级结构。

Feb, 2024

本文提出了一种名为 PLUS 的蛋白质序列预训练方案，可以提高蛋白质生物学任务的性能并利用未标记蛋白质之间的进化关系，PLUS-RNN 在六个任务中表现优于其他同等大小的语言模型。

Nov, 2019

该综述总结了近年来将深度学习技术应用于蛋白质结构建模及设计问题的最新进展，讨论了已经出现和需解决的挑战，针对该领域提出了许多有益的见解。

Jul, 2020

我们提出了一种新颖的结构感知的蛋白自监督学习方法，利用图神经网络模型预训练，从残基距离和二面角的角度考虑自监督学习任务，借鉴预训练蛋白语言模型的序列信息结合专门设计的 GNN 模型的结构信息进行伪二级优化，实验证明该方法在多个监督型下游任务中的有效性。

Apr, 2022

本研究提出了一种基于表征学习的框架，将蛋白质序列映射到表示蛋白质结构信息的序列向量中，并通过双向 LSTM 模型和全局结构相似度以及单个蛋白质残基接触映射的反馈机制进行训练，实现了蛋白质序列在预测结构相似性方面的多任务学习，而且该方法在跨膜域预测方面也取得了优异的表现。

Feb, 2019

本文介绍了一种利用无监督对比学习来学习有意义的蛋白质结构表示的框架，其利用蛋白质数据银行中的蛋白质，展示了这些表示可以用于解决多种任务，如蛋白质功能预测、蛋白质折叠分类、结构相似性预测和蛋白质配体结合亲和力预测。此外，作者还表明，使用该算法预训练的微调网络在许多任务中取得了新的最优结果。

May, 2022