Jul, 2020

ProtTrans：通过自监督深度学习与高性能计算攻克生命密码的语言

PDF
TL;DR通过训练两个自回归模型和四个自编码器模型，使用生物信息数据培训出来的语言模型（Language Models）能够在低推断开销下完成新的前沿预测，例如使用蛋白 LM - 嵌入 (ProtT5) 能够在无需使用进化信息的情况下，成功地进行氨基酸序列每残基预测，并出现在这个 https URL。
发现论文，激发创造
  • 利用大规模预训练语言模型建模蛋白质

    使用大规模的语言模型，可以从蛋白质序列中准确捕捉到进化信息，并在标记层和序列层任务中取得了显着的改进。

    Aug, 2021

  • xTrimoPGLM: 语言解码的统一百亿级预训练变压器

    通过创新的预训练框架，提出了一个统一的蛋白质语言模型 xTrimoPGLM，能够同时处理蛋白质理解和生成任务，拥有超过 1000 亿个参数和 1 万亿个训练标记的前所未有的规模。在 18 个蛋白质理解基准测试中，xTrimoPGLM 明显优于其他先进基准，能够提供蛋白质结构的原子分辨率视图，并超越现有基于语言模型的工具的 3D 结构预测能力。此外，xTrimoPGLM 不仅可以根据自然原理生成全新的蛋白质序列，还可以在有监督的精调后进行可编程的生成。这些结果凸显了 xTrimoPGLM 在理解和生成蛋白质序列方面的重大能力和多功能性，在蛋白质科学基础模型的发展中具有重要意义。

    Jan, 2024

  • 应用生成预训练自回归转换器图神经网络分析和发现新型蛋白质

    利用基于语言模型的灵活深度学习策略，基于一个完全基于提示的模型，将 transformer 和图卷积架构集成到因果多头图机制中，实现一个生成预训练模型，用于预测蛋白质的二级结构内容、蛋白质可溶性和蛋白质测序等任务，并可用于设计具有这些特性的蛋白质，这个模型展现了多任务和协同作用的应用价值。

    May, 2023

  • 大型语言模型用于蛋白质理解的微调数据集和基准评估

    通过整合前期训练模型和预训练的语言模型，本研究提出了 ProteinLMDataset 数据集和 ProteinLMBench 基准数据集，用于提升大型语言模型在蛋白质序列理解方面的能力，并通过实验证明其在蛋白质理解能力方面超越了 GPT-4。

    Jun, 2024

  • 转型与超越：用于基因组的大型语言模型

    基于转换器架构的大型语言模型（LLMs）在基因组学中扮演了转变性的角色。本文旨在成为对基因组数据感兴趣的计算生物学家和计算机科学家的指南，同时也希望为生物学家们介绍和讨论我们将来如何分析基因组数据的基本转变。

    Nov, 2023

  • 预训练语言模型用于蛋白序列表示学习的重编程

    本文提出了一种通过 Representation Learning via Dictionary Learning（R2DL）框架，在少于一定训练样本的情况下对蛋白质序列进行嵌入，可以更好地进行蛋白质属性预测，并且可以比基于预先训练和标准监督方法的基线提高 $10^5$ 倍以上。

    Jan, 2023

  • 探寻 Transformer 模型在蛋白质功能预测中的内部机制

    我们探索了可解释的人工智能（XAI）如何帮助揭示神经网络在蛋白质功能预测中的内部运作，通过扩展广泛使用的 XAI 方法 —— 集成梯度，使得可以检查 Gene Ontology 术语和酶委员会编号预测中微调的 Transformer 模型内部的潜在表示。

    Sep, 2023

  • 利用全局生成模型探索蛋白质序列空间

    该研究总结了在蛋白质研究中使用语言模型的应用，包括设计新型人工蛋白质、使用非 Transformer 结构以及应用于定向进化方面。这些成果已经快速提升了蛋白质研究的发展和性能。

    May, 2023

  • 蛋白质图形的神经嵌入

    本文提出了一种利用图神经网络和自然语言大模型生成结构和序列感知型蛋白质表示的新框架，并将其与传统的基于结构对齐的方法相比较，证明了该方法在比较蛋白质结构和蛋白质结构分类任务中的优越性能。

    Jun, 2023

  • 逐个原子生成蛋白质及其超越：基于语言模型的研究

    蛋白质语言模型和化学语言模型可以学习蛋白质的原子级表示，实现无限制的蛋白质生成，包括修改侧链和生成蛋白质 - 药物结合物，展示了语言模型在原子级别的生物分子设计的潜力。

    Aug, 2023