Jan, 2023

Ankh：优化的蛋白质语言模型解锁通用建模

PDF
TL;DR我们提出了一种称为 Ankh 的通用蛋白质语言模型（PLM），首次在 Google 的 TPU-v4 上进行训练，并在参数更少的情况下超越了最先进的性能，能够学习蛋白质的进化保守突变趋势，同时保留关键的结构 - 功能特征。
protein-specific optimizationplmsankhprotein-language modelevolutionary conservation-mutation trends
发现论文，激发创造
  • 通过知识增强的原始结构建模进行蛋白质表示学习

    KeAP 提出了一种利用知识的自编码器方法，通过 token-level 知识图谱探索辅助蛋白质表示学习，取得了比之前更好的结果。

    Jan, 2023

  • ProtTrans：通过自监督深度学习与高性能计算攻克生命密码的语言

    通过训练两个自回归模型和四个自编码器模型，使用生物信息数据培训出来的语言模型（Language Models）能够在低推断开销下完成新的前沿预测，例如使用蛋白 LM - 嵌入 (ProtT5) 能够在无需使用进化信息的情况下，成功地进行氨基酸序列每残基预测，并出现在这个 https URL。

    Jul, 2020

  • ProtChatGPT: 面向理解蛋白质的大型语言模型

    ProtChatGPT 通过自然语言学习和理解蛋白质结构，使用户能够上传蛋白质、提问和进行互动对话以生成全面答案，为蛋白质研究提供了新的可能性。

    Feb, 2024

  • Anfinsen Goes Neural: 一种基于图模型的条件抗体设计

    抗体设计，深度学习，蛋白质知识，Anfinsen Goes Neural, 现有技术

    Feb, 2024

  • ProGen: 蛋白质生成的语言建模

    利用 1.2B 的参数语言模型 ProGen，将蛋白质工程视为无监督的序列生成问题，以此利用缺乏昂贵结构注释的蛋白质的日益增长的集合，从而生成出更具有进化多样性的序列，为解决合成生物学、医学和材料科学等领域的根本问题提供了可能。

    Mar, 2020

  • OntoProtein: 基因本体嵌入的蛋白质预训练

    OntoProtein 是第一个将 GO 结构应用于蛋白质预训练的通用框架，通过与知识图谱和蛋白质嵌入的联合优化，能够优化蛋白质表示并在蛋白质相互作用和蛋白质功能预测方面实现更好的性能。

    Jan, 2022

  • ProteinEngine: 通过领域知识强化 LLM 在蛋白工程中的应用

    ProteinEngine 是一个人为中心的平台，通过 API 调用来集成相关工具、软件和包，分配任务、解决专业任务和有效沟通结果，验证了其在蛋白工程任务中提高深度学习可靠性和精确性的优越性，并展示了在未来蛋白工程研究中整合分散工具的潜力。

    Apr, 2024

  • 利用全局生成模型探索蛋白质序列空间

    该研究总结了在蛋白质研究中使用语言模型的应用，包括设计新型人工蛋白质、使用非 Transformer 结构以及应用于定向进化方面。这些成果已经快速提升了蛋白质研究的发展和性能。

    May, 2023

  • 逐个原子生成蛋白质及其超越：基于语言模型的研究

    蛋白质语言模型和化学语言模型可以学习蛋白质的原子级表示，实现无限制的蛋白质生成，包括修改侧链和生成蛋白质 - 药物结合物，展示了语言模型在原子级别的生物分子设计的潜力。

    Aug, 2023

  • xTrimoPGLM: 语言解码的统一百亿级预训练变压器

    通过创新的预训练框架，提出了一个统一的蛋白质语言模型 xTrimoPGLM，能够同时处理蛋白质理解和生成任务，拥有超过 1000 亿个参数和 1 万亿个训练标记的前所未有的规模。在 18 个蛋白质理解基准测试中，xTrimoPGLM 明显优于其他先进基准，能够提供蛋白质结构的原子分辨率视图，并超越现有基于语言模型的工具的 3D 结构预测能力。此外，xTrimoPGLM 不仅可以根据自然原理生成全新的蛋白质序列，还可以在有监督的精调后进行可编程的生成。这些结果凸显了 xTrimoPGLM 在理解和生成蛋白质序列方面的重大能力和多功能性，在蛋白质科学基础模型的发展中具有重要意义。

    Jan, 2024