Mar, 2024

多尺度蛋白质语言模型用于统一分子建模

PDF
TL;DR通过在多尺度编码切换的蛋白质序列上进行预训练，并利用多尺度位置编码来捕捉残基和原子之间的关系，ms-ESM（多尺度 ESM）提出了一种新颖的方法，实现了多尺度统一的分子建模，实验结果表明，ms-ESM 在蛋白质 - 分子任务方面超过了以前的方法，展示了蛋白质语言模型的全部利用，进一步的研究发现，通过统一的分子建模，ms-ESM 不仅获得了分子知识，还保留了对蛋白质的理解。
protein language modelsms-esmmulti-scale unified molecular modelingproteinssmall molecules
发现论文，激发创造
  • 超越 ESM2: 借助高效聚类的图增强蛋白质序列建模

    本研究使用 ESM2 最先进的蛋白质语言模型，并结合蛋白质家族分类和基于社区传播的聚类算法，改善了全局蛋白质表示和局部氨基酸准确性，从而大幅提升蛋白质表达质量，并在多个下游实验中取得了最先进的结果。

    Apr, 2024

  • 利用大型语言模型高效预测单点突变对蛋白质稳定性的影响

    利用大型语言模型（LLM），我们引入了一种 ESM 辅助高效方法，将蛋白质序列和结构特征整合在一起，以预测单点突变引起的蛋白质热稳定性变化，并且我们设计了一个经过细致筛选的数据集，以避免数据泄漏，以便更公平地进行模型比较。

    Dec, 2023

  • 蛋白质语言模型与结构预测：联系与进展

    本文系统地概述了蛋白质语言模型在蛋白质结构预测中的应用和方法，介绍了网络架构、预训练策略、常用蛋白质数据库等方面的最新进展和挑战，并展望了未来发展方向。

    Nov, 2022

  • PEvoLM：蛋白质序列演化信息语言模型

    该研究使用嵌入语言模型（ELMo）将蛋白质序列转化为数字向量表示，引入一种新颖的双向语言模型（bi-LM）以降低参数数量并使用单一路径进行预测，同时进行多任务学习以获取蛋白质序列的进化信息。

    Aug, 2023

  • 赋予蛋白质语言模型结构知识

    利用蛋白质结构数据提升蛋白质语言模型的新框架，通过整合结构信息和结构提取模块，优化了预训练语言模型的自注意机制，此框架在蛋白质功能预测上表现优越，为蛋白质建模提供更有效和高效的方法。

    Jan, 2024

  • 探索蛋白质语言模型的后训练量化

    我们的研究引入了一种创新的对蛋白质语言模型进行后训练量化的方法，解决了特定的量化挑战，可能导致更高效的蛋白质语言模型的开发，并对各种与蛋白质相关的应用产生重要影响。

    Oct, 2023

  • 蛋白质多尺度表征学习

    本文提出了一种多尺度图构建方法 ——HoloProt，可以连接蛋白表面、结构和序列，并在不同任务上进行了测试，包括配基结合亲和力回归和蛋白质功能预测分类。该模型具有良好的稳定性和可靠性，并且在减少参数数量的情况下可以获得与现有模型相当的性能。

    Apr, 2022

  • ESM-NBR：通过蛋白质语言模型特征表示和多任务学习的快速准确核酸结合残基预测

    通过使用 ESM2 作为输入，ESM-NBR 提出了一种快速准确的序列 - based 方法，采用由双向长短期记忆和多层感知器网络组成的深度学习模型，探索 DNA 和 RNA 结合残基的共有和私有信息。在基准数据集上的实验证明，ESM2 特征表征的预测性能全面优于基于进化信息的隐马尔可夫模型（HMM）特征。此外，ESM-NBR 的预测速度远远超过现有方法（用于 500 个蛋白质序列的时间为 5.52 秒，比第二快的方法快约 16 倍）。

    Dec, 2023

  • 基于结构信息的蛋白质语言模型

    通过将远程同源检测集成到蛋白质语言模型中，我们实现了将结构信息融入蛋白质语言模型，从而在蛋白质功能预测任务中提高了功能注释准确性。

    Feb, 2024

  • 利用大规模预训练语言模型建模蛋白质

    使用大规模的语言模型，可以从蛋白质序列中准确捕捉到进化信息，并在标记层和序列层任务中取得了显着的改进。

    Aug, 2021