Aug, 2023

PeptideBERT: 基于 Transformers 的肽性质预测语言模型

PDF
TL;DR通过使用 Transformer 和 PeptideBERT 等 Language Models，本研究引入一种蛋白质语言模型，用于预测多肽的溶血性、溶解度和非粘附性等关键性质，并在此基础上获得了近期最佳结果。
发现论文，激发创造
  • GPT-MolBERTa: 用于分子性质预测的 GPT 分子特征语言模型

    利用自然语言处理模型 GPT-MolBERTa，通过分析分子的详细文本描述来预测其性质，并展示模型的可解释性。

    Sep, 2023

  • AlloyBERT：利用大型语言模型进行合金性能预测

    使用文本输入预测合金的弹性模量和屈服强度，AlloyBERT 是一种基于变压器编码器的模型，使用 RoBERTa 作为基础，通过自注意机制建立单词之间的关联，实现对合金属性的预测。

    Mar, 2024

  • ChemBERTa: 面向分子性质预测的大规模自监督预训练

    这项工作通过 ChemBERTa 模型对分子性质预测任务中的 transformers 进行了系统评估，结果表明 transformers 在分子表示学习和性质预测方面具有很大的发展潜力，同时我们为大规模自监督预训练提供了一份 77M SMILES 的数据集。

    Oct, 2020

  • 基于 GPT 和 BERT 模型在生物医学文本中识别蛋白质相互作用的评估

    该论文研究了使用 GPT 和 BERT 模型在生物医学文本中检测蛋白质相互作用，结果发现 GPT 模型能够在生物医学文献挖掘任务中有效地检测 PPI，并且具有潜力。

    Mar, 2023

  • PepLand：一个大规模、预训练的肽段表示模型，用于全面探测经典和非经典氨基酸的景观

    我们提出了 PepLand，它是一种新颖的预训练架构，用于表示和属性分析既包括规范又包括非规范氨基酸的多肽。经验验证证实了 PepLand 在蛋白质相互作用、渗透性、溶解度和合成能力等各种多肽性质预测中的有效性，为多肽中心研究领域的转变性进展奠定了坚实的基础。

    Nov, 2023

  • 基于 Bert、Roberta 和 Xlnet 的分子性质预测集成模型

    提出了一种新的方法，通过集成学习和 BERT、RoBERTa 和 XLNet 的监督微调，无需进行大量预训练即可高精度预测分子属性，解决了实验组面临的计算资源有限的问题，提供了一种具有成本效益和资源高效的解决方案，可能推进分子领域的进一步研究。

    May, 2024

  • 赋予蛋白质语言模型结构知识

    利用蛋白质结构数据提升蛋白质语言模型的新框架，通过整合结构信息和结构提取模块，优化了预训练语言模型的自注意机制，此框架在蛋白质功能预测上表现优越，为蛋白质建模提供更有效和高效的方法。

    Jan, 2024

  • ProtTrans：通过自监督深度学习与高性能计算攻克生命密码的语言

    通过训练两个自回归模型和四个自编码器模型，使用生物信息数据培训出来的语言模型（Language Models）能够在低推断开销下完成新的前沿预测，例如使用蛋白 LM - 嵌入 (ProtT5) 能够在无需使用进化信息的情况下，成功地进行氨基酸序列每残基预测，并出现在这个 https URL。

    Jul, 2020

  • polyBERT：一种化学语言模型实现全机器驱动的超快速高分子信息学

    一种快速高效的机器学习驱动的聚合物信息学管道，使用一种名为 polyBERT 的化学指纹能力来识别聚合物的化学结构，并将其映射到一系列物性。该管道通过 2 个数量级的速度优势远超过手工指纹方案，同时保持准确性，是部署在可扩展架构中的强有力选项。

    Sep, 2022

  • GPCR-BERT：使用蛋白质语言模型解释 G 蛋白偶联受体的连续设计

    本研究使用 Transformers 和 Large Language Models (LLMs) 开发了 GPCR-BERT 模型，用于理解 G 蛋白偶联受体 (GPCRs) 的顺序设计，揭示了氨基酸序列、配体选择性和构象模体之间的关系，并通过对模型的注意权重和隐藏状态的解释，实现了在掩蔽氨基酸类型方面的精确预测，同时分析了三维结构中的高阶相互作用。

    Oct, 2023