Sep, 2023

GPT-MolBERTa: 用于分子性质预测的 GPT 分子特征语言模型

PDF
TL;DR利用自然语言处理模型 GPT-MolBERTa，通过分析分子的详细文本描述来预测其性质，并展示模型的可解释性。
transformer architecturesgpt-molbertatextual descriptionsmolecule propertiesattention mechanisms
发现论文，激发创造
  • ChemBERTa: 面向分子性质预测的大规模自监督预训练

    这项工作通过 ChemBERTa 模型对分子性质预测任务中的 transformers 进行了系统评估，结果表明 transformers 在分子表示学习和性质预测方面具有很大的发展潜力，同时我们为大规模自监督预训练提供了一份 77M SMILES 的数据集。

    Oct, 2020

  • GPT 模型在化学方面能做什么？八项任务的综合评估

    本文针对大语言模型在化学领域能力的未知，建立起一个包含 8 个化学实践任务的全面基准，运用 GPT-4、GPT-3.5 和 Davinci-003 三种 GPT 模型以零样本和少样本的情境下进行测试，发现 GPT-4 相较于其他两种模型表现更佳，而 GPT 模型在需要精确理解分子 SMILES 表示的任务中较为欠缺，而在文本相关的说明任务方面表现出较强的能力。

    May, 2023

  • MolXPT：将文本与分子结合进行生成预训练

    本文提出了 MolXPT，一个基于 SMILES 的统一文本和分子预训练语言模型，将来自 PubMed 的文本序列和来自 PubChem 的 SMILES 序列一起进行预训练，并取得了超越强基线的性能。

    May, 2023

  • 基于大型语言模型的分子发现与翻译: ChatGPT 视角

    本文提出了一种基于大型语言模型的框架（MolReGPT），通过检索式提示范式在上下文中进行少量评估，并利用分子相似性原理从本地数据库检索类似分子及其文本描述来启用 LLMS，用于分子说明翻译以促进分子发现

    Jun, 2023

  • ChemBERTa-2：面向化学基础模型的发展

    本文探讨使用 SMILES 语言构建化学基础模型 ChemBERTa-2，并经过预训练过程的优化，发现在分子预测任务上优于现有的最先进架构。

    Sep, 2022

  • MolecularGPT: 开放式大型语言模型（LLM）用于少样本分子性质预测

    利用 MolecularGPT，基于大规模语言模型对分子指令进行微调，并通过零样本和少样本的上下文学习，在少样本分子预测任务中取得新的竞争性结果，显示出语境推理能力优势，超过传统的图神经网络方法和现有语言模型基线，为语言模型在少样本分子特性预测中的应用发展提供了潜力。

    Jun, 2024

  • 巨型语言模型能够提升分子属性预测吗？

    使用 Large Language Models (LLMs) 进行零 / 少量数据量的分子分类以及利用由 LLMs 生成的文本解释作为分子表示，可以大大提高分子属性预测的精度。

    Jul, 2023

  • 超越化学语言：多模态方法提高分子性质预测

    本文介绍了一种新颖的多模态语言模型方法，结合化学语言表征和物理化学特征，以预测分子性质。我们的方法使用因果多阶段特征选择方法，在 MOLFORMER 生成的分子嵌入向量空间中，将这些因果特征与物理化学特征相结合。我们的结果表明，与现有的化学语言模型 MOLFORMER 和图形神经网络相比，在预测生物降解性和 PFAS 毒性估计等复杂任务方面，我们的提出的方法表现更优秀。此外，我们证明了我们的特征选择方法可以在保持或提高模型性能的同时降低 Mordred 特征空间的维数。这一方法为未来的分子性质预测研究开辟了有 promising avenues。

    Jun, 2023

  • 用多模态对比学习从自然语言中提取分子性质

    将自然语言和图形表示相结合，通过对齐神经图形表示和特性文本描述的表示，提高了下游分子属性分类任务的性能，实现了与仅以图形方式进行预训练的模型相比的 + 4.26% AUROC 的增益，并相对于最近提出的分子图 / 文本对比训练的 MoMu 模型 (Su et al. 2022) 的 + 1.54% 增益。

    Jul, 2023

  • 利用语言模型和领域相关辅助任务进行分子表示学习

    本文采用 Transformer 结构，具体为 BERT，来学习灵活高质量的分子表示，从预训练使用不同组合的自监督任务的影响、到提高所学表示的领域相关性，最终提高了我们模型 MolBert 在基准数据集上的性能，显示其在药物发现方面具有良好的应用前景。

    Nov, 2020