Nov, 2020

利用语言模型和领域相关辅助任务进行分子表示学习

PDF
TL;DR本文采用 Transformer 结构，具体为 BERT，来学习灵活高质量的分子表示，从预训练使用不同组合的自监督任务的影响、到提高所学表示的领域相关性，最终提高了我们模型 MolBert 在基准数据集上的性能，显示其在药物发现方面具有良好的应用前景。
发现论文，激发创造
  • ChemBERTa-2：面向化学基础模型的发展

    本文探讨使用 SMILES 语言构建化学基础模型 ChemBERTa-2，并经过预训练过程的优化，发现在分子预测任务上优于现有的最先进架构。

    Sep, 2022

  • ChemBERTa: 面向分子性质预测的大规模自监督预训练

    这项工作通过 ChemBERTa 模型对分子性质预测任务中的 transformers 进行了系统评估，结果表明 transformers 在分子表示学习和性质预测方面具有很大的发展潜力，同时我们为大规模自监督预训练提供了一份 77M SMILES 的数据集。

    Oct, 2020

  • MolTailor: 通过文本提示定制化化学分子表征以执行特定任务

    通过将语言模型视为代理和分子预训练模型视为知识库，我们提出了一种新颖的方法，称为 MolTailor，它可以通过理解任务的自然语言描述来强调分子表示中与任务相关的特征，从而提高预测性能。通过评估，我们证明了 MolTailor 相较于基线模型表现出更好的性能，验证了增强分子表示学习相关性的有效性，展示了语言模型引导优化的潜力，以更好地利用和释放现有强大的分子表示方法的能力。

    Jan, 2024

  • 利用多任务语言建模统一分子和文本表示

    提出了一种多领域、多任务的语言模型，能够处理化学和自然语言，并共享模型参数来优化实验室操作和科学发现加速。

    Jan, 2023

  • 跨不同化学领域的迁移学习：利用在小分子和化学反应数据上预训练的深度学习模型进行有机材料的虚拟筛选

    使用机器学习预测有机材料属性是一种高效的虚拟筛选方法，本研究证明药物类小分子和化学反应数据库可用于预训练 BERT 模型以进行有机材料的虚拟筛选，并展示了其在机器学习模型训练中的优越性能，进一步加强了跨不同化学领域的迁移学习在有机材料的虚拟筛选中的可行性。

    Nov, 2023

  • 使用反应预测预训练变形金刚进行分子属性预测

    本文旨在使用反应数据进行预训练分子表示的过程，运用在 MoleculeNet 的 12 个分子属性预测任务上，结果显著地提高了预测模型的表现。

    Jul, 2022

  • 分子语言模型作为多任务生成器

    本文提出了一个经过预训练的分子语言模型 MolGen，通过多任务分子前缀调整自我反馈机制，可以在多个分子生成任务和不同领域（合成和天然产物）中有效地学习和共享知识，进而在众多分子生成基准数据集上获得优越性能。

    Jan, 2023

  • SELFormer: SELFIES 语言模型实现的分子表示学习

    SELFormer 是一种基于变压器架构的化学语言模型，利用 100％有效，紧凑和自我表达符号 SELFIES 作为输入来学习灵活且高质量的分子表示方法，并可以发现隐藏在数据中的知识， 这种方法在药物发现中具有很大的潜力。

    Apr, 2023

  • 大规模预训练提高了基于主动学习的分子虚拟筛选的样本效率

    预训练的基于转换器的语言模型和图神经网络在贝叶斯优化主动学习框架中表现良好，仅通过筛选超大型库中的 0.6％，可以识别到排名前 50000 位化合物的 58.97％，与先前的最先进基准相比提高了 8％，在结构基础和配体基础药物发现中具有卓越的性能，可提高基于主动学习的分子虚拟筛选的准确性和样本效率。

    Sep, 2023

  • GPT-MolBERTa: 用于分子性质预测的 GPT 分子特征语言模型

    利用自然语言处理模型 GPT-MolBERTa，通过分析分子的详细文本描述来预测其性质，并展示模型的可解释性。

    Sep, 2023