Oct, 2020

ChemBERTa: 面向分子性质预测的大规模自监督预训练

PDF
TL;DR这项工作通过 ChemBERTa 模型对分子性质预测任务中的 transformers 进行了系统评估，结果表明 transformers 在分子表示学习和性质预测方面具有很大的发展潜力，同时我们为大规模自监督预训练提供了一份 77M SMILES 的数据集。
发现论文，激发创造
  • ChemBERTa-2：面向化学基础模型的发展

    本文探讨使用 SMILES 语言构建化学基础模型 ChemBERTa-2，并经过预训练过程的优化，发现在分子预测任务上优于现有的最先进架构。

    Sep, 2022

  • 使用反应预测预训练变形金刚进行分子属性预测

    本文旨在使用反应数据进行预训练分子表示的过程，运用在 MoleculeNet 的 12 个分子属性预测任务上，结果显著地提高了预测模型的表现。

    Jul, 2022

  • GPT-MolBERTa: 用于分子性质预测的 GPT 分子特征语言模型

    利用自然语言处理模型 GPT-MolBERTa，通过分析分子的详细文本描述来预测其性质，并展示模型的可解释性。

    Sep, 2023

  • 利用语言模型和领域相关辅助任务进行分子表示学习

    本文采用 Transformer 结构，具体为 BERT，来学习灵活高质量的分子表示，从预训练使用不同组合的自监督任务的影响、到提高所学表示的领域相关性，最终提高了我们模型 MolBert 在基准数据集上的性能，显示其在药物发现方面具有良好的应用前景。

    Nov, 2020

  • SMILES Transformer: 面向低数据药物发现的预训练分子指纹

    本文介绍了一种基于 SMILES Transformer 的分子指纹预测方法，该方法在虚拟筛选和其他药物发现任务中表现出优越性，在小数据集和复杂分析环境中表现良好。

    Nov, 2019

  • 转移分子基础模型以预测聚合物性质

    使用在小分子上预训练并在聚合物属性上微调的 Transformer 模型，可以达到与在扩增聚合物数据集训练的模型相当的准确性，对于一系列基准预测任务来说。

    Oct, 2023

  • 从表示学习中暂停：分子性质预测

    本研究对比了随机森林、MolBERT 和 GROVER 三种基于 Extended-Connectivity Fingerprint、SMILES 字符串和分子图的分子表示学习模型，评估了其在 MoleculeNet 数据集和类阿片类物质数据集预测方面的效果，并探讨了数据集分布、活性悬崖、模型评价、任务设定和化学空间泛化等方面对模型效果的影响，旨在为提高该领域人工智能技术贡献可能的思路。

    Sep, 2022

  • 分子性质预测的 Transformer 方法：过去五年的经验教训

    使用变压器模型进行分子属性预测的当前研究进行了分析，强调了尚未涵盖的领域，并提出进行标准化数据划分和稳健统计分析的挑战。

    Apr, 2024

  • 基于几何感知的线图变换预训练用于分子性质预测

    本文提出了 Geometry-aware line graph transformer (Galformer) 预训练方法，采用 2D 和 3D 模态增强分子表示学习，通过对无标签的分子进行两个互补的预训练任务，提取出 2D 和 3D 知识，并在性质预测方面表现出优越性能。

    Sep, 2023

  • KPGT: 分子属性预测中的图形 Transformer 的知识引导预训练

    本文提出了一种名为 “知识引导图转换器的预训练 (KPGT)” 的自监督学习框架，利用高容量的线性图转换器（LiGhT）和知识引导的预训练策略，以解决分子属性预测中存在的两个主要问题，并在大规模无标签分子图上显示出卓越的性能。

    Jun, 2022