Nov, 2023

跨不同化学领域的迁移学习：利用在小分子和化学反应数据上预训练的深度学习模型进行有机材料的虚拟筛选

PDF
TL;DR使用机器学习预测有机材料属性是一种高效的虚拟筛选方法，本研究证明药物类小分子和化学反应数据库可用于预训练 BERT 模型以进行有机材料的虚拟筛选，并展示了其在机器学习模型训练中的优越性能，进一步加强了跨不同化学领域的迁移学习在有机材料的虚拟筛选中的可行性。
machine learningorganic materialsvirtual screeningbert modeltransfer learning
发现论文，激发创造
  • ChemBERTa-2：面向化学基础模型的发展

    本文探讨使用 SMILES 语言构建化学基础模型 ChemBERTa-2，并经过预训练过程的优化，发现在分子预测任务上优于现有的最先进架构。

    Sep, 2022

  • 大规模预训练提高了基于主动学习的分子虚拟筛选的样本效率

    预训练的基于转换器的语言模型和图神经网络在贝叶斯优化主动学习框架中表现良好，仅通过筛选超大型库中的 0.6％，可以识别到排名前 50000 位化合物的 58.97％，与先前的最先进基准相比提高了 8％，在结构基础和配体基础药物发现中具有卓越的性能，可提高基于主动学习的分子虚拟筛选的准确性和样本效率。

    Sep, 2023

  • 利用语言模型和领域相关辅助任务进行分子表示学习

    本文采用 Transformer 结构，具体为 BERT，来学习灵活高质量的分子表示，从预训练使用不同组合的自监督任务的影响、到提高所学表示的领域相关性，最终提高了我们模型 MolBert 在基准数据集上的性能，显示其在药物发现方面具有良好的应用前景。

    Nov, 2020

  • SMILES Transformer: 面向低数据药物发现的预训练分子指纹

    本文介绍了一种基于 SMILES Transformer 的分子指纹预测方法，该方法在虚拟筛选和其他药物发现任务中表现出优越性，在小数据集和复杂分析环境中表现良好。

    Nov, 2019

  • 从小数据集进行分子属性预测的迁移学习

    通过使用小样本数据集进行基于机器学习方法的分子属性预测，研究发现使用消息传递神经网络（PaiNN）以及 SOAP 分子描述符与梯度提升回归树方法相结合的简单分子描述符能够获得最佳预测结果。进一步提出了一种使用大样本数据进行预训练，并在原始数据集进行微调的迁移学习策略，以获取更准确的模型。该策略在 Harvard Oxford Photovoltaics 数据集（HOPV，HOMO-LUMO 间隙）获得了出色结果，在 Freesolv 数据集（溶剂化能）上由于复杂的学习任务和用于预训练和微调标签的不同方法而不成功。研究还发现，预训练数据集的大小与最终训练结果并非单调改善的关系，更少的预训练数据点可能导致预训练模型的偏置更高，从而在微调后获得更高的准确性。

    Apr, 2024

  • 使用反应预测预训练变形金刚进行分子属性预测

    本文旨在使用反应数据进行预训练分子表示的过程，运用在 MoleculeNet 的 12 个分子属性预测任务上，结果显著地提高了预测模型的表现。

    Jul, 2022

  • 用于高通量聚合物筛选的信息传递神经网络

    研究表明，基于分子结构的图神经网络架构是目前预测分子性质最好的机器学习方法之一，并且可以监督大规模重复评估化合物库。使用新的有机光伏应用候选分子数据库进行的实验证明，即使不要求最优的立体结构输入，利用信息传递神经网络可以获得与现有基准数据集上最先进方法相媲美的准确性。

    Jul, 2018

  • ChemBERTa: 面向分子性质预测的大规模自监督预训练

    这项工作通过 ChemBERTa 模型对分子性质预测任务中的 transformers 进行了系统评估，结果表明 transformers 在分子表示学习和性质预测方面具有很大的发展潜力，同时我们为大规模自监督预训练提供了一份 77M SMILES 的数据集。

    Oct, 2020

  • 翻译中的发现”：使用神经序列到序列模型预测复杂有机化学反应的结果

    该研究介绍了一种基于序列到序列模型的无模板反应预测方法，使用一种新型的可扩展标记方法，不涉及反应模板等辅助知识，达到了 80.1% 的准确率，其核心思想是运用语言学分析的思维方式来解决有机化学问题。

    Nov, 2017

  • 构象合集下的分子机器学习

    利用多个构象的 3D 信息可以改善深度学习模型在分子性质预测中的表现，我们介绍了多重深度学习模型，并将其在二维、三维和四维表示中的表现进行了测试，深度学习模型可以学习每个构象的可解释性关注权重。

    Dec, 2020