Oct, 2023

从分子到材料：为原子性质预测训练大规模通用模型

PDF
TL;DR多领域预训练为化学领域的属性预测带来了新的突破，特别是对于低数据任务，利用多样化的数据进行预训练可以提高性能和泛化能力。
foundation modelsatomic property predictionmulti-domain pre-trainingchemical domainsproperty prediction
发现论文，激发创造
  • 使用反应预测预训练变形金刚进行分子属性预测

    本文旨在使用反应数据进行预训练分子表示的过程，运用在 MoleculeNet 的 12 个分子属性预测任务上，结果显著地提高了预测模型的表现。

    Jul, 2022

  • 领域知识和多模态对智能分子性质预测的影响：一项系统调查

    综合审视和数量分析基于各种基准的最新深度学习方法，我们发现融合分子信息不仅能提高分子属性预测回归和分类任务的准确性，还能通过同时利用 1 维和 2 维信息的 3 维信息大幅增强分子属性预测进展，在药物研发中具有重要指导意义。

    Feb, 2024

  • 从小数据集进行分子属性预测的迁移学习

    通过使用小样本数据集进行基于机器学习方法的分子属性预测，研究发现使用消息传递神经网络（PaiNN）以及 SOAP 分子描述符与梯度提升回归树方法相结合的简单分子描述符能够获得最佳预测结果。进一步提出了一种使用大样本数据进行预训练，并在原始数据集进行微调的迁移学习策略，以获取更准确的模型。该策略在 Harvard Oxford Photovoltaics 数据集（HOPV，HOMO-LUMO 间隙）获得了出色结果，在 Freesolv 数据集（溶剂化能）上由于复杂的学习任务和用于预训练和微调标签的不同方法而不成功。研究还发现，预训练数据集的大小与最终训练结果并非单调改善的关系，更少的预训练数据点可能导致预训练模型的偏置更高，从而在微调后获得更高的准确性。

    Apr, 2024

  • ChemBERTa: 面向分子性质预测的大规模自监督预训练

    这项工作通过 ChemBERTa 模型对分子性质预测任务中的 transformers 进行了系统评估，结果表明 transformers 在分子表示学习和性质预测方面具有很大的发展潜力，同时我们为大规模自监督预训练提供了一份 77M SMILES 的数据集。

    Oct, 2020

  • 分子性质预测的去噪预训练

    该论文描述了一种基于去噪自编码的预训练技术，通过利用大量的 3D 分子结构数据学习下游任务的有意义的表示，从而实现分子属性预测的最新技术；实验证明，使用这种预训练目标显著提高了多个基准测试的性能，在广泛使用的 QM9 数据集中取得了新的最新技术成果。

    May, 2022

  • 基于量子力学数据的原子水平预训练对图神经网络分子性质模型的分析

    通过原子级量子力学预训练数据，本研究探讨了如何改善深度学习在定量构效关系模型中的性能与广义性，以解决新颖化合物的现实情景下训练与测试数据的分布不一致问题，并显示了在公共数据集 TDC 上，原子级量子力学预训练可以改善性能，使特征激活更加符合高斯分布，从而得到更稳健的表示。据我们所知，这是首次分析隐藏状态分子表示以比较分子级与原子级预训练对量子力学数据的影响。

    May, 2024

  • 应用于分子性质预测的图神经网络上的多任务学习

    提出了一种基于图神经网络模型的最新、高效的多任务预测方法，结果表明，多任务学习可以提高模型性能，特别是数据点较少的数据集可以不需要数据增强，便能获得较好的效果，并且能显著减小模型的方差。

    Oct, 2019

  • 基于多模态多任务预训练的预测聚合物性质

    该研究提出了 MMPolymer，一种新颖的多模态多任务预训练框架，结合了聚合物的 1D 顺序信息和 3D 结构信息，以增强下游聚合物性质预测任务。实验证明，MMPolymer 在各种聚合物性质预测任务中实现了最先进的性能。

    Jun, 2024

  • ChemBERTa-2：面向化学基础模型的发展

    本文探讨使用 SMILES 语言构建化学基础模型 ChemBERTa-2，并经过预训练过程的优化，发现在分子预测任务上优于现有的最先进架构。

    Sep, 2022

  • 分子性质预测的 Transformer 方法：过去五年的经验教训

    使用变压器模型进行分子属性预测的当前研究进行了分析，强调了尚未涵盖的领域，并提出进行标准化数据划分和稳健统计分析的挑战。

    Apr, 2024