分子性质预测的 Transformer 方法：过去五年的经验教训

Apr, 2024

分子性质预测的 Transformer 方法：过去五年的经验教训

Transformers for molecular property prediction: Lessons learned from the past five years

Afnan Sultan, Jochen Sieg, Miriam Mathea, Andrea Volkamer

TL;DR使用变压器模型进行分子属性预测的当前研究进行了分析，强调了尚未涵盖的领域，并提出进行标准化数据划分和稳健统计分析的挑战。

Abstract

molecular property prediction (MPP) is vital for drug discovery, crop protection, and environmental science. Over the last decades, diverse computational techniques have been developed, from using simple physical

molecular property prediction computational techniques transformer models pre-training data statistical analysis

发现论文，激发创造

使用反应预测预训练变形金刚进行分子属性预测

本文旨在使用反应数据进行预训练分子表示的过程，运用在 MoleculeNet 的 12 个分子属性预测任务上，结果显著地提高了预测模型的表现。

Jul, 2022

为何深度模型在分子属性预测中经常无法击败浅层模型？

本研究对 12 个代表性模型进行了基准测试，揭示了深度学习模型相比于传统模型无法在分子属性预测任务上取得更好表现的原因，并表明基于指纹输入的树模型具有更好的表现。

Jun, 2023

转移分子基础模型以预测聚合物性质

使用在小分子上预训练并在聚合物属性上微调的 Transformer 模型，可以达到与在扩增聚合物数据集训练的模型相当的准确性，对于一系列基准预测任务来说。

Oct, 2023

领域知识和多模态对智能分子性质预测的影响：一项系统调查

综合审视和数量分析基于各种基准的最新深度学习方法，我们发现融合分子信息不仅能提高分子属性预测回归和分类任务的准确性，还能通过同时利用 1 维和 2 维信息的 3 维信息大幅增强分子属性预测进展，在药物研发中具有重要指导意义。

Feb, 2024

基于图结构学习的分子属性预测

在这篇论文中，我们提出了一种基于图结构学习的分子性质预测方法，称为 GSL-MPP。我们使用图神经网络（GNN）提取分子表示，构建分子相似性图并进行图结构学习，最终获得能够结合分子间关系的分子嵌入。实验结果表明，我们的方法在大多数情况下都达到了最先进的性能水平，尤其在分类任务上表现出色。

Dec, 2023

ChemBERTa: 面向分子性质预测的大规模自监督预训练

这项工作通过 ChemBERTa 模型对分子性质预测任务中的 transformers 进行了系统评估，结果表明 transformers 在分子表示学习和性质预测方面具有很大的发展潜力，同时我们为大规模自监督预训练提供了一份 77M SMILES 的数据集。

Oct, 2020

从小数据集进行分子属性预测的迁移学习

通过使用小样本数据集进行基于机器学习方法的分子属性预测，研究发现使用消息传递神经网络（PaiNN）以及 SOAP 分子描述符与梯度提升回归树方法相结合的简单分子描述符能够获得最佳预测结果。进一步提出了一种使用大样本数据进行预训练，并在原始数据集进行微调的迁移学习策略，以获取更准确的模型。该策略在 Harvard Oxford Photovoltaics 数据集（HOPV，HOMO-LUMO 间隙）获得了出色结果，在 Freesolv 数据集（溶剂化能）上由于复杂的学习任务和用于预训练和微调标签的不同方法而不成功。研究还发现，预训练数据集的大小与最终训练结果并非单调改善的关系，更少的预训练数据点可能导致预训练模型的偏置更高，从而在微调后获得更高的准确性。

Apr, 2024

物理替代模型的多物理预训练

我们介绍了一种多物理预训练（MPP）方法，这是一种用于物理代理建模的自回归通用预训练方法。MPP 通过学习在不同物理任务中广泛适用的特征，训练大型代理模型来同时预测多个异质物理系统的动力学。我们引入了共享的嵌入和归一化策略，将多个系统的字段投影到单一共享的嵌入空间中，以有效地学习。我们在广泛的流体力学基准测试中验证了我们方法的有效性，既在预训练任务上，也在下游任务上表现出优于特定任务的基准模型的能力，且无需微调。对于下游任务，我们证明微调 MPP 训练的模型相比从头训练或微调预训练视频基础模型，对多个时间步长上的新物理现象具有更准确的预测能力。我们开源了我们的代码和多个尺度上训练的模型权重，以便复现和社区实验。

Oct, 2023

MolecularGPT: 开放式大型语言模型（LLM）用于少样本分子性质预测

利用 MolecularGPT，基于大规模语言模型对分子指令进行微调，并通过零样本和少样本的上下文学习，在少样本分子预测任务中取得新的竞争性结果，显示出语境推理能力优势，超过传统的图神经网络方法和现有语言模型基线，为语言模型在少样本分子特性预测中的应用发展提供了潜力。

Jun, 2024

分子预训练模型系统调查

本篇论文总结了分子预训练模型领域的近期进展，并从分子描述符、编码器结构、预训练策略和应用等几个关键角度进行了系统性分析，以期为机器学习和科学界提供有用的资源。

Oct, 2022