AAAIJul, 2022

基于能量激发的等变预训练对 3D 分子图的研究

PDF
TL;DR本文提出一种新的三维分子预训练方法，该方法采用等变能量基模型作为主干网络，以预测节点力信息为目标进行节点级预训练损失计算，并采用高斯分布以保证其 E（3）不变性，同时通过图层级噪声缩放预测任务来进一步提高模型性能，实验结果表明，该方法在两个挑战性的三维基准测试上均取得了比当前最先进的预训练方法更佳的表现。
molecular representationpretraining3d geometryforce predictionequivariant energy-based model
发现论文，激发创造
  • 愿原力与你同在：基于力的统一预训练方法用于 3D 分子构象

    我们提出了一种力导向的预训练模型，用于涵盖平衡和非平衡数据的三维分子构象，通过直接学习非平衡数据的原子力，以及引入零力正规化和基于力的去噪技术来近似接近平衡力转化为近千其他鞠躬。我们的预训练模型对于三维分子表示具有统一的作用，通过预训练目标，力的准确性相比未经预训练的等变变压器模型提高了约 3 倍，同时通过在平衡数据上添加正规化项，解决了原始等变变压器中不稳定的分子动力学模拟问题，实现了与 NequIP 相比 2.45 倍更快的推理时间，并达到了与最先进的属性预测任务相当的性能。

    Aug, 2023

  • 分子属性预测的自动化三维预训练

    本文提出了一个名为 3D PGT 的新颖框架，它可以在无法获得几何结构的实际应用情况下，以 2D 结构为输入预测分子属性，实验证明与各种预训练基线相比，其具有更高的准确性，效率和泛化能力。

    Jun, 2023

  • 使用三维几何预训练分子图表示

    本研究提出了图多视角自编码（Graph Multi-View Pre-training）框架，使用自监督学习（self-supervised learning）通过 2D 拓扑和 3D 几何视图之间的对应和一致性提高了对分子图表示的学习能力，并通过实验证明其有效性高于现有的图自监督学习方法。

    Oct, 2021

  • 分子表示的统一的 2D 和 3D 预训练

    本文基于统一的 2D 和 3D 预训练，提出了一种新的基于图神经网络的表示学习方法，将原子坐标和原子间距编码，并通过图神经网络将其与原子表示融合。在 11 个下游分子属性预测任务中进行评估，其在 10 项任务中都获得了最先进的结果，2D 任务平均改进了 8.3％，同时在 2 个三维构象生成任务中也取得了显着的改进。

    Jul, 2022

  • 使用 SE（3）不变去噪距离匹配进行分子几何预训练

    提出了利用 3D 几何结构进行预训练的方法，并提供了一种 3D 坐标去噪预训练框架以建模分子的平滑势能面。实验验证了该方法的效果和稳健性。

    Jun, 2022

  • 分子 GNN 的预训练作为条件玻尔兹曼生成器

    我们提出了一种预训练方法，使用现有的分子构形数据集生成适用于多个构形的潜在向量，从而解决了获取多个构形的计算成本高的问题，并展示了我们的模型在分子性质预测方面优于使用分子图和三维分子结构的现有预训练方法。

    Dec, 2023

  • 用于三维大分子结构的等变图神经网络

    应用等变图神经网络提高在结构生物学中解决机器学习中出现的三维大分子结构的难题，在八个任务中，在三个任务上超越了所有基准模型，在另外两个任务上并列第一，在使用高阶表示和球面谐波卷积的等变网络中表现良好。此外，我们证明迁移学习可以进一步提高特定下游任务的性能。

    Jun, 2021

  • 用于多领域三维分子的统一几何学学习的等变预训练变压器

    Equivariant Pretrained Transformer (EPT) 是一种新颖的预训练框架，旨在通过块增强表示统一多领域分子的几何建模，同时通过 E (3) 不变性进一步增强 Transformer 框架，通过块级预训练任务，实现了同时在包含小分子和蛋白质的数据集上进行预训练，并在多个任务中显著优于之前的方法。

    Feb, 2024

  • 分子性质预测的去噪预训练

    该论文描述了一种基于去噪自编码的预训练技术，通过利用大量的 3D 分子结构数据学习下游任务的有意义的表示，从而实现分子属性预测的最新技术；实验证明，使用这种预训练目标显著提高了多个基准测试的性能，在广泛使用的 QM9 数据集中取得了新的最新技术成果。

    May, 2022

  • 基于几何感知的线图变换预训练用于分子性质预测

    本文提出了 Geometry-aware line graph transformer (Galformer) 预训练方法，采用 2D 和 3D 模态增强分子表示学习，通过对无标签的分子进行两个互补的预训练任务，提取出 2D 和 3D 知识，并在性质预测方面表现出优越性能。

    Sep, 2023