非平衡分子的降噪预训练，用于准确和可转移的神经势

Mar, 2023

非平衡分子的降噪预训练，用于准确和可转移的神经势

Denoise Pre-training on Non-equilibrium Molecules for Accurate and Transferable Neural Potentials

Yuyang Wang, Changwen Xu, Zijie Li, Amir Barati Farimani

TL;DR本文提出了基于去噪预训练 (Equivariant Graph Neural Networks) 的新型神经势能预测方法，旨在解决对于大规模、复杂的分子体系建立准确、具有可迁移性的 GNN 神经势能预测模型的问题。实验结果表明，该方法具有很好的实用性，并成功地提高了神经势能预测的准确性。

Abstract

Machine learning methods, particularly recent advances in equivariant graph neural networks (GNNs), have been investigated as surrogate models to expensive ab initio quantum mechanics (QM) approaches for molecular potential predictions. However, building accurate and transferable poten

equivariant graph neural networks quantum mechanics denoise pre-training neural potentials molecular systems

发现论文，激发创造

分子性质预测的去噪预训练

该论文描述了一种基于去噪自编码的预训练技术，通过利用大量的 3D 分子结构数据学习下游任务的有意义的表示，从而实现分子属性预测的最新技术；实验证明，使用这种预训练目标显著提高了多个基准测试的性能，在广泛使用的 QM9 数据集中取得了新的最新技术成果。

May, 2022

神经电位的预训练策略

我们提出了一种掩码预训练方法，用于改善图神经网络在拟合潜在能量表面方面的性能，尤其是在水系统中。该方法通过从分子中恢复与掩码化原子相关的空间信息进行预训练，然后在原子力场上进行转移和微调。通过这种预训练，图神经网络学习了与分子系统的结构和基础物理信息相关的有意义的先验知识，对下游任务有用。通过全面的实验和消融研究，我们证明了该方法相对于从头开始训练或使用其他预训练技术（如去噪）的图神经网络，在准确性和收敛速度上都有所提高。另一方面，我们的预训练方法适用于基于能源和力的图神经网络。这种方法展示了它在拟合分子力场方面提高性能和数据效率的潜力。

Feb, 2024

推广去噪至非平衡结构改善等变原子力场

本文提出了一种使用去噪非平衡结构（DeNS）作为辅助任务来更好地利用训练数据和提高性能的方法，通过对非平衡结构添加噪声并预测噪声来实现对非平衡结构的去噪，进而改善在 OC20、OC22 和 MD17 数据集上的训练效率并取得了新的最先进结果。

Mar, 2024

分子 GNN 的预训练作为条件玻尔兹曼生成器

我们提出了一种预训练方法，使用现有的分子构形数据集生成适用于多个构形的潜在向量，从而解决了获取多个构形的计算成本高的问题，并展示了我们的模型在分子性质预测方面优于使用分子图和三维分子结构的现有预训练方法。

Dec, 2023

通过位置去噪预测易于获得的几何量子化学性质

本文提出了采用分层去噪方法预测量子化学性质的方法，以优化几何结构为输入，解决高级量子力学计算的不可行性问题，实现了在两个预测任务中取得了较高的准确性。

Mar, 2023

神经网络原子间势的综合预训练

基于机器学习的原子间势函数已经在原子级材料建模领域产生了巨大的影响，但是这些势函数的质量和数量对应的量子力学参考数据至关重要，因此开发数据集和训练流程成为一个日益重要的挑战。我们在这篇论文中展示了利用合成的原子级数据作为神经网络原子间势函数的预训练任务是有益的。经过大规模的合成数据集的预训练后，这些模型可以在更小的量子力学数据集上进行微调，提高计算实践中的数值精度和稳定性。我们通过一系列与碳相关的等变图神经网络势函数进行可行性验证，并进行了初步实验来测试该方法的局限性。

Jul, 2023

愿原力与你同在：基于力的统一预训练方法用于 3D 分子构象

我们提出了一种力导向的预训练模型，用于涵盖平衡和非平衡数据的三维分子构象，通过直接学习非平衡数据的原子力，以及引入零力正规化和基于力的去噪技术来近似接近平衡力转化为近千其他鞠躬。我们的预训练模型对于三维分子表示具有统一的作用，通过预训练目标，力的准确性相比未经预训练的等变变压器模型提高了约 3 倍，同时通过在平衡数据上添加正规化项，解决了原始等变变压器中不稳定的分子动力学模拟问题，实现了与 NequIP 相比 2.45 倍更快的推理时间，并达到了与最先进的属性预测任务相当的性能。

Aug, 2023

3D 去噪器是优秀的 2D 教师：通过去噪和跨模态蒸馏进行分子预训练

D&D 是一种自监督的分子表示学习框架，通过从 3D 去噪器中提炼的表示来预训练 2D 图形编码器，并在下游任务中无需准确的构象器获得 3D 信息和卓越的性能。

Sep, 2023

切片去噪：一种基于物理信息的分子预训练方法

该论文提出一种名为 SliDe 的分子预训练新方法，利用切片去噪策略及随机切片方法，提高对分子力场的精确预测能力，从而优于传统基准模型在分子性质预测任务上的表现。

Nov, 2023

基于能量激发的等变预训练对 3D 分子图的研究

本文提出一种新的三维分子预训练方法，该方法采用等变能量基模型作为主干网络，以预测节点力信息为目标进行节点级预训练损失计算，并采用高斯分布以保证其 E（3）不变性，同时通过图层级噪声缩放预测任务来进一步提高模型性能，实验结果表明，该方法在两个挑战性的三维基准测试上均取得了比当前最先进的预训练方法更佳的表现。

Jul, 2022