本文提出了一个名为 3D PGT 的新颖框架，它可以在无法获得几何结构的实际应用情况下，以 2D 结构为输入预测分子属性，实验证明与各种预训练基线相比，其具有更高的准确性，效率和泛化能力。

Jun, 2023

该研究提出了一种基于 2D 分子图的分子几何预训练模型，通过自监督学习方法，使其能够生成隐含的 3D 信息，显著提升各种性质的预测表现，并可跨多个不同的分子空间进行有效的迁移学习。

Oct, 2021

本研究提出了图多视角自编码（Graph Multi-View Pre-training）框架，使用自监督学习（self-supervised learning）通过 2D 拓扑和 3D 几何视图之间的对应和一致性提高了对分子图表示的学习能力，并通过实验证明其有效性高于现有的图自监督学习方法。

Oct, 2021

本文提出了 Transformer-M 模型，可以对 2D 和 3D 分子结构信息进行编码和语义表示，通过合适的监督信号训练获得对不同数据格式的知识，从而能够广泛应用于不同的任务。

Oct, 2022

本文提出了一种名为 “知识引导图转换器的预训练 (KPGT)” 的自监督学习框架，利用高容量的线性图转换器（LiGhT）和知识引导的预训练策略，以解决分子属性预测中存在的两个主要问题，并在大规模无标签分子图上显示出卓越的性能。

Jun, 2022

我们提出了一种新颖的 Transformer 架构 Moleformer，它将节点（原子）和边（键和非键原子对）作为输入，并使用旋转不变性和平移不变性的几何感知空间编码来模拟它们之间的相互作用。我们在 OC20 和 QM9 数据集上进行了基准测试，Moleformer 在 OC20 的初始状态到松弛能量预测方面实现了最先进的水平，并且在预测量子化学性质方面与其他 Transformer 和图神经网络方法相比非常有竞争力，证明了所提出的几何感知空间编码在 Moleformer 中的有效性。

Feb, 2023

通过 GeoMFormer 这一基于 Transformer 的分子模型，在维持和学习不变和等变表示的同时，通过精心设计的交叉注意力模块实现信息融合和增强几何建模，以提高不同类型和规模的不变和等变任务的性能。

Jun, 2024

本论文提出了一种利用几何增强分子表示学习的方法，称为 GEM，通过使用基于几何的 GNN 架构和几何级别的自监督学习策略，该方法可以用来进行化学表示学习，实验表明该方法可以显著优于各种现有基线方法。

Jun, 2021

通过使用可学习的分层分子语法，我们提出了一种数据高效的性质预测方法，可以从语法生成规则中生成分子，并利用次级空间的几何信息进行性质预测，从而在有限数据情况下优于其他方法。

Sep, 2023

本文提出一种新的三维分子预训练方法，该方法采用等变能量基模型作为主干网络，以预测节点力信息为目标进行节点级预训练损失计算，并采用高斯分布以保证其 E（3）不变性，同时通过图层级噪声缩放预测任务来进一步提高模型性能，实验结果表明，该方法在两个挑战性的三维基准测试上均取得了比当前最先进的预训练方法更佳的表现。

Jul, 2022