用于多领域三维分子的统一几何学学习的等变预训练变压器

Feb, 2024

用于多领域三维分子的统一几何学学习的等变预训练变压器

Equivariant Pretrained Transformer for Unified Geometric Learning on Multi-Domain 3D Molecules

Rui Jiao, Xiangzhe Kong, Ziyang Yu, Wenbing Huang, Yang Liu

TL;DREquivariant Pretrained Transformer (EPT) 是一种新颖的预训练框架，旨在通过块增强表示统一多领域分子的几何建模，同时通过 E (3) 不变性进一步增强 Transformer 框架，通过块级预训练任务，实现了同时在包含小分子和蛋白质的数据集上进行预训练，并在多个任务中显著优于之前的方法。

Abstract

pretraining on a large number of unlabeled 3d molecules has showcased superiority in various scientific applications. However, prior efforts typically focus on →

pretraining 3d molecules equivariant pretrained transformer geometric learning small molecules and proteins

发现论文，激发创造

通用等变转换器及其在 3D 分子相互作用学习中的应用

该论文提出一种通用的分子相互作用模型，通过将三维分子表示为几何图形集的方法，使得能够捕获稀疏块级和密集原子级交互，通过进行广泛的实验证实了该方法对不同领域和不同任务进行可转移的学习具有潜力。

Jun, 2023

基于能量激发的等变预训练对 3D 分子图的研究

本文提出一种新的三维分子预训练方法，该方法采用等变能量基模型作为主干网络，以预测节点力信息为目标进行节点级预训练损失计算，并采用高斯分布以保证其 E（3）不变性，同时通过图层级噪声缩放预测任务来进一步提高模型性能，实验结果表明，该方法在两个挑战性的三维基准测试上均取得了比当前最先进的预训练方法更佳的表现。

Jul, 2022

分子属性预测的自动化三维预训练

本文提出了一个名为 3D PGT 的新颖框架，它可以在无法获得几何结构的实际应用情况下，以 2D 结构为输入预测分子属性，实验证明与各种预训练基线相比，其具有更高的准确性，效率和泛化能力。

Jun, 2023

ETDock: 一种新颖的蛋白质 - 配体对接等变换 Transformer 模型

应用等变性转换神经网络模型，利用蛋白质和配体的 3D 空间信息以及配体的图级特征进行融合和学习，实现了蛋白质 - 配体对接位姿的预测，并通过迭代优化生成精炼的配体位姿，实验证明该模型具有最先进的性能。

Oct, 2023

愿原力与你同在：基于力的统一预训练方法用于 3D 分子构象

我们提出了一种力导向的预训练模型，用于涵盖平衡和非平衡数据的三维分子构象，通过直接学习非平衡数据的原子力，以及引入零力正规化和基于力的去噪技术来近似接近平衡力转化为近千其他鞠躬。我们的预训练模型对于三维分子表示具有统一的作用，通过预训练目标，力的准确性相比未经预训练的等变变压器模型提高了约 3 倍，同时通过在平衡数据上添加正规化项，解决了原始等变变压器中不稳定的分子动力学模拟问题，实现了与 NequIP 相比 2.45 倍更快的推理时间，并达到了与最先进的属性预测任务相当的性能。

Aug, 2023

基于几何感知的线图变换预训练用于分子性质预测

本文提出了 Geometry-aware line graph transformer (Galformer) 预训练方法，采用 2D 和 3D 模态增强分子表示学习，通过对无标签的分子进行两个互补的预训练任务，提取出 2D 和 3D 知识，并在性质预测方面表现出优越性能。

Sep, 2023

TorchMD-NET: 基于等变换形式的 Transformer 用于神经网络分子势能

本文提出了 TorchMD-NET 的结构，即一种新的等变转换器，用于预测量子机械性质，经过权重分析后发现与分子动力学或正常模式采样的构象的学习表示存在差异，同时强调包括不平衡构象的数据集对于分子能量模型的评价的重要性。

Feb, 2022

等变换器网络

使用具有等变性函数的规范坐标系构建了一种不同 iable 的图像到图像映射，称为 ET（Equivariant Transformers），并证明了它能够在提高模型强健性方面进行灵活组合，从而使得在现实世界的图像分类任务中，相对于 ResNet 分类器，ET 能够在数据有限情况下提高最多 15% 的分类效果而只增加不到 1% 的模型参数。

Jan, 2019

目标感知分子生成和亲和力预测的 3D 等变扩散

本研究基于 3D 等变扩散模型实现有标的分子设计，并提出了一种综合的评估框架来评估样本分子的质量，实验结果表明，该模型能够更好地生成具有更逼真的 3D 结构和更好的与蛋白靶点的亲和力，而且在不重新训练的情况下能够提高结合亲和力排名和预测质量。

Mar, 2023

Equiformer: 三维原子图的等变图注意力变换器

本文提出的 Equiformer 是一种图神经网络，利用变换器架构的优势，并结合基于不可约表示（irreps）的 SE (3)/E (3) 等变特征，取得了在 QM9、MD17 和 OC20 数据集上与之前模型相当的好的性能。

Jun, 2022