ICLROct, 2022

一种 Transformer 模型可以理解 2D 和 3D 分子数据

PDF
TL;DR本文提出了 Transformer-M 模型，可以对 2D 和 3D 分子结构信息进行编码和语义表示，通过合适的监督信号训练获得对不同数据格式的知识，从而能够广泛应用于不同的任务。
molecular representation learningneural networkstransformer-m2d and 3d structural informationsupervised signals
发现论文，激发创造
  • 基于分子几何的 Transformer 模型，用于准确建模三维原子系统

    我们提出了一种新颖的 Transformer 架构 Moleformer，它将节点（原子）和边（键和非键原子对）作为输入，并使用旋转不变性和平移不变性的几何感知空间编码来模拟它们之间的相互作用。我们在 OC20 和 QM9 数据集上进行了基准测试，Moleformer 在 OC20 的初始状态到松弛能量预测方面实现了最先进的水平，并且在预测量子化学性质方面与其他 Transformer 和图神经网络方法相比非常有竞争力，证明了所提出的几何感知空间编码在 Moleformer 中的有效性。

    Feb, 2023

  • 分子表示的统一的 2D 和 3D 预训练

    本文基于统一的 2D 和 3D 预训练，提出了一种新的基于图神经网络的表示学习方法，将原子坐标和原子间距编码，并通过图神经网络将其与原子表示融合。在 11 个下游分子属性预测任务中进行评估，其在 10 项任务中都获得了最先进的结果，2D 任务平均改进了 8.3％，同时在 2 个三维构象生成任务中也取得了显着的改进。

    Jul, 2022

  • 基于几何感知的线图变换预训练用于分子性质预测

    本文提出了 Geometry-aware line graph transformer (Galformer) 预训练方法，采用 2D 和 3D 模态增强分子表示学习，通过对无标签的分子进行两个互补的预训练任务，提取出 2D 和 3D 知识，并在性质预测方面表现出优越性能。

    Sep, 2023

  • 三维分子任务 ATOM3D

    该研究介绍了 ATOM3D 的程序，该程序为生物分子的三维计算方法提供了统一的工具包，其中包含多个基准数据集以及多个三维分子学习任务的实现，结果表明多数分子问题都可从三维分子学习中获益，并提供全面套件的工具进行数据集处理、模型培训和评估。

    Dec, 2020

  • GeoMFormer：一种用于几何分子表示学习的通用架构

    通过 GeoMFormer 这一基于 Transformer 的分子模型，在维持和学习不变和等变表示的同时，通过精心设计的交叉注意力模块实现信息融合和增强几何建模，以提高不同类型和规模的不变和等变任务的性能。

    Jun, 2024

  • 分子注意力变换器

    通过在 Transformer 中使用原子间距离和分子结构来扩充注意力机制，我们提出了 Molecule Attention Transformer（MAT）神经网络模型，其可以在一系列不同的分子预测任务中以竞争优势表现。并且，我们展示了一个简单的自监督预训练可以让 MAT 以很少的超参数调整就达到最新技术水平，并且 MAT 学习到的注意力权重可以从化学角度解释。

    Feb, 2020

  • 双视角分子预训练

    该研究提出了一种双视图分子预训练算法（简称 DMP），旨在将分子的图表示和 SMILES 序列表示相结合进行预训练，经过在多种分子特性预测任务和合成规划任务上的测试，DMP 都取得了最先进的表现。

    Jun, 2021

  • 利用语言模型和领域相关辅助任务进行分子表示学习

    本文采用 Transformer 结构，具体为 BERT，来学习灵活高质量的分子表示，从预训练使用不同组合的自监督任务的影响、到提高所学表示的领域相关性，最终提高了我们模型 MolBert 在基准数据集上的性能，显示其在药物发现方面具有良好的应用前景。

    Nov, 2020

  • 化学与药物发现中的 Transformer 和大型语言模型

    利用自然语言与化学的类比，本文探索了利用 Transformers 处理药物发现过程中的重要障碍，如后合成规划和化学空间探索，并展示了大型语言模型在化学领域解决通用任务的潜力。

    Oct, 2023

  • 通用等变转换器及其在 3D 分子相互作用学习中的应用

    该论文提出一种通用的分子相互作用模型，通过将三维分子表示为几何图形集的方法，使得能够捕获稀疏块级和密集原子级交互，通过进行广泛的实验证实了该方法对不同领域和不同任务进行可转移的学习具有潜力。

    Jun, 2023