Feb, 2023

基于分子几何的 Transformer 模型，用于准确建模三维原子系统

PDF
TL;DR我们提出了一种新颖的 Transformer 架构 Moleformer，它将节点（原子）和边（键和非键原子对）作为输入，并使用旋转不变性和平移不变性的几何感知空间编码来模拟它们之间的相互作用。我们在 OC20 和 QM9 数据集上进行了基准测试，Moleformer 在 OC20 的初始状态到松弛能量预测方面实现了最先进的水平，并且在预测量子化学性质方面与其他 Transformer 和图神经网络方法相比非常有竞争力，证明了所提出的几何感知空间编码在 Moleformer 中的有效性。
molecular dynamic simulationsmachine learningtransformer architecturegeometry-aware spatial encodingquantum chemical properties
发现论文，激发创造
  • 一种 Transformer 模型可以理解 2D 和 3D 分子数据

    本文提出了 Transformer-M 模型，可以对 2D 和 3D 分子结构信息进行编码和语义表示，通过合适的监督信号训练获得对不同数据格式的知识，从而能够广泛应用于不同的任务。

    Oct, 2022

  • 基于几何感知的线图变换预训练用于分子性质预测

    本文提出了 Geometry-aware line graph transformer (Galformer) 预训练方法，采用 2D 和 3D 模态增强分子表示学习，通过对无标签的分子进行两个互补的预训练任务，提取出 2D 和 3D 知识，并在性质预测方面表现出优越性能。

    Sep, 2023

  • GeoMol：分子 3D 构形的扭转几何生成

    提出了一种基于机器学习的方法 GeoMol，可以生成分子的 3D 构象，并且相较于一些开源、商业或者最先进的机器学习模型表现更为出色，同时具有过程全自动化的特点。

    Jun, 2021

  • GeoMFormer：一种用于几何分子表示学习的通用架构

    通过 GeoMFormer 这一基于 Transformer 的分子模型，在维持和学习不变和等变表示的同时，通过精心设计的交叉注意力模块实现信息融合和增强几何建模，以提高不同类型和规模的不变和等变任务的性能。

    Jun, 2024

  • 基于曲率的变换器用于分子性质预测

    基于曲率的 Transformer 通过引入离散化的里奇曲率来改进图变换器神经网络模型对分子图数据中的结构信息的提取能力，通过将图的曲率信息作为位置编码添加到节点特征中进行注意力计算，这种方法能够在不改变原有网络架构的情况下引入图数据的曲率信息，且在 PCQM4M-LST、MoleculeNet 等化学分子数据集上与 Uni-Mol、Graphormer 等模型进行对比实验，结果表明该方法能够达到最先进的效果，证明离散化的里奇曲率在描述分子数据图的局部几何的同时也反映了其结构和功能关系。

    Jul, 2023

  • GEOM：用能量注释的分子构象进行性质预测和分子生成

    使用密度泛函理论和高级采样方法生成超过 450,000 种分子的 3D 构象，这将有助于从构象集合中预测分子性质并进行生成模型的开发。

    Jun, 2020

  • 分子变压器 - 一种用于化学反应不确定性校准的模型

    本文旨在提高有机合成中的反应预测的准确性，通过使用多头注意力分子变压器模型，能够在保持普适性的基础上，取得 90% 以上的前 1 准确率和 89% 的准确的不确定性估计得分，而无需手工制定规则。

    Nov, 2018

  • TorchMD-NET: 基于等变换形式的 Transformer 用于神经网络分子势能

    本文提出了 TorchMD-NET 的结构，即一种新的等变转换器，用于预测量子机械性质，经过权重分析后发现与分子动力学或正常模式采样的构象的学习表示存在差异，同时强调包括不平衡构象的数据集对于分子能量模型的评价的重要性。

    Feb, 2022

  • 利用深度生成图神经网络进行分子几何预测

    本文提出了一种基于条件深度生成图神经网络的分子构像生成方法，可以在数据驱动的基础上直接学习生成符合能量有利的、更可能在实验中被观察到的分子构像，相较于传统力场方法生成的构像更加接近于参考构像，并且保持着几何多样性，可以提供传统力场方法的初始坐标。

    Mar, 2019

  • E (3)- 不变分子构象聚合网络

    通过集成分子的 2D 表示和其多个构象体的表示，提出了一种新颖的 2D-3D 聚合机制，结合了分子的属性预测和机器学习方法，在已有数据集上显著优于现有的方法。

    Feb, 2024