ICMLJun, 2024

GeoMFormer：一种用于几何分子表示学习的通用架构

PDF
TL;DR通过 GeoMFormer 这一基于 Transformer 的分子模型，在维持和学习不变和等变表示的同时，通过精心设计的交叉注意力模块实现信息融合和增强几何建模，以提高不同类型和规模的不变和等变任务的性能。
molecular modelingquantum mechanicsdeep learningtransformer-based molecular modelgeomformer
发现论文，激发创造
  • 基于几何感知的线图变换预训练用于分子性质预测

    本文提出了 Geometry-aware line graph transformer (Galformer) 预训练方法，采用 2D 和 3D 模态增强分子表示学习，通过对无标签的分子进行两个互补的预训练任务，提取出 2D 和 3D 知识，并在性质预测方面表现出优越性能。

    Sep, 2023

  • 基于分子几何的 Transformer 模型，用于准确建模三维原子系统

    我们提出了一种新颖的 Transformer 架构 Moleformer，它将节点（原子）和边（键和非键原子对）作为输入，并使用旋转不变性和平移不变性的几何感知空间编码来模拟它们之间的相互作用。我们在 OC20 和 QM9 数据集上进行了基准测试，Moleformer 在 OC20 的初始状态到松弛能量预测方面实现了最先进的水平，并且在预测量子化学性质方面与其他 Transformer 和图神经网络方法相比非常有竞争力，证明了所提出的几何感知空间编码在 Moleformer 中的有效性。

    Feb, 2023

  • GP-MoLFormer: 分子生成的基础模型

    训练数据记忆和新颖性受训练数据质量影响；GP-MoLFormer 可用于生成新颖、有效且独特的分子；在三个不同任务上，GP-MoLFormer 表现良好或相当，展示了它的通用性。

    Apr, 2024

  • GeoMol：分子 3D 构形的扭转几何生成

    提出了一种基于机器学习的方法 GeoMol，可以生成分子的 3D 构象，并且相较于一些开源、商业或者最先进的机器学习模型表现更为出色，同时具有过程全自动化的特点。

    Jun, 2021

  • 一种 Transformer 模型可以理解 2D 和 3D 分子数据

    本文提出了 Transformer-M 模型，可以对 2D 和 3D 分子结构信息进行编码和语义表示，通过合适的监督信号训练获得对不同数据格式的知识，从而能够广泛应用于不同的任务。

    Oct, 2022

  • 多视角几何变换器用于 3D 人体姿态估计

    我们的研究旨在提高 Transformer 的三维推理能力，在多视图三维人体姿势估计中。通过引入一种新的混合模型，MVGFormer，该模型采用一系列的几何和外观模块，以迭代方式组织。其中，几何模块通过几何方式处理依赖于视角的三维任务，显著改善了模型的泛化能力。外观模块是可学习的，并且专门用于从图像信号中端到端地估计二维姿势，即使在出现遮挡时也能获得准确的估计结果，从而实现了准确性和适用于新的摄像机和几何形状的模型。经过领域内外的评估，我们的模型始终优于最先进的方法，特别是在领域外的情况下有明显的优势。我们将发布代码和模型：this URL

    Nov, 2023

  • 通用等变转换器及其在 3D 分子相互作用学习中的应用

    该论文提出一种通用的分子相互作用模型，通过将三维分子表示为几何图形集的方法，使得能够捕获稀疏块级和密集原子级交互，通过进行广泛的实验证实了该方法对不同领域和不同任务进行可转移的学习具有潜力。

    Jun, 2023

  • 分子表示的几何深度学习

    该综述介绍了基于对称信息的神经网络的几何深度学习在分子建模领域的应用，强调了所学到的分子特征和他们与传统分子描述符相互补充的重要性，并给出了该领域未来的发展前景。

    Jul, 2021

  • 分子、蛋白质和晶体材料的对称性知识几何表示

    本文提出了 Geom3D，一个平台，用于比较分子的不同几何表示方法之间的效果差异，并提供了 16 种先进的对称性信息的几何表示模型和 14 种几何预训练方法，以帮助有兴趣探索科学问题的机器学习研究人员消除障碍，并提供有价值的指导。

    Jun, 2023

  • 使用三维几何预训练分子图表示

    本研究提出了图多视角自编码（Graph Multi-View Pre-training）框架，使用自监督学习（self-supervised learning）通过 2D 拓扑和 3D 几何视图之间的对应和一致性提高了对分子图表示的学习能力，并通过实验证明其有效性高于现有的图自监督学习方法。

    Oct, 2021