Jun, 2022

Equiformer: 三维原子图的等变图注意力变换器

PDF
TL;DR本文提出的 Equiformer 是一种图神经网络，利用变换器架构的优势，并结合基于不可约表示（irreps）的 SE (3)/E (3) 等变特征，取得了在 QM9、MD17 和 OC20 数据集上与之前模型相当的好的性能。
transformer networks3d atomistic graphsequiformergraph neural networkse(3)/e(3)-equivariant features
发现论文，激发创造
  • EquiformerV2：用于扩展更高程度表示的改进等变 Transformer

    本研究提出 EquiformerV2 基于 eSCN 卷积和三个结构改进在大规模 OC20 数据集上取得了比之前方法高达 12% 的力量和 4% 的能量数据性能，并在速度 - 精度平衡和计算吸附能的 DFT 计算方面实现了 2 倍的降低。

    Jun, 2023

  • SE (3)-Transformers：三维旋转平移等变注意力网络

    本文介绍了 SE (3)-Transformer，一种用于 3D 点云和图形的自我注意模块，它在连续 3D 旋转变换下具有等变性。SE (3)-Transformer 利用自我注意的好处来处理点云和图形，同时保证了 SE (3)- 等变性，从而提高了模型的稳健性和预测性能。本文的模型在多个数据集上均取得了竞争性能，超过了一个强的非等变的基准模型和一个等变的模型没有注意力。

    Jun, 2020

  • 用于三维大分子结构的等变图神经网络

    应用等变图神经网络提高在结构生物学中解决机器学习中出现的三维大分子结构的难题，在八个任务中，在三个任务上超越了所有基准模型，在另外两个任务上并列第一，在使用高阶表示和球面谐波卷积的等变网络中表现良好。此外，我们证明迁移学习可以进一步提高特定下游任务的性能。

    Jun, 2021

  • E (3) 等变图神经网络用于高效且准确的原子间势能

    这项工作提出了神经等变分子间势 (NequIP), 一种用于学习分子动力学模拟的从自由计算中学习分子间势的 E (3) 等变神经网络方法。NequIP 通过几何张量相互作用利用 E (3)- 等变卷积，此方法在数据效率方面具有非凡的性能，使得准确利用高损耗的量子化学理论构建准确潜力成为可能，并使得长时间尺度上的高保障分子动力学模拟成为可能。

    Jan, 2021

  • LieTransformer：李群中的等变自注意力

    本文提出了 LieTransformer，这是一种由 LieSelfAttention 层组成的网络结构，可以处理不同类型的 Lie 群及其离散子群的不变性，并通过实验表现出一定的竞争力，可以在点云形状计数、分子属性回归、粒子在哈密顿动力学下的轨迹建模等方面提升数据效率。

    Dec, 2020

  • E (n) 等变图神经网络

    本文介绍了一种新的模型来学习具有等变性的图神经网络，称为 EGNN，此方法不需要在中间层中计算昂贵的高阶表示，同时具有竞争力或更好的性能，在 3 维空间等变性上具有比现有方法更大的伸缩性，并在动态系统建模，图自编码器中的表征学习和预测分子性质方面证明了其有效性。

    Feb, 2021

  • 等变换器即所需

    通过引入对称等变性注意力机制，我们将其应用于自学习蒙特卡洛方法，并在二维格上的自旋 - 费米模型中观察到类似于大型语言模型的缩放率的接受率，并克服了线性模型的低接受率。

    Oct, 2023

  • SE3Set：利用等变超图神经网络进行分子表示学习

    我们在这篇论文中开发了 SE3Set，这是一个针对高级分子表示学习量身定制的 SE (3) 等变超图神经网络架构。SE3Set 的出色性能突显了其在各种分子结构上的转化潜力，为计算化学提供了一条更准确和物理细致建模的途径。

    May, 2024

  • 具有完整局部参考系的 SE (3) 等变图神经网络

    本文提出了一种构建 SE (3) 等变图神经网络的框架，该框架可以在保证性能的前提下实现计算效率的提升，并在牛顿力学建模和平衡分子构型生成两个任务中展示了优异的性能。

    Oct, 2021

  • 高效和等变的图网络用于预测量子哈密顿量

    本文提出了一种称为 QHNet 的 SE（3）- 等变网络，其利用创新的 QHNet 体系结构实现了效率和等变性，并在 MD17 数据集上表现出可比较于最先进方法的性能，同时消耗 50％的内存。

    Jun, 2023