多维向量神经元：更好更快的 O (n) 等变 Clifford 图神经网络

Jun, 2024

多维向量神经元：更好更快的 O (n) 等变 Clifford 图神经网络

Multivector Neurons: Better and Faster O(n)-Equivariant Clifford Graph Neural Networks

Cong Liu, David Ruhe, Patrick Forré

TL;DR本研究通过测试几种基于 Clifford 多矢量的新颖消息传递图神经网络（GNNs），旨在解决当前大多数对 $O (n)$ 或 $SO (n)$ 等等变换具有等变性的深度学习模型在处理标量信息时效果较好，但计算复杂度较高的问题。我们的方法利用了高效的不变标量特征，并同时在多矢量表示上执行表达性学习，特别是通过使用等变的几何乘积算子。通过整合这些要素，我们的方法在 N-Body 模拟任务和蛋白质去噪任务上优于已建立的高效基准模型，同时保持高效性。特别是，在 N-body 数据集上，我们的方法的误差推动到 0.0035（平均 3 次运行）；比最近的方法提升了 8%。我们的实现在 Github 上提供。

Abstract

Most current deep learning models equivariant to $O(n)$ or $SO(n)$ either consider mostly scalar information such as distances and angles or have a very high computational complexity. In this work, we test a few novel message passing graph neural networks (GNNs) based on →

deep learning models message passing graph neural networks clifford multivectors equivariant geometric product operator n-body simulation task

发现论文，激发创造

Clifford 群等变神经网络

介绍了一种新的方法：Clifford Group Equivariant Neural Networks。从 Clifford 代数中识别和研究 Clifford group 子群，形成了一个直接在向量基础上运算、高效推广到任意维数的 Equivariant Neural Network 层。从三维 N 体实验、四维 Lorentz-equivariant 高能物理实验到五维凸包实验都获得了最新的技术成果。

May, 2023

分子图网络具有多体等变相互作用

通过引入等变向量表示，消息传递神经网络在预测分子相互作用方面表现出显著的功效。在消息传递过程中，两个相对的化学键向量可能会相互抵消，导致他们共享节点上的方向信息丢失。本研究开发了等变 N 体互作用网络（ENINet），明确地整合等变的多体互作用以保留消息传递方案中的方向信息。实验证明，整合多体等变表示增强了对不同标量和张量量子化学性质的预测准确性。消融研究显示，在 QM9 的 12 个性质中有 11 个平均性能提升了 7.9%，在 MD17 的力中提升了 27.9%，在 QM7b 的极化率（CCSD）中提升了 11.3%。

Jun, 2024

量子启发式的几何建模的神经网络

通过创造物理系统的 3D 多体点云，我们提出了一种新型的基于等变矩阵乘积态 (MPS) 的消息传递策略，有效地建模复杂的多体关系并捕捉了几何图中的对称性，超越了现有的几何图神经网络的平均场近似，并在预测经典牛顿系统和量子张量哈密顿矩阵等基准任务上验证了其卓越的准确性，堪称参数化几何张量网络的创新应用。

Jan, 2024

E (n) 等变图神经网络

本文介绍了一种新的模型来学习具有等变性的图神经网络，称为 EGNN，此方法不需要在中间层中计算昂贵的高阶表示，同时具有竞争力或更好的性能，在 3 维空间等变性上具有比现有方法更大的伸缩性，并在动态系统建模，图自编码器中的表征学习和预测分子性质方面证明了其有效性。

Feb, 2021

利用多个向量通道改善 E (n)- 等变图神经网络

我们提出了 E (n)- 等变图神经网络的一个自然扩展，它使用每个节点的多个等变向量。我们阐述了这种扩展，并展示了它在不同物理系统基准任务上提高了性能，同时几乎没有运行时间或参数数量上的差异。该多通道 EGNN 在 N 体带电粒子动力学、分子属性预测和太阳系物体轨迹预测方面优于标准的单通道 EGNN。考虑到多通道 EGNN 的额外优点和最小成本，我们建议这种扩展可能对从事物理科学机器学习研究的研究人员有实际用途。

Sep, 2023

用于三维大分子结构的等变图神经网络

应用等变图神经网络提高在结构生物学中解决机器学习中出现的三维大分子结构的难题，在八个任务中，在三个任务上超越了所有基准模型，在另外两个任务上并列第一，在使用高阶表示和球面谐波卷积的等变网络中表现良好。此外，我们证明迁移学习可以进一步提高特定下游任务的性能。

Jun, 2021

矢量神经元：一个针对 SO (3)- 等变网络的通用框架

本文介绍了一种基于向量神经元的通用框架，用于创建点云处理的 SO（3）- 等变神经网络。通过扩展神经元从 1D 标量到 3D 向量，向量神经元使得我们可以将 SO（3）操作简单地映射到潜在空间中，从而提供了构建常见神经操作的等变性的框架，尽管方法简单，但在准确性和泛化性方面表现出色，是处理任意姿态下的几何输入的一种有效方法。

Apr, 2021

基于粒子的流体力学问题的 E ($3$) 等变图神经网络

采用等变图神经网络比其非等变神经网络在动态交互模型中能够更准确地学习流体力学系统的运动，并发现等变模型可以对湍流流量进行粗粒化建模和参数推广。

Mar, 2023

克利福德群等变单纯消息传递网络

我们介绍了 Clifford Group 等变成分维消息传递网络，这是一种用于 simplicial 复合体上的可操控 E (n)- 等变消息传递的方法。实验结果表明，我们的方法能够在各种几何任务中优于等变和 simplicial 图神经网络。

Feb, 2024

E (n) 等变拓扑神经网络

图神经网络、拓扑深度学习、E（n）等变拓扑神经网络、几何特征和结构丰富数据的学习

May, 2024