具有完整局部参考系的 SE (3) 等变图神经网络
本文介绍了一种新的模型来学习具有等变性的图神经网络,称为 EGNN,此方法不需要在中间层中计算昂贵的高阶表示,同时具有竞争力或更好的性能,在 3 维空间等变性上具有比现有方法更大的伸缩性,并在动态系统建模,图自编码器中的表征学习和预测分子性质方面证明了其有效性。
Feb, 2021
这项工作介绍了 E3x,这是一个用于构建神经网络的软件包,它对于欧几里得群 E (3) 是等变的,包括三维空间的平移、旋转和反射。与普通的神经网络相比,E (3) 等变模型在输入和 / 或输出数据为与三维对象相关的量时具有优势。因为这些量的数值值(例如位置)通常取决于所选的坐标系。在参考坐标系的变换下,值会发生可预测的变化,但对于普通的机器学习模型来说,学习这些基本规则可能会很困难。内置 E (3) 等变性后,神经网络保证完全符合相关的变换规则,从而具有卓越的数据效率和准确性。E3x 的代码可以从此 https URL 获得。
Jan, 2024
建立等变消息传递框架,实现几何深度学习中的任意维度欧几里得空间上的等变信息传递,通过局部坐标框架和张量对象在消息中保持几何信息一致性,并展示了 O (3) 等变性在点云架构上的优势及在法向量回归中的最新成果。
May, 2024
应用等变图神经网络提高在结构生物学中解决机器学习中出现的三维大分子结构的难题,在八个任务中,在三个任务上超越了所有基准模型,在另外两个任务上并列第一,在使用高阶表示和球面谐波卷积的等变网络中表现良好。此外,我们证明迁移学习可以进一步提高特定下游任务的性能。
Jun, 2021
采用等变图神经网络比其非等变神经网络在动态交互模型中能够更准确地学习流体力学系统的运动,并发现等变模型可以对湍流流量进行粗粒化建模和参数推广。
Mar, 2023
我们介绍了可以将位置、力、速度或旋转等协变信息纳入计算物理和化学任务的可旋转 E (3) 等变图神经网络(SEGNNs),该模型能够通过可旋转 MLPs 将几何和物理信息纳入信息和更新函数,我们通过等变非线性卷积的镜头讨论了我们和相关工作,证明了我们的方法在计算物理和化学的几个任务中是有效的。
Oct, 2021
本文提出了一个有效的 SE(3)网络,它是针对点云分析领域中 3D 形状对齐任务而设计的,可以利用等变特征来提高性能并解决相对较少探索的旋转等变特征对 3D 形状对齐任务的处理问题。我们采用一个新的框架 SE (3) 可分点卷积来降低计算成本,并在网络中引入一个注意力层来有效地利用等变特征的表达能力。通过广泛的研究和视觉解释,实证结果表明,我们提出的模型在各种基准测试中优于强基线。
Mar, 2021
我们提出了一种理论和方法论框架,以解决在将深度学习应用于物理系统时的一个关键挑战:在预测 SO (3)- 等变量(如电子结构哈密顿量)时,非线性表达能力与 SO (3)- 等变性的协调问题。在物理学中协变理论的启发下,我们通过探索 SO (3)- 不变量和 SO (3)- 等变量及其表示之间的数学关系来解决这个问题。我们首先构造了从 SO (3)- 等变回归目标得出的理论 SO (3)- 不变量,并将这些不变量作为监督标签来指导学习高质量的 SO (3)- 不变特征。由于非线性操作能保持 SO (3)- 不变性,因此不变特征的编码过程可以广泛利用非线性映射,从而充分捕捉物理系统中固有的非线性模式。在此基础上,我们提出了一种基于梯度的机制,从学习到的 SO (3)- 不变特征中诱导出各种程度的 SO (3)- 等变编码。该机制能将非线性表达能力合并到 SO (3)- 等变表示中,并在理论上保持它们的等变性质,我们通过数学证明了这一点。我们的方法为解决深度学习方法中等变性和非线性表达能力之间的关键困境提供了一个有前景的通用解决方案。我们将理论和方法应用于电子结构哈密顿量的预测任务,并在六个基准数据库上展示了最先进的性能。
May, 2024
我们在这篇论文中开发了 SE3Set,这是一个针对高级分子表示学习量身定制的 SE (3) 等变超图神经网络架构。SE3Set 的出色性能突显了其在各种分子结构上的转化潜力,为计算化学提供了一条更准确和物理细致建模的途径。
May, 2024