通过 Gaunt 张量乘积实现傅里叶基中的高效等变运算

ICLRJan, 2024

通过 Gaunt 张量乘积实现傅里叶基中的高效等变运算

Enabling Efficient Equivariant Operations in the Fourier Basis via Gaunt Tensor Products

Shengjie Luo, Tianlang Chen, Aditi S. Krishnapriyan

TL;DR提出了一种用于建模现实世界应用中的 3D 数据的等变性神经网络的方法，其中重点在于计算不可约表示 (irreps) 的张量积计算的加速，通过数学上将其与高斯系数相连，从而可以通过 2D Fourier 基的卷积定理和快速傅立叶变换高效计算球函数之间的乘法，从而将不可约表示的张量积计算复杂度从 O (L^6) 降低到 O (L^3)，并通过 Open Catalyst Project 和 3BPA 数据集的实验证明了该方法在效率和性能上的提升。

Abstract

Developing equivariant neural networks for the E(3) group plays an important role in modeling 3D data across real-world applications. Enforcing this equivariance primarily involves the tensor products of irreducible representations (irreps). However, the computational complexity of suc

equivariant neural networks e(3) group tensor products of irreps clebsch-gordan coefficients gaunt coefficients

发现论文，激发创造

基于傅里叶变换的同变网络同构空间中的核与非线性设计

从 Fourier 角度出发，我们在同质空间上引入了一种统一的群等变网络框架，其中考虑了张量值特征场及其卷积层前后的特征，通过利用提升特征场的 Fourier 系数的稀疏性，通过 Fourier 域统一推导卷积核并实现非线性激活，该方法在 spherical vector field regression、point cloud classification 和 molecular completion 等任务中达到了最先进的性能水平。

Jun, 2022

用于等变信息传递的高阶不可约笛卡尔张量

通过整合基于高阶不可约笛卡儿张量的消息传递神经网络，论文介绍了一种新的机器学习方法，用于高效地进行原子尺度模拟，表现出与第一性原理方法相当甚至更好的性能。

May, 2024

在黎曼流形上进行高阶规范等变 CNN 和应用

本文介绍一个高阶推广的标准等变卷积的实现方式，即等变 Volterra 网络，使得在给定的接受范围内可以建模空间扩展的非线性交互，同时保持全局同构等变性，最后将它应用到神经影像数据的分类中。

May, 2023

Equiformer: 三维原子图的等变图注意力变换器

本文提出的 Equiformer 是一种图神经网络，利用变换器架构的优势，并结合基于不可约表示（irreps）的 SE (3)/E (3) 等变特征，取得了在 QM9、MD17 和 OC20 数据集上与之前模型相当的好的性能。

Jun, 2022

洛伦兹等变几何代数变换器在高能物理中的应用

从粒子物理实验中提取科学理解需要高精度和良好的数据效率来解决多样的学习问题。我们提出了 Lorentz Geometric Algebra Transformer（L-GATr），这是一个用于高能物理的全新多功能架构。L-GATr 将高能数据表示为四维时空的几何代数，并在 Lorentz 变换下等变，这是相对论运动学的对称群。同时，该架构是一个 Transformer，使它具有很强的灵活性和可扩展性。L-GATr 首先在粒子物理的回归和分类任务上得到验证。然后，我们构建了第一个 Lorentz 等变生成模型：基于 L-GATr 网络的连续正态流，使用 Riemannian 流匹配进行训练。在我们的实验证明中，L-GATr 与强领域特定的基线模型相媲美甚至更优秀。

May, 2024

学习等变张量函数及其在稀疏向量恢复中的应用

通过表征多元张量输入和张量输出的等变多项式函数，本文描述了不变函数。我们将注意力集中在关于正交群对张量的对角作用的等变函数上，并展示了如何将这种表征推广到包括洛伦兹群和辛群在内的其他线性代数群。我们的目标是定义等变机器学习模型，特别是关注稀疏向量估计问题。我们的实验结果表明，所提出的等变机器学习模型可以学习背景中表现优于已知的最佳理论方法的谱方法。实验还表明，学习到的谱方法可以在尚未进行理论分析的设置中解决该问题。这是理论可以告知机器学习模型并且机器学习模型可以告知理论的一个有前途的方向示例。

Jun, 2024

Clebsch-Gordan Nets：一种完全傅里叶空间球形卷积神经网络

本文提供了一种基于群表示理论和非交换谐波分析的方法来学习球面图像的创新性的构架，对于构建对紧致群的操作不变的神经网络具有普适性。

Jun, 2018

群等变神经网络的理论方面

本文介绍了群等变神经网络及其在机器学习中的应用及理论，其中包括群表示理论、非交换调和分析和微分几何等内容，研究结果表明这些网络可以降低样本和模型的复杂性，在输入具有任意相对角度的挑战性任务中表现出色。

Apr, 2020

具有融合图的群同态神经网络

本文提出使用融合图技术设计具有空间和排列对称性的神经网络，并将其应用于分子学习任务，以提高性能。

Nov, 2022

G-RepsNet: 任意矩阵群等变网络的快速通用构建

使用张量多项式表示特征的轻量级等变网络 G-RepsNet 是一种有效的深度学习方法，其在组等变性和各种任务上表现出竞争力，包括图像分类、N 体预测和 PDE 求解。

Feb, 2024