TL;DR基于 Hyena 操作符的等变长卷积模型 SE (3)-Hyena，在保持旋转和平移等变性的同时，以次二次复杂度捕捉全局几何上下文，处理长序列时比等变自注意力机制更省内存和计算资源。
Abstract
Modeling global geometric context while maintaining equivariance is crucial
for accurate predictions in many fields such as biology, chemistry, or vision.
Yet, this is challenging due to the computational demands
本文介绍了 SE (3)-Transformer，一种用于 3D 点云和图形的自我注意模块，它在连续 3D 旋转变换下具有等变性。SE (3)-Transformer 利用自我注意的好处来处理点云和图形，同时保证了 SE (3)- 等变性，从而提高了模型的稳健性和预测性能。本文的模型在多个数据集上均取得了竞争性能，超过了一个强的非等变的基准模型和一个等变的模型没有注意力。
本文提出了一个有效的 SE（3）网络，它是针对点云分析领域中 3D 形状对齐任务而设计的，可以利用等变特征来提高性能并解决相对较少探索的旋转等变特征对 3D 形状对齐任务的处理问题。我们采用一个新的框架 SE (3) 可分点卷积来降低计算成本，并在网络中引入一个注意力层来有效地利用等变特征的表达能力。通过广泛的研究和视觉解释，实证结果表明，我们提出的模型在各种基准测试中优于强基线。
我们提出了一种将系数学习方案与残差操作器层结合起来的通用架构，用于在三维欧几里得空间中学习连续函数之间的映射。通过设计，我们的模型可以保证实现 SE (3)- 等变性。从图谱的观点来看，我们的方法可以被解释为在图上（具有无限多个节点的稠密图）上进行卷积，我们将其称为 InfGCN。通过利用输入数据的连续图结构和离散图结构，我们的模型可以有效地捕捉几何信息并保持等变性。通过在大规模电子密度数据集上进行广泛的实验证明，我们的模型明显优于当前最先进的架构。我们还进行了多项消融研究，以证明所提出的架构的有效性。
基于均匀空间理论，我们得出了在灵活的消息传递框架中使用的几何最优边属性，将卷积网络中的权重共享定义为在应该等同处理的点对上共享消息函数的共享点对的等价类，并导出能够唯一标识这些等价类的属性。我们通过在处理 3D 点云时开发了一种高效的等变群卷积网络来应用这一理论。在三个不同的基准测试中，即原子间势能预测、N 体系统轨迹预测和通过等变扩散模型生成分子，我们以准确性和速度方面达到了最先进的结果。