可操控的 Transformer
本文介绍了可旋转卷积神经网络,这是一种高效灵活的等变卷积网络类,利用数学理论中给出的可旋转表示类型系统,我们实现了 CIFAR 图像分类基准上最先进的结果,并展示了如何构建有效利用参数的 CNN。
Dec, 2016
本研究论文探讨卷积神经网络在对称群中的应用,提出了群等变神经网络的概念和架构,以及使用多种层和滤波器的方法,为对称群的表示和胶囊的细节做出了数学分析。
Jan, 2023
本文介绍一种名为 “可转向 CNN” 的神经网络结构,应用于数据的几何变换,通过滤波器变换技术构建可转向卷积核,通过群表示理论将此两者联系在一起,提高了网络的鲁棒性并减少了过拟合。
May, 2021
本文提出了一种卷积网络,它对刚体运动具有等变性。使用 3D 欧几里得空间上的标量场、向量场和张量场来表示数据,并使用等变卷积在这些表示之间映射。实验结果验证了 3D Steerable CNN 对氨基酸倾向预测和蛋白质结构分类等问题的有效性,这些问题均具有 SE(3)对称性。
Jul, 2018
本文介绍了一种基于可平移、可旋转等变性的创新神经网络结构,采用可旋转滤波器和群卷积实现了对变换的兼容性,使用改进的权重初始化方案来提高准确率,在旋转 MNIST 基准测试和 ISBI 2012 2D EM 语义分割挑战中取得了良好表现。
Nov, 2017
介绍了一种使用可控滤波器建立尺度等变卷积网络的通用理论,并将其他常见块推广为尺度等变块,此方法具有计算效率和数值稳定性,同时在 MNIST-scale 数据集和 STL-10 数据集中实现了领先水平的分类结果。
Oct, 2019
本文介绍了 SE (3)-Transformer,一种用于 3D 点云和图形的自我注意模块,它在连续 3D 旋转变换下具有等变性。SE (3)-Transformer 利用自我注意的好处来处理点云和图形,同时保证了 SE (3)- 等变性,从而提高了模型的稳健性和预测性能。本文的模型在多个数据集上均取得了竞争性能,超过了一个强的非等变的基准模型和一个等变的模型没有注意力。
Jun, 2020
该研究描述了在可旋转卷积神经网络框架中的 $E (2)$- 等变卷积,提出了转换特性表示描述特征空间变换法则的群表示。研究人员证明了这些约束可以通过使用不可约表示约简为任意群表示的约束,并通过实现一系列先前提出的和全新的等变网络架构进行了广泛比较,表明当用作非等变卷积的替代品时,在 CIFAR-10、CIFAR-100 和 STL-10 上使用 $E (2)$- 可旋转卷积可以取得显著的改进。
Nov, 2019
该论文提出了一种可定向前馈的学习方法,利用球面神经元对点云进行分类,得到具有旋转等变性的滤波器组建网络,利用三角形基础来推导滤波器并构建旋转等变性的球形滤波器组。
Jun, 2021
使用 MLP 来参数化 G - 可操作的卷积核,提出了一种简单灵活的 Steerable CNNs 框架,可推广到任何可建立 G - 等变 MLP 的群组 G。在点云(ModelNet-40)和分子数据(QM9)上应用我们的方法,与标准的 Steerable CNNs 相比,性能有显著提高。
Dec, 2022