等变可操控神经网络:对对称群的特别强调综述
介绍了一种新型卷积神经网络,称为Group equivariant Convolutional Neural Networks (G-CNNs),它通过利用对称性降低样本复杂度,使用新型层G-convolutions,增加网络的表达能力,且易于使用和实现。 G-CNNs在CIFAR10和旋转的MNIST上实现了最先进的结果。
Feb, 2016
本文首先说明深度学习中卷积神经网络在图像识别方面的成功,然后介绍了将此框架推广到其他领域的尝试,并给出了使用表示论和非交换调和分析概念的卷积和等变性的理论证明,证明了卷积结构不仅是充分而且也是必要的对于紧致群作用的等变性的条件,并推导了新的广义卷积公式。
Feb, 2018
该研究描述了在可旋转卷积神经网络框架中的$E(2)$-等变卷积,提出了转换特性表示描述特征空间变换法则的群表示。研究人员证明了这些约束可以通过使用不可约表示约简为任意群表示的约束,并通过实现一系列先前提出的和全新的等变网络架构进行了广泛比较,表明当用作非等变卷积的替代品时,在CIFAR-10、CIFAR-100和STL-10上使用$E(2)$-可旋转卷积可以取得显著的改进。
Nov, 2019
本研究提出了一种基于偏微分方程的框架,该框架可以将几何意义上的PDE系数作为网络层的可训练权重,从而在同一设计中具有内置的旋转和转化等几何对称性,并通过实验证明了该框架可以在深度学习图像应用中显著提高性能.
Jan, 2020
本文介绍了群等变神经网络及其在机器学习中的应用及理论,其中包括群表示理论、非交换调和分析和微分几何等内容,研究结果表明这些网络可以降低样本和模型的复杂性,在输入具有任意相对角度的挑战性任务中表现出色。
Apr, 2020
本文提出了一种具有置换不变性和数据空间变换等变性的元学习方法 EQuivCNP,其建立在数据集的置换不变性与常规条件神经过程(CNPs)相同,且具有转换等变性;结合群等变性提供了考虑现实世界中的数据对称性的方式,并使用李群卷积层构建体系结构进行实际实现,EquivCNP 在具有等变性的情况下能够实现零样本泛化。
Feb, 2021
该研究提出了一种基于耦合群卷积的旋转、缩放和平移等变卷积神经网络 RST-CNN,该网络通过稳定性分析可证明具有变形鲁棒性,能在旋转、缩放和平移等输入畸变的情况下保持等变性,从而在 MNIST、Fashion-MNIST 和 STL-10 数据集上实现了显著提升。
Nov, 2021
使用等变函数作为认知模型的假设条件下,学习具有对称性和等变性的函数是不可能的;我们探究了群和半群的逼近概念,分析了线性等变网络和群卷积网络是否满足该结果,并阐述了它们的理论和实际意义。
Oct, 2022
本研究解决了传统欧几里得深度学习无法有效处理复杂拓扑特征空间的问题,提出了基于对称群等变深度学习模型的新方法。这些模型在图形、三维形状和非欧几里得空间上实现了类似卷积的操作,揭示了其输入空间和表示之间的内在对称性,具有重要的理论和实践意义。
Sep, 2024