通过不变对齐实现等变传导
介绍了一种新型卷积神经网络,称为Group equivariant Convolutional Neural Networks (G-CNNs),它通过利用对称性降低样本复杂度,使用新型层G-convolutions,增加网络的表达能力,且易于使用和实现。 G-CNNs在CIFAR10和旋转的MNIST上实现了最先进的结果。
Feb, 2016
本文提出了一种具有置换不变性和数据空间变换等变性的元学习方法 EQuivCNP,其建立在数据集的置换不变性与常规条件神经过程(CNPs)相同,且具有转换等变性;结合群等变性提供了考虑现实世界中的数据对称性的方式,并使用李群卷积层构建体系结构进行实际实现,EquivCNP 在具有等变性的情况下能够实现零样本泛化。
Feb, 2021
本文介绍了 equi-tuning,一种新颖的微调方法,将(潜在非等变的)预训练模型转换为群等变模型,并在预训练和等变模型的特征表示之间产生最小的 L2 损失。我们提出了 equi-tuning 的应用,如图像分类、语言的组成泛化以及自然语言生成的公平性,并为 NLG 中的公平性提供了一种新的群论定义,这种定义的有效性通过测试它与标准实证方法的 NLG 中的公平性相比得到证明。
Oct, 2022
使用等变函数作为认知模型的假设条件下,学习具有对称性和等变性的函数是不可能的;我们探究了群和半群的逼近概念,分析了线性等变网络和群卷积网络是否满足该结果,并阐述了它们的理论和实际意义。
Oct, 2022
本研究论文探讨卷积神经网络在对称群中的应用,提出了群等变神经网络的概念和架构,以及使用多种层和滤波器的方法,为对称群的表示和胶囊的细节做出了数学分析。
Jan, 2023
本研究探讨网络等变性是否意味着所有层都具有等变性。论文在理论和实验方面发现,CNN是具有层间等变性的,这一发现支持最近Entezari及其合作者提出的置换猜想的一个弱化版本
May, 2023
我们研究了群等变卷积神经网络如何使用子采样来打破对其对称性的等变性,并探讨了对网络性能的影响。我们发现,即使输入维度只有一个像素的微小变化,常用的架构也会变得近似等变,而不是完全等变。当训练数据中的对称性与网络的对称性不完全相同时,近似等变网络能够放松其等变性约束,并在常见的基准数据集上与或胜过完全等变网络。
Aug, 2023
通过引入新方法实现了深度学习中与架构无关的等变性,比传统的等变架构方法和现有的与架构无关的方法更高效。该方法利用对比学习以及非等变网络来实现典范化,提供了更多对典范化网络选择的灵活性,并且在预训练模型的等变性以及典范化过程的加速方面实现了显著优势,速度提高了2倍。
May, 2024