高效的模型不可知多组等变网络
介绍了一种新型卷积神经网络,称为Group equivariant Convolutional Neural Networks (G-CNNs),它通过利用对称性降低样本复杂度,使用新型层G-convolutions,增加网络的表达能力,且易于使用和实现。 G-CNNs在CIFAR10和旋转的MNIST上实现了最先进的结果。
Feb, 2016
本文介绍了群等变神经网络及其在机器学习中的应用及理论,其中包括群表示理论、非交换调和分析和微分几何等内容,研究结果表明这些网络可以降低样本和模型的复杂性,在输入具有任意相对角度的挑战性任务中表现出色。
Apr, 2020
我们提出了一种新的同构群体结构,通过在SCAN任务中进行实证比较,证明了该网络的结构使它具有比现有的同构群体方法更强的等变性能力,可以是将群等变性集成到各种神经结构中的一个潜在富有成果的研究途径。
Sep, 2022
本文介绍了 equi-tuning,一种新颖的微调方法,将(潜在非等变的)预训练模型转换为群等变模型,并在预训练和等变模型的特征表示之间产生最小的 L2 损失。我们提出了 equi-tuning 的应用,如图像分类、语言的组成泛化以及自然语言生成的公平性,并为 NLG 中的公平性提供了一种新的群论定义,这种定义的有效性通过测试它与标准实证方法的 NLG 中的公平性相比得到证明。
Oct, 2022
使用等变函数作为认知模型的假设条件下,学习具有对称性和等变性的函数是不可能的;我们探究了群和半群的逼近概念,分析了线性等变网络和群卷积网络是否满足该结果,并阐述了它们的理论和实际意义。
Oct, 2022
本研究论文探讨卷积神经网络在对称群中的应用,提出了群等变神经网络的概念和架构,以及使用多种层和滤波器的方法,为对称群的表示和胶囊的细节做出了数学分析。
Jan, 2023
本研究探讨网络等变性是否意味着所有层都具有等变性。论文在理论和实验方面发现,CNN是具有层间等变性的,这一发现支持最近Entezari及其合作者提出的置换猜想的一个弱化版本
May, 2023
通过使用一种小型等变网络将概率分布参数化为对称化并对基模型进行端到端训练,本研究提出了一种新的框架来克服等变体系结构在学习具有群对称性的函数方面的局限性。
Jun, 2023
使用张量多项式表示特征的轻量级等变网络G-RepsNet是一种有效的深度学习方法,其在组等变性和各种任务上表现出竞争力,包括图像分类、N体预测和PDE求解。
Feb, 2024