群等变卷积网络
本研究提出了关于群等变卷积神经网络(G-CNNs)在同种空间如欧几里德空间和球面上的总体理论。这些网络中的特征映射表示同种基本空间上的场,层是场空间之间的等变映射。该理论使得所有现有的G-CNNs都能按照它们的对称群、基础空间和场类型进行系统分类。我们还考虑了一个根本性问题:什么是给定类型的特征空间(场)之间等变线性映射的最普遍类型?我们证明这样的映射与使用等变核进行卷积一一对应,并且表征了这些核的空间。
Nov, 2018
该研究描述了在可旋转卷积神经网络框架中的$E(2)$-等变卷积,提出了转换特性表示描述特征空间变换法则的群表示。研究人员证明了这些约束可以通过使用不可约表示约简为任意群表示的约束,并通过实现一系列先前提出的和全新的等变网络架构进行了广泛比较,表明当用作非等变卷积的替代品时,在CIFAR-10、CIFAR-100和STL-10上使用$E(2)$-可旋转卷积可以取得显著的改进。
Nov, 2019
本研究提出了一种基于偏微分方程的框架,该框架可以将几何意义上的PDE系数作为网络层的可训练权重,从而在同一设计中具有内置的旋转和转化等几何对称性,并通过实验证明了该框架可以在深度学习图像应用中显著提高性能.
Jan, 2020
本文介绍了群等变神经网络及其在机器学习中的应用及理论,其中包括群表示理论、非交换调和分析和微分几何等内容,研究结果表明这些网络可以降低样本和模型的复杂性,在输入具有任意相对角度的挑战性任务中表现出色。
Apr, 2020
本文研究群等变卷积神经网络,在训练时隐式地通过具体的架构对模型进行正则化处理来实现其显式的对称性偏置,从而实现模型的推广。同时,文中还提出了傅里叶空间隐式正则化模型的解释,并通过实验证明了该模型的有效性。
Oct, 2021
该研究提出了一种基于耦合群卷积的旋转、缩放和平移等变卷积神经网络 RST-CNN,该网络通过稳定性分析可证明具有变形鲁棒性,能在旋转、缩放和平移等输入畸变的情况下保持等变性,从而在 MNIST、Fashion-MNIST 和 STL-10 数据集上实现了显著提升。
Nov, 2021
本研究论文探讨卷积神经网络在对称群中的应用,提出了群等变神经网络的概念和架构,以及使用多种层和滤波器的方法,为对称群的表示和胶囊的细节做出了数学分析。
Jan, 2023
使用张量多项式表示特征的轻量级等变网络G-RepsNet是一种有效的深度学习方法,其在组等变性和各种任务上表现出竞争力,包括图像分类、N体预测和PDE求解。
Feb, 2024
提出了一种新颖方法 Variational Partial G-CNN (VP G-CNN),用于捕捉每个数据实例特定的不同水平的部分等变性。VP G-CNN重新设计了输出组元素的分布,以便在输入数据上进行条件设置,利用变分推断避免过拟合。此外,通过重新设计可重参数化分布,解决了离散群等变性模型中存在的训练不稳定性问题。在玩具数据集和实际数据集上(包括MNIST67-180、CIFAR10、ColorMNIST和Flowers102),结果表明VP G-CNN具有鲁棒的性能,即使在不确定性度量方面也是如此。
Jul, 2024