本文首先说明深度学习中卷积神经网络在图像识别方面的成功,然后介绍了将此框架推广到其他领域的尝试,并给出了使用表示论和非交换调和分析概念的卷积和等变性的理论证明,证明了卷积结构不仅是充分而且也是必要的对于紧致群作用的等变性的条件,并推导了新的广义卷积公式。
Feb, 2018
使用具有等变性函数的规范坐标系构建了一种不同iable的图像到图像映射,称为ET(Equivariant Transformers),并证明了它能够在提高模型强健性方面进行灵活组合,从而使得在现实世界的图像分类任务中,相对于ResNet分类器,ET能够在数据有限情况下提高最多15%的分类效果而只增加不到1%的模型参数。
Jan, 2019
本研究提出了一种基于偏微分方程的框架,该框架可以将几何意义上的PDE系数作为网络层的可训练权重,从而在同一设计中具有内置的旋转和转化等几何对称性,并通过实验证明了该框架可以在深度学习图像应用中显著提高性能.
Jan, 2020
本文提出了一种具有置换不变性和数据空间变换等变性的元学习方法 EQuivCNP,其建立在数据集的置换不变性与常规条件神经过程(CNPs)相同,且具有转换等变性;结合群等变性提供了考虑现实世界中的数据对称性的方式,并使用李群卷积层构建体系结构进行实际实现,EquivCNP 在具有等变性的情况下能够实现零样本泛化。
Feb, 2021
使用偏微分运算符建立一个旋转等变的球面等变卷积神经网络——PDO-eS2CNN,并在理论上分析了球面上等变性误差,并在多个任务中的表现优于其他球面卷积神经网络。
Apr, 2021
研究在相等变深度学习和物理领域中共享一致的数学概念,并通过极化微分算子和基于调和分析的方法提出了一个新的框架,使我们能够更好地将基于显式对称性应变的捕捉无论是在深度学习还是物理学中都可以更精确地进行表达。
Jun, 2021
使用偏微分算子建模3D滤波器,并推导出通用的可操纵3D CNN,称为PDO-s3DCNN。通过实验证明,在离散域中,我们的模型可以很好地保持等变性,并以低网络复杂度胜过以前的作品在SHREC'17检索和ISBI 2012分割任务中。
Aug, 2022
本研究论文探讨卷积神经网络在对称群中的应用,提出了群等变神经网络的概念和架构,以及使用多种层和滤波器的方法,为对称群的表示和胶囊的细节做出了数学分析。
Jan, 2023
本研究旨在通过傅里叶神经算子来求解偏微分方程,从而将对称性编码到神经算子中以获得更好的性能和更容易的学习,通过将群卷积扩展到频域并设计傅里叶层使其在旋转、平移和反射等变换下等变,从而实现了广义的G-FNO体系结构。
Jun, 2023
提出了一种新颖方法 Variational Partial G-CNN (VP G-CNN),用于捕捉每个数据实例特定的不同水平的部分等变性。VP G-CNN重新设计了输出组元素的分布,以便在输入数据上进行条件设置,利用变分推断避免过拟合。此外,通过重新设计可重参数化分布,解决了离散群等变性模型中存在的训练不稳定性问题。在玩具数据集和实际数据集上(包括MNIST67-180、CIFAR10、ColorMNIST和Flowers102),结果表明VP G-CNN具有鲁棒的性能,即使在不确定性度量方面也是如此。
Jul, 2024