线性等变网络的隐性偏差
介绍了一种新型卷积神经网络,称为Group equivariant Convolutional Neural Networks (G-CNNs),它通过利用对称性降低样本复杂度,使用新型层G-convolutions,增加网络的表达能力,且易于使用和实现。 G-CNNs在CIFAR10和旋转的MNIST上实现了最先进的结果。
Feb, 2016
本研究提出了关于群等变卷积神经网络(G-CNNs)在同种空间如欧几里德空间和球面上的总体理论。这些网络中的特征映射表示同种基本空间上的场,层是场空间之间的等变映射。该理论使得所有现有的G-CNNs都能按照它们的对称群、基础空间和场类型进行系统分类。我们还考虑了一个根本性问题:什么是给定类型的特征空间(场)之间等变线性映射的最普遍类型?我们证明这样的映射与使用等变核进行卷积一一对应,并且表征了这些核的空间。
Nov, 2018
本研究提出了一种基于偏微分方程的框架,该框架可以将几何意义上的PDE系数作为网络层的可训练权重,从而在同一设计中具有内置的旋转和转化等几何对称性,并通过实验证明了该框架可以在深度学习图像应用中显著提高性能.
Jan, 2020
本文介绍了群等变神经网络及其在机器学习中的应用及理论,其中包括群表示理论、非交换调和分析和微分几何等内容,研究结果表明这些网络可以降低样本和模型的复杂性,在输入具有任意相对角度的挑战性任务中表现出色。
Apr, 2020
该研究提出了一种基于耦合群卷积的旋转、缩放和平移等变卷积神经网络 RST-CNN,该网络通过稳定性分析可证明具有变形鲁棒性,能在旋转、缩放和平移等输入畸变的情况下保持等变性,从而在 MNIST、Fashion-MNIST 和 STL-10 数据集上实现了显著提升。
Nov, 2021
使用等变函数作为认知模型的假设条件下,学习具有对称性和等变性的函数是不可能的;我们探究了群和半群的逼近概念,分析了线性等变网络和群卷积网络是否满足该结果,并阐述了它们的理论和实际意义。
Oct, 2022
使用MLP来参数化G-可操作的卷积核,提出了一种简单灵活的Steerable CNNs框架,可推广到任何可建立G-等变MLP的群组G。在点云(ModelNet-40)和分子数据(QM9)上应用我们的方法,与标准的Steerable CNNs相比,性能有显著提高。
Dec, 2022
本研究探讨网络等变性是否意味着所有层都具有等变性。论文在理论和实验方面发现,CNN是具有层间等变性的,这一发现支持最近Entezari及其合作者提出的置换猜想的一个弱化版本
May, 2023
提出了一种新颖方法 Variational Partial G-CNN (VP G-CNN),用于捕捉每个数据实例特定的不同水平的部分等变性。VP G-CNN重新设计了输出组元素的分布,以便在输入数据上进行条件设置,利用变分推断避免过拟合。此外,通过重新设计可重参数化分布,解决了离散群等变性模型中存在的训练不稳定性问题。在玩具数据集和实际数据集上(包括MNIST67-180、CIFAR10、ColorMNIST和Flowers102),结果表明VP G-CNN具有鲁棒的性能,即使在不确定性度量方面也是如此。
Jul, 2024
本研究解决了传统欧几里得深度学习无法有效处理复杂拓扑特征空间的问题,提出了基于对称群等变深度学习模型的新方法。这些模型在图形、三维形状和非欧几里得空间上实现了类似卷积的操作,揭示了其输入空间和表示之间的内在对称性,具有重要的理论和实践意义。
Sep, 2024