通过测量等变性和等价性来理解图像表示
本文介绍了可旋转卷积神经网络,这是一种高效灵活的等变卷积网络类,利用数学理论中给出的可旋转表示类型系统,我们实现了 CIFAR 图像分类基准上最先进的结果,并展示了如何构建有效利用参数的 CNN。
Dec, 2016
神经网络中的不变性对很多任务来说是有用且必要的,然而大多数神经网络模型的不变性表示尚未被表征。我们提出了用于量化神经网络不变性的测量方法,这些方法在内部表征方面是高效且可解释的,适用于任何神经网络模型。相比先前定义的测量方法,它们对不变性更敏感。我们在仿射变换领域、CIFAR10 和 MNIST 数据集上验证了这些测量方法及其特性,包括它们的稳定性和可解释性。利用这些测量方法,我们对 CNN 模型进行了首次分析,并展示了它们对于随机权重初始化具有显著的稳定性,但对于数据集或变换的变化则不稳定。我们相信这些测量方法将开启不变性表征的新研究方向。
Oct, 2023
使用 Lie 莱标甲,文章研究了几百个预训练模型,证明即使在没有明确建构且具有对称性的设计的情况下,Transformers 也可以比 CNNs 更具有等变性。
Oct, 2022
本文主要介绍了基于 Bessel 函数的 B-CNNs 的数学开发,包括使用反射和多尺度等同性。通过广泛的研究比较 B-CNN 和其他方法的表现,最终强调了 B-CNN 的理论优势并给出了更深入的数学细节.
Apr, 2023
本文提出了一个 G-CNNs 的数学框架,证明了如果输入和输出特征空间根据受激表示变换,则网络的层为卷积操作。这个结果确定了 G-CNNs 是一个通用的等变网络结构类,它一般化了最近对正则表示之间的交错操作的重要工作。
Mar, 2018
通过几何深度学习的形式化方法,本文研究了神经网络的对称群不变性及其对解释性方法的影响,提出了对称性相关的鲁棒性指标和提高对称性相关解释的系统方法,并通过实验给出了 5 个可行的指南以产生稳健的解释。
Apr, 2023
本研究探讨网络等变性是否意味着所有层都具有等变性。论文在理论和实验方面发现,CNN 是具有层间等变性的,这一发现支持最近 Entezari 及其合作者提出的置换猜想的一个弱化版本
May, 2023
介绍了一种使用可控滤波器建立尺度等变卷积网络的通用理论,并将其他常见块推广为尺度等变块,此方法具有计算效率和数值稳定性,同时在 MNIST-scale 数据集和 STL-10 数据集中实现了领先水平的分类结果。
Oct, 2019
本文提出了一种方法,通过使用可缩放的傅里叶 - 阿甘德表示法和类似卷积的操作来实现卷积神经网络对于平移、旋转和缩放的同时等变性,并验证了该方法在图像分类任务方面的有效性和对缩放和旋转输入的泛化能力。
Mar, 2023