本研究提出了一种找到深度神经网络中隐藏层单元响应中不变性的方法,结果表明 DNNs 学习了不变性转换,并提供了系统性的方法来研究它们。
Jul, 2018
该研究提出了在卷积神经网络的训练阶段中随机转换特征图以增强模型对空间变换的不变性,从而显著提高了 CNN 在图片识别等许多基准任务上的表现。
Nov, 2019
本论文针对卷积神经网络 (CNN) 不同层次特征空间中的视角流形结构展开了研究,提出了一种测量视角流形变形和退化的方法,在多视角数据集上,通过精调预训练 CNN,实验证明了学习到的 CNN 表征可以实现视角不变性,并探究了其实现机制。
Aug, 2015
本文探讨了图像表示的数学属性,如同变性,不变性和等价性等,提出了多种方法来实现这些属性,并应用到流行的表示中来揭示其结构的有益方面。
Nov, 2014
本文研究了卷积神经网络在面对微小图像变换时不具有不变性及其成因。作者提出传统的卷积架构不满足传统采样定理及数据增强只适用于与训练集中典型图像相似的图像,且两种解决方案只能部分解决问题。因此,在网络保持高准确率的情况下保证不变性的问题仍未解决。
May, 2018
研究卷积神经网络中实现图像识别中的平移不变性的因素,并发现训练数据增量是获得平移不变表示的最重要因素。
Dec, 2017
本文提出一种基于卷积神经网络和物件性先验知识的图像检索方法,通过对图像区域深度特征和物件性先验的结合,有效地解决了图像在几何变换和物品构成方面的不变性问题,从而实现更准确高效的图像检索。
Apr, 2015
通过用一种新型卷积神经网络(CNN)来编码不变性的再生核,本文解决了视觉识别中旨在设计对特定变换具有不变性的图像表示的问题, 其中与传统方法不同的是,我们的网络学习在训练数据上逼近核特征映射,从而带来了多个优势,包括获得具有不变性的简单神经网络体系结构,实现与更复杂 CNNs 相似的准确度,以及抵抗过拟合等。
Jun, 2014
神经网络中的不变性对很多任务来说是有用且必要的,然而大多数神经网络模型的不变性表示尚未被表征。我们提出了用于量化神经网络不变性的测量方法,这些方法在内部表征方面是高效且可解释的,适用于任何神经网络模型。相比先前定义的测量方法,它们对不变性更敏感。我们在仿射变换领域、CIFAR10 和 MNIST 数据集上验证了这些测量方法及其特性,包括它们的稳定性和可解释性。利用这些测量方法,我们对 CNN 模型进行了首次分析,并展示了它们对于随机权重初始化具有显著的稳定性,但对于数据集或变换的变化则不稳定。我们相信这些测量方法将开启不变性表征的新研究方向。
Oct, 2023
本文研究的是卷积神经网络的权重分布偏移对于预训练模型的稳健性的影响,提出了一个包含超过 14 亿卷积滤波器的数据集,并通过分析数据集展示了现有预训练模型的一些局限性。
Mar, 2022