深度 ReLU 网络中的深度选取对特征提取和泛化的影响
本文研究深度神经网络在实现数据特征方面的优势,发现相比浅层神经网络,深度神经网络能够在不需要额外容量开销的情况下,提高实现某些复杂特征的性能,但在实现一些简单特征方面,深度神经网络的逼近率与浅层神经网络的相同,呈对数级别,在固定深度的情况下,存在一定的局限性。
Jan, 2019
本文探讨了深度神经网络中冗余特征的提取,发现网络大小和激活函数是促进其提取冗余特征的两个最重要的因素,使用 MNIST 数字识别和 CIFAR-10 数据集中的多层感知器和卷积神经网络说明了该概念。
Jan, 2019
本文提出了一种新的方法,用于可视化和理解神经网络输出层之前的向量空间,旨在揭示分类任务下的深层特征向量属性,特别是过拟合现象在特征空间中的本质和其对进一步应用的负面影响,并对其进行了真实应用场景的评估,证明了其突出性能优势。
Jun, 2020
本文提出了一种基于波浪变换、线性非线性映射、平移不变性和形变稳定性的特征提取器,可以适用于不同的网络层,并且在网络深度增加时特征越来越具有平移不变性;同时,本文还建立了对带限函数、卡通函数和 Lipschitz 函数等信号类应用的变形敏感度边界。
Dec, 2015
本研究探讨了深度学习中中间层所提取的深层特征,并证明了这些特征的性能可能不佳,因为它们是通过最小化经验风险来学习的。针对当前任务与基准数据集的数据分布不同的情况,本研究提出了一种层次稳健优化方法来学习更通用的特征。该方法同时考虑了 example-level 与 concept-level 稳健性,并将问题公式化为带有 Wasserstein 模糊集约束的分布稳健优化问题。本文提出了一种高效的算法,并在标杆数据集上进行了实验,证明了稳健特征的有效性。
Nov, 2019
简述:对深度学习的理论研究逐渐深入,从表示能力到优化、从梯度下降的泛化性质到固有隐藏复杂性的到达方式,已经有了一些解释;通过在分类任务中使用经典的均匀收敛结果,我们证明了在每个层的权重矩阵上施加单位范数约束下最小化替代指数型损失函数的有效性,从而解决了与深度网络泛化性能相关的一些谜团。
Aug, 2019
本文针对离散情况,引入新的卷积神经网络结构,并为其分析提出了数学框架,具体包括局部和全局的变形与平移敏感结果,以及研究输入信号的某些结构性质在相应特征向量中的反映,理论适用于一般的滤波器和 Lipschitz 连续的非线性和池化运算符,并通过手写数字分类和面部关键点检测的实验结果对理论研究进行了补充。
May, 2016
本文研究采用卷积神经网络在图像检索中的应用,通过提取不同层的卷积特征,使用 VLAD 编码转化为一个单一向量,探讨不同层和规模在特征处理中的影响,发现较低的层次和更精细的尺度能够更好地提升图像检索的准确度,同时对比了其他方法,最终取得了业界领先的成果。
Apr, 2015
通过研究深度线性网络的中间特征,本文量化揭示了特征在层级表示中的演化规律,证明线性网络的每一层以几何速率压缩类内特征,与通过数据的层数线性关系的方式区分类间特征,这不仅在深度非线性网络中得到验证,而且在迁移学习中具有实际应用意义。
Nov, 2023