深度卷积网络是否真的需要深度和卷积？

Mar, 2016

深度卷积网络是否真的需要深度和卷积？

Do Deep Convolutional Nets Really Need to be Deep and Convolutional?

Gregor Urban, Krzysztof J. Geras, Samira Ebrahimi Kahou, Ozlem Aslan, Shengjie Wang...

TL;DR本文证明了训练高准确度的小型模型需要多层卷积神经网络，即使使用了蒸馏等训练方法。在 CIFAR-10 数据集上，只有包含多层卷积的模型才能够拥有和深度卷积神经网络相当的准确度。

Abstract

Yes, they do. This paper provides the first empirical demonstration that deep convolutional models really need to be both deep and convolutional, even when trained with methods such as distillation that allow small or shallow models of high accuracy to be trained. Although previous res

deep convolutional models distillation cifar-10 multiple layers of convolution model accuracy

发现论文，激发创造

深度网络是否真的需要很深？

该研究表明，浅层前馈神经网络可以学习先前由深层网络学习的复杂函数，并且可以达到仅用深度模型可以实现的准确度，在 TIMIT 语音识别任务中，没有经过复杂设计的浅层神经网络能够表现类似于深度卷积网络，并且成功地训练浅层神经网络模仿更深层次模型的方法表明，可能存在比当前更好的训练浅层前馈网络的算法。

Dec, 2013

卷积网络在文本分类中是否需要深度？

本文研究了卷积模型的深度对于文本分类的重要性，发现使用字符时深度网络比浅层网络效果更好，但使用词语输入时，一个简单的浅而宽的网络优于 DenseNet 等深度模型。我们的浅层词语模型在 Yelp Binary（95.9％）和 Yelp Full（64.9％）两个数据集上进一步建立了新的最佳性能。

Jul, 2017

细节之魔归来：深入探究卷积神经网络

本文通过严格的评估探索了不同的深度学习架构，比较它们在公共领域的性能，并识别和披露了重要的实现细节，同时指出了 CNN 基础表示的几个有用属性，包括输出层维度可以显著降低而不会对性能产生不利影响，以及深浅层方法可以成功共享的方面。

May, 2014

浅层学习作为深度学习的替代方案

拟合深度学习基础理论的神经网络架构 —— 卷积层可以达到与深度卷积神经网络类似的性能，并有一个可识别其普遍行为的幂律现象。

Nov, 2022

FitNets: 纤细深度神经网络的提示

本文提出了一种基于知识蒸馏的深度神经网络训练方法，通过使用教师网络的中间表示学习，允许训练比教师更深而且更窄的学生网络，并引入了额外参数来进行深浅网络之间的映射，以实现降低参数以提高运行速度或提升性能的目的。在 CIFAR-10 数据集上的实验表明，这种方法能够在参数规模几乎是教师网络的十分之一的条件下，取得比教师网络更好的性能。

Dec, 2014

函数学习：何时深度学习优于浅层学习

本文证明了深度（分层）网络可以近似组合函数，其准确度与浅层网络相同，但训练参数以及 VC 维度指数级地减少，并定义了一般类可扩展和平移不变算法来证明深度卷积网络的简单和自然的一组要求。

Mar, 2016

为什么和何时深度神经网络能够避免维数灾难：一份综述

本文探讨了深度学习相对于浅层学习的指数优势，发现深度卷积网络是实现该优势的特例，但是权重共享并不是其主要原因。

Nov, 2016

深度网络实现数据特征

本文研究深度神经网络在实现数据特征方面的优势，发现相比浅层神经网络，深度神经网络能够在不需要额外容量开销的情况下，提高实现某些复杂特征的性能，但在实现一些简单特征方面，深度神经网络的逼近率与浅层神经网络的相同，呈对数级别，在固定深度的情况下，存在一定的局限性。

Jan, 2019

信任教师：学习压缩模型进行行人检测

本文提出了一种使用高维提示层和估计大网络输出方差的方法来改进知识蒸馏技术，并采用手动设计的特征来提升小型网络的性能，实现了比 AlexNet 更好的性能，同时拥有大网络 $400 imes$ 更少的参数。

Dec, 2016

深度网络与浅层网络：逼近论视角

本文回顾了最近关于层级神经网络结构的研究成果，探讨了深度卷积神经网络优于浅层神经网络在函数近似问题中的表现条件。本文提出了一个新的对于相对维度的定义，该定义可以被深层网络而非浅层网络使用以显著降低近似和学习所需的复杂度。同时，本文还宣布了关于当前神经网络中使用的非平滑激活函数 - ReLU 函数以及高斯网络的新结果。

Aug, 2016