本文证明了训练高准确度的小型模型需要多层卷积神经网络，即使使用了蒸馏等训练方法。在 CIFAR-10 数据集上，只有包含多层卷积的模型才能够拥有和深度卷积神经网络相当的准确度。

Mar, 2016

本文研究深度神经网络在实现数据特征方面的优势，发现相比浅层神经网络，深度神经网络能够在不需要额外容量开销的情况下，提高实现某些复杂特征的性能，但在实现一些简单特征方面，深度神经网络的逼近率与浅层神经网络的相同，呈对数级别，在固定深度的情况下，存在一定的局限性。

Jan, 2019

通过在受限资源的环境中展示简单的技术，我们发现小型的神经网络可以在处理结构化和非结构化语言任务时取得接近最先进技术的结果，同时在存储和计算需求方面比深度递归模型要便宜得多，从而探讨了当决定如何分配一小块内存预算时的不同权衡。

Aug, 2017

本文研究了卷积模型的深度对于文本分类的重要性，发现使用字符时深度网络比浅层网络效果更好，但使用词语输入时，一个简单的浅而宽的网络优于 DenseNet 等深度模型。我们的浅层词语模型在 Yelp Binary（95.9％）和 Yelp Full（64.9％）两个数据集上进一步建立了新的最佳性能。

Jul, 2017

本文证明了深度（分层）网络可以近似组合函数，其准确度与浅层网络相同，但训练参数以及 VC 维度指数级地减少，并定义了一般类可扩展和平移不变算法来证明深度卷积网络的简单和自然的一组要求。

Mar, 2016

本文研究表明，深度神经网络在语音识别任务中比浅层网络和高斯混合模型表现得更好，这是因为它们具有提取具有鲁棒性的区分性内部表示的能力。此外，我们表明 DNN 不能推广到与训练样本差异显著的测试样本，但是，如果训练数据足够代表性，DNN 的内部特征相对于说话人差异、带宽差异和环境失真是相对稳定的。这种稳定性使得基于 DNN 的识别器在不需要显式模型适应或特征归一化的情况下表现得和基于 GMMs 或浅层网络的现有系统一样好甚至更好。

Jan, 2013

研究了深度卷积神经网络在视角变化下物体识别任务中的表现，发现在视角变化较小时，浅层网络可以优于深层网络和人类表现。但是，当面临较大的视角变化时，需要更深的层次来匹配人类表现。最深的 18 层卷积神经网络在最高变化水平下优于人类表现，使用了最类人的表征。

Aug, 2015

这篇文章总结了深度神经网络在模式识别和机器学习中的应用，包括深度监督学习、无监督学习和强化学习，在搜索深层网络的过程中进行了间接搜索。

Apr, 2014

本文回顾了最近关于层级神经网络结构的研究成果，探讨了深度卷积神经网络优于浅层神经网络在函数近似问题中的表现条件。本文提出了一个新的对于相对维度的定义，该定义可以被深层网络而非浅层网络使用以显著降低近似和学习所需的复杂度。同时，本文还宣布了关于当前神经网络中使用的非平滑激活函数 - ReLU 函数以及高斯网络的新结果。

Aug, 2016

该论文研究了深层神经网络在梯度下降最优化过程中利用深度的表达能力，证明了具有分形结构的分布可以被深层网络有效地表达，而浅层网络无法表达。论文还探讨了粗细篮子之间的平衡如何影响深度神经网络的优化过程，并推断了学习深度神经网络是否成功取决于分布是否可以被浅层网络很好地逼近的结论。

Mar, 2019