本文通过等价于分层张量分解的方式，分析了各种卷积神经网络架构特征的表达效率和归纳偏置，并提供了新的网络设计工具。

May, 2017

研究表明，神经网络的表达能力会随着局部感受域的重叠和更密集的连接而呈指数增长，最近的一些现代体系结构已经展示了指数级的表达能力提升，无需依赖于完全连接的层。

Mar, 2017

本文证明 Tensor Train 分解的一类循环神经网络的表达能力理论上是指数级别的，与 Hierarchical Tucker 张量分解所对应的深度卷积网络相比，使用 RNN 对图像进行逐块处理可以比使用仅具有一个隐藏层的 (浅层) 卷积网络更加高效。

Nov, 2017

本文提出了一种图形连接的 CNN 结构，其中使用扩展器图以提高连接效率和层间信息传递，与现有的 ResNets 和 DenseNet 及其变体相比可以在精度和效率方面达到更好的平衡。

Nov, 2017

本文介绍了一种新的用于高分辨率密集预测的卷积神经网络架构，称为 D3Net，其采用了多分辨率学习和逐渐膨胀的感受野来同时建模局部和全局模式，避免了深度网络中的深度耗散问题，并在图像和音频处理任务中取得了优越的性能。

Nov, 2020

本文提出了一种新的神经网络表达性问题的方法，其中基于轨迹长度的一维路径上的输出是一种新颖的表达形式。实验得出：（1）计算的函数复杂度随深度指数增长；（2）所有权重不同，加上轨迹正则化是批标准化的一个更简单的选择，但表现相同。

Jun, 2016

本论文提出了一种基于可视化分析的方法，以更好地理解、诊断和改进深度卷积神经网络，并使用一些新的算法和技术来显示神经元和神经元群之间的多个方面和交互作用。

Apr, 2016

该论文研究了深层神经网络在梯度下降最优化过程中利用深度的表达能力，证明了具有分形结构的分布可以被深层网络有效地表达，而浅层网络无法表达。论文还探讨了粗细篮子之间的平衡如何影响深度神经网络的优化过程，并推断了学习深度神经网络是否成功取决于分布是否可以被浅层网络很好地逼近的结论。

Mar, 2019

该研究探讨深度网络的优势，结论为深度网络可以在不增加浅层网络容量的情况下具备出色的表现力，从而实现近乎最优的学习率。

Mar, 2018

本文研究神经网络的表达能力，提出了三种衡量表达能力的自然量，并探讨了神经网络层数与表达能力之间的关系，特别地找出了深度敏感性所在，同时分析了训练和输入 - 输出映射等因素对表达能力的影响。

Nov, 2016