本文研究通过连接层数的增加来增强深度网络的表达效率，应用于序列处理任务中的卷积神经网络，证明了深度和连接都能提高表现效果，并将这一发现应用于深度网络设计。
Mar, 2017
本文证明 Tensor Train 分解的一类循环神经网络的表达能力理论上是指数级别的，与 Hierarchical Tucker 张量分解所对应的深度卷积网络相比，使用 RNN 对图像进行逐块处理可以比使用仅具有一个隐藏层的 (浅层) 卷积网络更加高效。
Nov, 2017
研究表明，神经网络的表达能力会随着局部感受域的重叠和更密集的连接而呈指数增长，最近的一些现代体系结构已经展示了指数级的表达能力提升，无需依赖于完全连接的层。
本文提出了一种基于层次化组合模型的分析模型，通过显式的结构模型和明确的鉴别成本函数结合，在两个数据集上的实验表明，该模型在判别任务中表现和标准 CNN 相当，同时由于特征单元中结构的明确建模，使得其部分具体化可视化、推理快速分离，并且从局部观察中还原能力更强。
Sep, 2016
本论文提出了一种基于可视化分析的方法，以更好地理解、诊断和改进深度卷积神经网络，并使用一些新的算法和技术来显示神经元和神经元群之间的多个方面和交互作用。
Apr, 2016
本文研究卷积网络对其输入区域之间相关性的建模能力，并通过理论分析和实证验证，证明深度网络的池化几何形状是控制感性偏差的一种手段，使其在输入不同类型的数据时可以适应不同的偏差方向。
May, 2016
本文研究卷积神经网络中的归纳偏差，证明了一定深度下 CNN 可以进行连续函数的逼近以及 CNN 具有吸收长距离稀疏相关性的能力，并通过对称性分析证明权重共享与局部性对学习的重要性。
May, 2023
本文从动态系统的角度对深度学习中隐藏的正则化进行了理论分析，并研究了等效于一些深度卷积神经网络的分层张量因式分解模型中的隐藏正则化。最终证明了该模型会自动进行低阶张量秩的隐藏正则化，实现与卷积网络相应的局部性隐式正则化。我们基于该理论设计了明确的惩罚局部性的正则化方法，并展示了它在非本地任务上提高现代卷积神经网络性能的能力，这违反了传统智慧认为需要改变结构的观点，凸显出通过理论分析神经网络的隐式正则化来增强其性能的潜力。
Jan, 2022
本文提出了一种新的神经网络表达性问题的方法，其中基于轨迹长度的一维路径上的输出是一种新颖的表达形式。实验得出：（1）计算的函数复杂度随深度指数增长；（2）所有权重不同，加上轨迹正则化是批标准化的一个更简单的选择，但表现相同。
Jun, 2016
该论文讨论了 i-theory 中典型层次结构的构成，提出现代 DCNs 可以与具有池化和非池化层次的核机器的层级架构完全等效，最终提出高效的结构猜想。
Aug, 2015