该研究旨在证明具有大深度和 L2 正则化的 DNN 在学习输入时会产生 “瓶颈结构”（低维表示），并介绍了一种衡量网络内在维度和复杂性 / 不规则性之间平衡的方法。

May, 2023

这篇文章介绍了线性卷积神经网络学习的理论，发现卷积操作会导致数据集结构和网络结构不匹配，而线性卷积神经网络则通过非线性阶段性的转变发现数据集的统计结构，这种结构不匹配是影响神经网络性能的核心问题之一，同时还解释了卷积神经网络偏向于纹理而非形状的现象。

Mar, 2023

本文通过考虑卷积解码器网络在表现不同频率分量输入样本时的容量，探索了该网络的表示瓶颈，并证明了卷积操作、零填充操作以及上采样操作等因素都会影响网络表现高频分量。

Oct, 2022

我们研究了 Leaky ResNets，它在 ResNets（$\tilde {L}=0$）和全连接网络（$\tilde {L} \to \infty$）之间进行内插，具体取决于一个 “有效深度” 超参数 $\tilde {L}$。在无限深度极限下，我们研究了表示空间中的连续路径 $A_{p}$（类似于 NeuralODEs），这些路径从输入 $p=0$ 到输出 $p=1$，最小化网络的参数范数。我们给出了一个拉格朗日和哈密顿重述，突出了两个重要因素：一个动能，它偏爱小层导数 $\partial_{p} A_{p}$，一个势能，它偏爱低维表示，用 “恒等成本” 进行测量。这两种力之间的平衡提供了对 ResNets 中特征学习的直观理解。我们利用这种直观理解来解释之前工作中观察到的瓶颈结构的出现：对于大的 $\tilde {L}$，势能占主导地位，导致时间尺度的分离，表示空间从高维输入迅速跳跃到低维表示，然后在低维表示空间内缓慢移动，最后又跳回可能是高维的输出。受到这一现象的启发，我们使用自适应层步长进行训练，以适应时间尺度的分离。

May, 2024

使用信息瓶颈（IB）原理分析深度神经网络（DNN）的信息流，并得到 DNN 的理论极限及有限样本泛化的上限，同时探讨了网络的优化模型，层数和特征 / 连接与信息瓶颈权衡中的分叉点的关系，其中对应了网络层级结构上的结构相变。

Mar, 2015

通过理论和实验，我们证明了卷积神经网络对低频信号的敏感性是自然图像的频率分布的结果，该分布已知在低到中频率范围内具有大部分功率。我们的理论分析依赖于卷积神经网络层在频率空间的表示，这个想法以前已经被用来加速计算和研究网络训练算法的隐含偏差，但据我们所知，还没有应用于模型的稳健性领域。

Oct, 2022

本文研究了深度神经网络的特征表示瓶颈，从输入变量在 DNN 中编码的交互复杂性的角度进行探讨，发现 DNN 更可能编码过于简单和过于复杂的交互，并且通常无法学习中等复杂度的交互。该现象被称为特征表示瓶颈，本文从理论上证明了其根本原因，并提出了一种损失函数来促进或惩罚特定复杂度的交互的学习，并分析了不同复杂度交互的表示能力。

Nov, 2021

本文介绍了一种名为 FreshNets 的新型神经网络体系结构，它利用学习模型的卷积层和全连接层中的固有冗余性以实现内存和存储消耗的显着节省，同时在压缩性能方面优于现有基线模型。

Jun, 2015

本文从深度卷积神经网络的内在分类入手，将现有研究成果归纳为七大类，即空间利用、深度、多路径、宽度、特征图利用、通道增强和注意力，同时介绍 CNN 组件的基础理解、当前挑战和应用领域。

Jan, 2019

通过研究使用信息瓶颈功能最小化来训练深度神经网络进行分类的理论论文，我们发现这种优化问题存在严重问题，方法包括使用随机神经网络、更加稳定的代价函数和设计直接实现所需属性的潜在表示的正则化项。

Feb, 2018