本文提出了一种名为深度监督网络（DSN）的方法，该方法同时最小化分类错误并使隐藏层的学习过程变得直接和透明；通过研究深层网络中的新表述，从卷积神经网络结构的三个方面来提高分类性能：中间层到整体分类的透明度、学习特征的区分能力及健壮性（特别是在早期层），以及存在爆炸和消失梯度的有效训练。我们在个别隐藏层中引入“伴随目标”，并结合随机梯度方法来分析算法。实验结果表明，相对于现有方法，我们的方法具有显著的性能提升（例如在MNIST，CIFAR-10，CIFAR-100和SVHN等基准数据集上的表现均优于现有技术的最新水平）。

Sep, 2014

本文介绍一种新技术cross-convolutional-layer pooling，并探讨卷积层激活的图像表示方式在使用中的优点和不足，通过应用于四个流行的视觉分类任务，证明该方法具有可比较或显著更好的性能，而造成的计算成本要低得多。

Nov, 2014

通过三步法修剪不必要的神经元连接，我们成功将AlexNet的参数从6100万精简到了670万，无性能损失。

Jun, 2015

探讨改进全连接网络的性能的方法，提出了线性瓶颈层和非监督预训练方法的影响，探索它们如何通过提高梯度流和减少稀疏性来改进网络，展示全连接网络在置换不变的CIFAR-10任务上达到了约70%的分类准确率，添加变形数据后达到了78%的准确率，接近卷积网络的水平。

Nov, 2015

该论文介绍了一种称为DenseNet的神经网络架构，通过将每一层与其他每一层之间连接起来，可以解决传统卷积神经网络中权重消失和特征重用问题，在目标识别领域中表现优异。

Aug, 2016

该研究旨在探讨深度卷积神经网络中的各个特征的辨别力以及应用它们进行知识表示和推理的可能性，并通过统计学方法提供了新的见解和阈值方法来减少特征中的噪声。

Mar, 2017

本文提出了一种利用模块化设计原则、通过学习连接来自动优化神经网络架构的算法，在多类图像分类任务中，使用 ResNet 和 ResNeXt 两种常见架构进行实验，结果表明与传统模块连接规则相比，学习连接的方法可以显著提高模型准确性并实现参数数量的节省。

Jul, 2018

本文提出了一个新颖的空间输出层，用于在现有的卷积特征图顶部显式地利用位置特异的输出信息。通过在空间逻辑中采用注意力蒙版，选择性地聚合目标区域内的空间逻辑，不仅提高了性能，还实现了空间可解释输出。在各种分类任务中的实验结果表明，提出的空间输出层在几乎相同的计算成本下实现了稳定的性能改进。

Apr, 2020

对一种自然分布的任务进行的研究表明，对于标准训练算法，任何正交不变算法（即用大多数梯度下降法从高斯初始化中训练的全连接网络）需要Ω（d²）个样本才能推广，而卷积神经网络只需要O（1）个样本就足够了。

Oct, 2020

本文提出了一种简单而有效的框架，将现代卷积神经网络(CNNs)与全连接 (FC)层相结合，展示了这种架构变化在小数据区间的巨大影响。另外，还提出了一种在线联合知识蒸馏方法，以利用额外的FC层来提高CNN模型的泛化能力，并在测试时避免了它们。我们在超级学习和主动学习的几个标准数据集上进行了分类实验，实验结果明显优于没有全连接层的网络，在有监督设置下准确率最高可达到16%。

Oct, 2022