通过三步法修剪不必要的神经元连接，我们成功将AlexNet的参数从6100万精简到了670万，无性能损失。

Jun, 2015

该论文介绍了一种称为DenseNet的神经网络架构，通过将每一层与其他每一层之间连接起来，可以解决传统卷积神经网络中权重消失和特征重用问题，在目标识别领域中表现优异。

Aug, 2016

通过实验证明了通过在卷积层之间停用连接的方法将采用通道稀疏连接结构的2D卷积技术与许多网络体系结构一起使用，可以在保持准确性的同时实现明显的运行时间和内存储存器的节省。

Feb, 2017

该论文研究了在测试时具有计算资源限制的图像分类问题，并通过训练多个带有不同资源需求的分类器并将其作为早期退出引入单个深度卷积神经网络中以最大程度地重用计算，实现了在任意时间进行预测和分配不同的计算量来分类一组样本，框架显著改善了现有技术在两种情况下的表现。

Mar, 2017

本文系统研究了模型的缩放并提出了一种基于网络深度、宽度和分辨率的平衡方法，进而使用神经架构搜索设计了一种新的基线网络并扩展成一系列模型，称为EfficientNets，这些EfficientNets在多项测试中取得了更好的准确性和效率，包括在ImageNet数据集上达到了84.3%的top-1准确率，在成为当前最佳的ConvNet的推理速度比其快6.1倍、参数更少的情况下，这是一个领先的结果。

May, 2019

该研究提出 Dense Convolutional Network (DenseNet) 模型，使用每一层之前的所有特征图作为输入，解决了梯度消失的问题，促进了特征重用，并在目标识别领域的四个竞争性基准上显着提高了性能效率。

Jan, 2020

本文提出用固定层替换神经网络中的全连接层以提升效率的思路并进行实验，结果表明完全移除全连接层及其参数即可达到最优性能，而使用全连接输出层的传统方法在参数数量上效率低下。

Apr, 2020

本文提出一种轻量级模型的通道维度配置方法，该方法可以在计算成本有限的情况下实现更好的性能，并在ImageNet分类和迁移学习任务中取得了显着的表现。

Jul, 2020

对一种自然分布的任务进行的研究表明，对于标准训练算法，任何正交不变算法（即用大多数梯度下降法从高斯初始化中训练的全连接网络）需要Ω（d²）个样本才能推广，而卷积神经网络只需要O（1）个样本就足够了。

Oct, 2020

本文提出了一种简单而有效的框架，将现代卷积神经网络(CNNs)与全连接 (FC)层相结合，展示了这种架构变化在小数据区间的巨大影响。另外，还提出了一种在线联合知识蒸馏方法，以利用额外的FC层来提高CNN模型的泛化能力，并在测试时避免了它们。我们在超级学习和主动学习的几个标准数据集上进行了分类实验，实验结果明显优于没有全连接层的网络，在有监督设置下准确率最高可达到16%。

Oct, 2022