- CVPR视觉识别的深度协同学习
本研究使用深度协同学习（DCL）方法，将卷积层分解成两个小的卷积层，然后将它们在每个空间位置处融合，以减少计算复杂度和模型复杂度，同时提高在各种视觉识别任务中的准确性，减少模型参数 (在 AlexNet 中减少 16.82%)。
- ShaResNet: 共享权重减少残差网络参数数量
本文通过共享同一空间尺度下的残差块中卷积层的权重，提出了一种名为 ShaResNet 的深度残差网络，使网络参数得到显著减少，同时在图像分类任务中保证了准确率。
- ICML变分 Dropout 稀疏深度神经网络
本研究采用变分丢失技术，提供了一种优雅的高斯丢失的贝叶斯解释，将其扩展到丢失速率无界的情况，提出一种减少梯度估计器方差的方法，并在每个权重的情况下报告第一个实验结果。有趣的是，在完全连接和卷积层中都导致极度稀疏的解决方案。这种效应类似于实证 - NIPS深度网络的神经元数量学习
使用结构稀疏性和组稀疏正则化对深度网络进行参数优化和削减，达到最高 80％的参数削减率并保持或提高网络精度。
- 适应性神经元凋亡用于加速大规模深度学习系统
该研究提出了一种通过在训练过程中低廉地去除不必要的神经元，即神经元凋亡的新技术，以加速深度学习算法的收敛，并成功应用于多个数据集中，在减少参数数量等方面得到了显著改善。
- DecomposeMe: 为端到端学习简化 ConvNets
本文提出了一种名为 DecomposeMe 的简单而有效的技术，使用 1D 卷积来学习特征，通过加强滤波器共享，以提高学习能力。作者使用 ImageNet 数据集和 Places2 数据集进行了一组实验，结果显示此技术可在显著减少需要的参数 - ICLR目标检测的实时网络剪枝
本文研究了如何利用图像尺度上的特征出现来修剪神经网络，以减少网络中的参数数量，并在 PASCAL 2007 目标检测挑战赛中证明可以消除一些全连接层中接近零的激活单元，从而实现低影响的参数减少。
- 学习旋转不变卷积滤波器以进行纹理分类
使用浅层卷积神经网络学习判别滤波器的一种方法，直接编码旋转不变性以提取旋转不变的特征，实现了与标准浅层卷积神经网络相比更高的分类性能并减少了一个数量级的参数量。
- 使用误差反向传播学习神经网络架构
研究了深度神经网络中参数数量的问题，提出了一种可学习的三态 ReLU 参数和一个平稳的正则化方法，通过减少不必要的神经元，可以在不影响预测准确性的情况下显著减少参数数量。
- 使用克罗内克积压缩神经网络的全连接层
本文介绍了一种使用 Kronecker 积在神经网络的全连接层中减少参数和计算时间的技术，该技术将全连接层替换为 Kronecker 全连接层，能够在需要较小的预测质量折衷的情况下使参数总数减少 73%。
- NIPS学习权重和连接以实现高效神经网络
通过三步法修剪不必要的神经元连接，我们成功将 AlexNet 的参数从 6100 万精简到了 670 万，无性能损失。
- FitNets: 纤细深度神经网络的提示
本文提出了一种基于知识蒸馏的深度神经网络训练方法，通过使用教师网络的中间表示学习，允许训练比教师更深而且更窄的学生网络，并引入了额外参数来进行深浅网络之间的映射，以实现降低参数以提高运行速度或提升性能的目的。在 CIFAR-10 数据集上的