本研究探讨在已训练的神经网络模型中修剪神经元的问题并提出了一种系统性的方式去除冗余的相似神经元，并且通过在 MNIST 训练网络中修剪密集连接层，达到 85％ 的总参数去除率，在 AlexNet 上达到 35％去除率，并且没有明显影响其性能。

Jul, 2015

研究了深度神经网络中参数数量的问题，提出了一种可学习的三态 ReLU 参数和一个平稳的正则化方法，通过减少不必要的神经元，可以在不影响预测准确性的情况下显著减少参数数量。

Nov, 2015

使用结构稀疏性和组稀疏正则化对深度网络进行参数优化和削减，达到最高 80％的参数削减率并保持或提高网络精度。

Nov, 2016

使用有针对性的 dropout 进行神经网络的训练，可以使网络更容易剪枝并且保持稀疏性。

May, 2019

通过迭代剪枝最低激活值方法，提出 DropNet 来简化深度神经网络，实验结果表明，最高可减少 90% 的节点 / 滤波器而不影响精度，并证明 DropNet 与贪婪算法相似。

Jul, 2022

通过 DropIn 层动态增加神经网络的深度，提供训练过程中的正则化，并在多个实验中证明了其有效性。

Nov, 2015

本文提出一种方法在深度神经网络训练期间同时优化网络结构和权重参数的概率分布，可用于解决多种网络结构优化问题，包括层次选择、单元类型选择和连接选择，实验结果表明该方法能够找到适当且具有竞争力的网络结构。

Jan, 2018

通过剪枝和迁移学习，我们提出了一种新颖的前馈神经网络构建方法，能在不损失准确率的情况下压缩参数数量超过 70%，并且通过精心选择剪枝参数，大多数精炼模型的性能优于原始模型，从而不仅有助于更高效的模型设计，而且更有效的使用。

Dec, 2023

该论文提出了基于剪枝算法的神经网络优化方法，能够在不影响网络准确率的情况下减轻计算和内存开销，实现较高的参数压缩比。

Jul, 2016

通过神经元选择的结构化剪枝方法，可以通过减小基本结构的尺寸来减少 RNN 的存储和计算成本，并利用 L0 范数优化，取得了语言建模等任务上的优异表现。

Jun, 2019