本研究提出了一种使用稀疏性约束进行神经网络剪枝的方法，该方法通过一系列随机门来收缩网络，以便训练和预测运算可以更加快速和高效。

Dec, 2017

研究了深度神经网络的正则梯度下降算法，并通过量化约束集合的复杂度以及研究覆盖维度来探索正则化技术在加速训练、提高泛化性能以及学习更高效紧凑模型方面的优势。

Feb, 2018

研究表明，使用Batch Normalization和ReLU激活的卷积神经网络，在采用适应性梯度下降和L2正则化或权重衰减训练的情况下，会出现滤波器级别的稀疏性，这种隐式的稀疏性可以利用以达到神经网络加速的效果。

Nov, 2018

本研究提出变量稀疏问题，并通过实验证明了零值归零处理方法在处理缺失数据时性能不佳，提出了一种名为 Sparsity Normalization 的技术，该技术直接解决了变量稀疏问题，并在多个基准数据集上得到了实验验证。

Jun, 2019

本论文提出了一组可微且尺度不变的模型压缩正则化项DeepHoyer，通过实验表明在相同的精度水平下，使用DeepHoyer压缩神经网络可以得到更加稀疏的模型，可以运用于元素级和结构级剪枝。

Aug, 2019

本文系统梳理了当前深度学习领域中关于稀疏性技术的研究现状，并提供了丰富的稀疏性实现、训练策略及其数学方法等方面的教程，指明如何通过利用稀疏性以达到优化神经网络结构和提高性能的目的。

Jan, 2021

发展用于稀疏深度学习的统计保证来进一步增加我们对神经网络潜力和局限性的理解，这一理论考虑了不同类型的稀疏性，如连通性，结点性等，并覆盖了先前理论忽略的重要方面，如多重输出和正则化。

Dec, 2022

本文研究了深度神经网络的泛化能力和节点稀疏性之间的关系，通过开发一个基于减小的有效模型大小的框架来证明了稀疏和泛化之间的基本权衡关系，并提出了一种新的方法来分析这个问题。

Jul, 2023

在能效方案中，找到深度学习模型的最佳大小非常重要且具有广泛的影响。本文的研究目标是高效地寻找最佳折中方法，针对稀疏双下降现象提出了解决方案，包括使用L2正则化方法以及通过知识蒸馏来规范学生模型，实验结果表明这些方法可以避免该现象的发生。

Aug, 2023

通过桥接$L_p$正则化的权重衰减方案，提出了一个简单而有效的稀疏化方法，以应对大规模神经网络的计算和存储要求，并避免了$0<p<1$的正则化梯度发散问题，实验证明其导致高度稀疏的网络，同时保持与标准$L_2$正则化相当的泛化性能。

Apr, 2024