本研究提出了一种使用稀疏性约束进行神经网络剪枝的方法，该方法通过一系列随机门来收缩网络，以便训练和预测运算可以更加快速和高效。

Dec, 2017

本研究提出了一种利用稀疏正则化方法进行特征选择的神经网络扩展方法，比传统方法更为高效且可用于任何现有结构，同时能够直接应用于神经元修剪和光谱数据的重要区域选择。

Jul, 2020

本研究提出了一种新的方法，用于增强随机联合学习中的通信效率，该方法在超参数随机网络上进行训练。通过优化二进制掩码而不是模型权重，实现对稀疏子网络的表征，其泛化效果与更小的目标网络相当好。与传统的联合学习中浮点权重相比，仅交换稀疏的二进制掩码，从而将通信成本降低到每个参数至多 1 个比特。通过实验证明，之前最先进的随机方法无法找到能够使用一致损失目标减少通信和存储开销的稀疏网络。为了解决这个问题，我们提出在本地目标中添加正则化项，以在子网络之间消除冗余特征并鼓励更稀疏的解决方案。大量实验证明，在一些实例中，与文献相比，通信和内存效率显著提高了五个数量级，并且在验证准确性方面几乎没有性能下降。

Sep, 2023

该研究提出了一种名为 ProbMask 的基于概率空间的有效网络稀疏化方法，通过使用概率作为全局标准来度量权重重要性。 通过我们的约束，可以自动学习权重冗余度，避免为不同层调整剪枝率的问题，表现优异在 CIFAR-10/100 和 ImageNet 等数据集上，尤其是在高剪枝率情况下超过现有的最先进方法。

May, 2021

探讨了深度神经网络、特征选择和优化之间的关系，并通过引入 Group Lasso penalty 的方法，同时解决了三个问题，证明此方法可以在大规模分类任务上有效地实现。

Jul, 2016

本文研究了可视识别算法中增量学习的问题，并探讨了一种基于二进制掩码的深度神经网络多任务学习方法，试验结果表明本方法能够超越传统的微调策略并取得最新公开数据集中的最高水平。

May, 2018

本论文研究了网络稀疏化问题，将其视为 $L_0$ 范数正则化的二元优化问题，并使用了 ARM 算法来解决，在保持基线方法准确性的同时实现了优秀的网络剪枝率。

Apr, 2019

本文提出了一种名为 MaskSparsity 的新型网络剪枝方法，使用有意义的稀疏正则化方法来选择特定滤波器，以获得更好的模型压缩效果，并在不损失模型准确性的情况下，在 Deep Learning 领域实现 63.03% 的 FLOP 降低和 60.34% 的参数减少。

Jan, 2022

本论文提出了一种名为 “引导正则化” 的简单新方法，可以在训练过程中优先考虑某些神经网络单元的权重，使得某些单元变得不那么重要而可剪枝，从而实现神经网络的自然简化，在保持性能的同时减少不必要的单元。

May, 2023

本文提出了一种基于三元掩码和任务特定功能归一化的持续学习方法，旨在避免灾难性遗忘、反向传递，并在不影响之前任务的情况下掌握新任务，该方法在减少内存开销的同时表现出优于现有方法的最新技术水平。

Jan, 2020